Statystyka · Biznes

Czas na stronie i inne skośne metryki – mediana, logarytm i bootstrap

Fikcyjny portal z ogłoszeniami o pracę testuje nową stronę oferty: 38% odbić z czasem 0 s, długi ogon, limit 30 minut i 22 sesje botów. Średnia, mediana, średnia ucinana i geometryczna, test Welcha, logarytm, Mann–Whitney i bootstrap, symulacja mocy i pokrycia oraz winsoryzacja ustalona przed testem – pięć rysunków z kodem R.

Strona główna / Blog / Czas na stronie – skośne metryki
W skrócie: Czas na stronie ma odbicia z czasem 0 s, długi prawy ogon i limit sesji, więc średnia, mediana i średnia geometryczna dają różne odpowiedzi – w przykładzie zmiana wersji B wynosiła od +7.0% do +12.7%. Wybierz miarę przed testem według pytania: sumę uwagi opisuje średnia (po winsoryzacji z progiem z okresu przed testem), typową sesję – mediana z bootstrapem, a czytanie ofert – iloraz średnich geometrycznych sesji zaangażowanych z odsetkiem odbić. Test Manna–Whitneya nie porównuje median. W przykładzie istotny wynik średniej zrobiły 22 sesje botów, a test miał tylko 31–38% mocy.

Przykład: portal z ogłoszeniami o pracę

Fikcyjny portal z ogłoszeniami o pracę testuje nową stronę oferty: w wersji B widełki płacowe i główne wymagania są na górze, a pełny opis rozwija się po kliknięciu. Przez 14 dni każdy użytkownik losowo trafia do wersji A albo B – to klasyczny test A/B. Dział produktu pyta: czy ludzie dłużej czytają oferty? Mierzymy czas na stronie oferty (s) i liczbę odsłon w sesji – dwie mocno skośne metryki.

System liczy czas jako odstęp między odsłonami, więc sesja z jedną odsłoną (odbicie) ma 0 s, a po 30 minutach bezczynności sesja się kończy (najwyżej 1800 s). Upraszczamy: jedna sesja to jeden użytkownik (gdy użytkownicy wracają, licz niepewność jak we wpisie wskaźniki ilorazowe w testach A/B).

Dane są fikcyjne, więc wiemy, co w nich ukryliśmy. Ręcznie ustaliliśmy: 4000 sesji na wersję, odbicia 38% w A i 37% w B, lognormalny czas sesji zaangażowanych z medianą 75 s w A i o 6% dłuższą w B (odchylenie logarytmów 1.25), limit 1800 s i 22 sesje botów (4 w A, 18 w B). Boty to długie sesje z 60–240 odsłonami; nierówny podział jest realistyczny, bo jeden robot z jednym ciasteczkiem wraca wiele razy i zostaje w swojej wersji. Efekt wersji B i liczbę botów poprawiliśmy po pierwszym uruchomieniu, żeby różnice między metodami były wyraźne; ziarna 660 nie zmienialiśmy. Dane pobierzesz jako czas-na-stronie-portal-ofert-pracy.csv (wiersz = sesja: wersja, czas, odsłony i znacznik bota, którego analityk w praktyce nie zna).

Rysunek 1: jak wygląda czas na stronie

A: histogram czasu na stronie oferty w sekundach – wysoki słupek 3067 odbić przy zerze, szybko opadające słupki sesji zaangażowanych i mały słupek 41 sesji przy limicie 1800 s. B: rozkład czasu sesji zaangażowanych na osi logarytmicznej, prawie symetryczny, z wierzchołkiem około 50–100 s; linie wersji A i B niemal się pokrywają
Rysunek 1. Czas na stronie oferty w skali zwykłej (A) i czas sesji zaangażowanych w skali logarytmicznej (B). R, ggplot2 i patchwork (dane symulowane, set.seed(660)).

Co widać. Przy zerze stoi słupek 3067 odbić (38.89% sesji w A i 37.58% w B), dalej ciągnie się długi prawy ogon: skośność wynosi 4.60 w A i 4.37 w B. Przy 1800 s jest 41 sesji zatrzymanych na limicie (15 w A, 26 w B). Średnia w A to 100.23 s, a mediana – 25 s. Na osi logarytmicznej (panel B) sesje zaangażowane układają się prawie symetrycznie (skośność logarytmów 0.03), czyli zbliżony do rozkładu lognormalnego. Limpert i in. (2001) zauważają, że takie wielkości opisuje się zwykle średnią ± SD bez sprawdzenia rozkładu.

Jak może zmylić. Zero nie znaczy „użytkownik spędził 0 s”: system nie zna czasu na ostatniej stronie sesji, więc odbicie to brak pomiaru. Wartość 1800 s znaczy „co najmniej 30 minut” – to obserwacja ocenzurowana, a nie ucięta (różnicę wyjaśnia hasło dane ucięte a ocenzurowane). Każda miara traktuje te dwie umowy inaczej.

Podpis do pracy:

Rysunek 1. Rozkład czasu na stronie oferty w skali liniowej (A; N = 8022 sesji) i czasu sesji zaangażowanych w skali logarytmicznej według wersji strony (B). Uwaga. Odbicia (sesje z jedną odsłoną) mają czas 0 s; czas sesji ograniczono do 1800 s (30 minut bezczynności). Dane symulowane.

Zdanie do Metody:

Czas na stronie był silnie prawostronnie skośny (skośność 4.60 i 4.37), z 38.9% i 37.6% sesji z czasem 0 s i 41 sesjami ograniczonymi do 1800 s; logarytm czasu sesji zaangażowanych był prawie symetryczny (skośność 0.03).

Rysunek 2: średnia, mediana, średnia ucinana i geometryczna

Każda z czterech miar odpowiada na inne pytanie. Średnia to łączny czas podzielony przez liczbę sesji (ważna, gdy liczy się suma). Mediana opisuje typową sesję. Średnia ucinana 20% odrzuca 20% najkrótszych i 20% najdłuższych sesji. Średnia geometryczna to exp ze średniej logarytmów; przy zerach nie istnieje, więc liczymy ją tylko dla sesji zaangażowanych. Przedziały daje bootstrap: 2000 prób losowanych osobno w każdej wersji (mechanizm: bootstrap – wizualizacja na obrazkach).

A: cztery miary w wersjach A i B z przedziałami: średnia 100.2 i 111.2 s, średnia ucinana 35.1 i 39.6 s, mediana 25 i 27 s, średnia geometryczna sesji zaangażowanych 75.9 i 81.3 s. B: zmiana B względem A: średnia +10.9%, średnia ucinana +12.7%, mediana +8.0% z przedziałem od −7.1 do 30.4%, średnia geometryczna +7.0% z przedziałem dotykającym zera
Rysunek 2. Cztery miary położenia czasu na stronie w obu wersjach (A) i zmiana wersji B względem A (B) z 95% przedziałami bootstrapowymi. R, ggplot2 i patchwork (dane symulowane, bootstrap set.seed(660)).

Co widać. Ten sam zbiór daje cztery „czasy na stronie”: od 25 s (mediana w A) do 111.17 s (średnia w B); średnia ucinana (35.14 i 39.62 s) z dołu ucina głównie zera. Zmiana B względem A wynosi +10.9% dla średniej (95% CI [0.9, 22.5]), +12.7% dla średniej ucinanej [1.2, 25.8], +8.0% dla mediany [−7.1, 30.4] i +7.0% dla średniej geometrycznej [−0.2, 15.1].

Jak może zmylić. Różne procenty to różne pytania, nie błąd. Mediana skacze o całe sekundy (25 → 27 s) i przy 38% zer leży nisko, więc jej przedział jest bardzo szeroki. Wilcox i Keselman (2003) pokazują, że odporne miary położenia, jak średnia ucinana, często dają porównaniom większą moc niż zwykła średnia. Średnia zawiera jednak także boty – wrócimy do nich na rysunku 4.

Podpis do pracy:

Rysunek 2. Średnia, średnia ucinana 20%, mediana i średnia geometryczna czasu na stronie oferty w wersjach A (n = 4004) i B (n = 4018) (A) oraz procentowa zmiana w wersji B względem A (B). Uwaga. Średnią geometryczną obliczono dla sesji zaangażowanych (czas powyżej 0 s). Przedziały 95% – bootstrap percentylowy, 2000 prób losowanych osobno w każdej wersji. Dane symulowane.

Test A/B: siedem analiz tych samych danych

Te same 8022 sesje analizujemy siedmioma sposobami. Próg winsoryzacji (1026.4 s) to 99. centyl czasu z 14 dni przed testem, ustalony przed wynikami.

Wyniki siedmiu analiz testu A/B czasu na stronie oferty
AnalizaCo porównujeWynik B względem A95% CIp
Test t Welcha, surowe sekundyśrednie+10.94 s[0.82, 21.06].034
Bootstrap różnicy średnichśrednie+10.94 s[0.98, 21.48]–
Welch po winsoryzacji (1026.4 s)średnie z przyciętym ogonem+9.46 s[1.24, 17.69].024
Bootstrap różnicy medianmediany+2 s[−2, 7]–
Welch na ln(czas), sesje zaangażowaneśrednie geometryczne (iloraz)× 1.070[0.998, 1.148].057
Różnica odsetków odbićodsetek sesji z 0 s−1.31 pp[−3.43, 0.82].229
Test Manna–WhitneyaP(B > A) + ½ P(remis).512–.049

Co z tego wynika. Cztery analizy wskazują na przewagę B (p < .05 albo przedział bez zera), trzy nie. Przy 4000 sesjach test Welcha na surowych sekundach dobrze opisuje różnicę średnich – bootstrap daje prawie ten sam przedział. Bootstrap przydaje się przy medianie, która nie ma prostego wzoru na błąd standardowy; Efron (1979) wśród pierwszych przykładów metody podał właśnie wariancję mediany. W 19.9% prób mediana B nie była wyższa.

Welch na logarytmach mówi, że sesje zaangażowane w B trwały o 7.0% dłużej – to iloraz średnich geometrycznych, nie zwykłych średnich (transformacja logarytmiczna); Feng i in. (2013) znaleźli w publikacjach wiele błędnych interpretacji takich analiz. Jeśli B zmienia, kto odbija, porównujemy przy tym różnych ludzi. Odbicia i czas lepiej opisać razem modelem dwuczęściowym, jak we wpisie przychód na klienta z wieloma zerami.

Test Manna–Whitneya nie porównuje median: Divine i in. (2018) pokazują, że testuje P(X < Y) + ½ P(X = Y), czyli szansę, że losowa sesja B jest dłuższa niż losowa sesja A. Tu wynosi ona .512. Fagerland (2012) pokazuje, że w dużych próbach ze skośnymi rozkładami test ten daje często dużo mniejsze p niż test t nawet przy równych średnich i medianach, gdy różni się rozrzut.

Średni czas na stronie oferty był w wersji B o 10.94 s dłuższy niż w wersji A (111.17 vs 100.23 s; test t Welcha, 95% CI [0.82, 21.06], p = .034). Mediany wyniosły 27 i 25 s (różnica 2 s, 95% CI bootstrap [−2, 7]), a średnia geometryczna czasu sesji zaangażowanych była w wersji B wyższa o 7.0% (95% CI [−0.2, 14.8], p = .057).

Rysunek 3: moc i fałszywe alarmy w 1000 testach

Która analiza jest najlepsza? Symulujemy po 1000 testów generatorem z przykładu (bez botów). W scenariuszu „efekt jak w teście” prawdziwa różnica średnich to 7.0 s, median 3 s, a iloraz średnich geometrycznych 1.057. „Dłuższy ogon B” ma te same odbicia i medianę sesji zaangażowanych, ale odchylenie logarytmów 1.45 zamiast 1.25.

A: krzywe mocy czterech analiz w funkcji liczby sesji na wariant od 1000 do 16000; przy 4000 sesji moc wynosi 31–38%, przy 16000 od 85% (Welch na surowych) do 90% (Welch na logarytmach). B: przy braku różnic wszystkie analizy odrzucają H0 w około 5% testów; przy dłuższym ogonie B Welch na surowych odrzuca w 97%, po winsoryzacji w 94%, a Welch na logarytmach i Mann–Whitney w około 5%
Rysunek 3. Moc czterech analiz w zależności od liczby sesji (A) i odsetek wyników istotnych przy braku różnic oraz przy dłuższym ogonie w wersji B (B); 1000 testów w każdym punkcie. R, ggplot2 i patchwork (dane symulowane, set.seed(660)).

Co widać – panel A. Przy 4000 sesji na wersję moc wynosi zaledwie 31.2% (Welch na surowych), 34.7% (po winsoryzacji), 37.7% (na logarytmach) i 36.1% (Mann–Whitney). Test był za krótki: dopiero 16 000 sesji na wersję daje 85.2–89.8%.

Co widać – panel B. Gdy wersje się nie różnią, każda analiza daje fałszywy alarm w 4.7–5.0% testów (błąd Monte Carlo 0.7 pp). Przy dłuższym ogonie B Welch na surowych odrzuca H0 w 97.2% testów, po winsoryzacji w 94.0%, a Welch na logarytmach w 5.1% i Mann–Whitney w 4.2%. Wszystkie mają rację: średnia B jest wyższa o 20.6 s, średnia geometryczna się nie zmienia, szansa przewagi B wynosi .500, a mediana wszystkich sesji spada o 4 s.

Pokrycie przedziałów (100 i 1000 sesji na wersję, błąd Monte Carlo 0.7 pp): Welch dla różnicy średnich 95.2% i 95.5%, bootstrap percentylowy średnich 93.3% i 94.2%, bootstrap median 95.4% i 95.8%, iloraz średnich geometrycznych 96.5% i 94.0%. Przedział t działa mimo skośności, a przy małej próbie bootstrap percentylowy bywa za wąski. Moc zależy jednak od ręcznie ustalonych parametrów – u siebie powtórz symulację na danych historycznych. Przedział mediany wykluczał zero tylko w 9.4% testów przy 1000 sesjach.

Rysunek 3. Moc testu t Welcha (czasy surowe, winsoryzowane i logarytm czasu sesji zaangażowanych) i testu Manna–Whitneya według liczby sesji na wariant (A) oraz odsetek p < .05 przy braku różnic i dłuższym ogonie w wersji B (B). Uwaga. 1000 testów w każdym punkcie; kreski – 95% przedział błędu Monte Carlo. Dane symulowane.

Rysunek 4: 22 sesje botów i winsoryzacja ustalona z góry

Wiemy, które sesje to boty, więc porównujemy wynik z nimi i bez nich.

Zmiana B względem A z przedziałami, ze wszystkimi sesjami i bez 22 botów. A, czas: średnia +10.9% z botami i +5.2% bez nich, średnia po winsoryzacji +10.1% i +6.7%, mediana +8.0% w obu wersjach danych. B, odsłony: średnia +24.0% z botami i −1.8% bez nich, średnia po winsoryzacji +0.7% i −0.8%, mediana 0%
Rysunek 4. Zmiana wersji B względem A dla średniej, średniej po winsoryzacji i mediany czasu na stronie (A) i liczby odsłon w sesji (B), ze wszystkimi sesjami i po usunięciu 22 sesji botów; 95% przedziały bootstrapowe. R, ggplot2 i patchwork (dane symulowane, set.seed(660)).

Co widać. Panel B: boty zawyżają średnią liczbę odsłon w B o 24.0% (95% CI [6.6, 44.2], p = .008; bez nich −1.8%). Winsoryzacja na progu 10 odsłon (99. centyl sprzed testu) prawie je neutralizuje: +0.7%, p = .736. Panel A: przy czasie boty siedzą przy limicie 1800 s, a winsoryzacja obniża je tylko do 1026.4 s. Średnia po winsoryzacji rośnie o 10.1% z botami (p = .024) i o 6.7% bez nich (p = .125). Bez botów nieistotne są też Welch na surowych (+5.2%, p = .283) i Mann–Whitney (p = .090). Mediana się nie rusza (+8.0%), ale ma najszerszy przedział.

Jak może zmylić. Winsoryzacja chroni przed kilkoma ogromnymi wartościami, nie przed 18 sesjami jednego robota w jednej wersji. Sygnał ostrzegawczy był w danych: ponad 50 odsłon miały 4 sesje w A i 18 w B, a żadna inna sesja nie przekroczyła 28 odsłon. Próg ustal przed testem, wspólny dla obu wersji: André (2022) pokazuje, że reguła wykluczania obserwacji, która nie jest ślepa na hipotezę, może zawyżać odsetek fałszywych alarmów (zob. obserwacja odstająca).

Rysunek 4. Zmiana średniej, średniej winsoryzowanej i mediany czasu na stronie (A) i liczby odsłon (B) w wersji B względem A, ze wszystkimi sesjami (N = 8022) i bez 22 sesji botów. Uwaga. Progi winsoryzacji (1026.4 s i 10 odsłon) to 99. centyle z 14 dni przed testem. Przedziały 95% – bootstrap percentylowy, 2000 prób. Dane symulowane.

Rysunek 5: którą miarę wybrać

Karta w pięciu wierszach: pytanie biznesowe, miara, analiza i pułapka. Łączna uwaga – średnia po winsoryzacji, Welch lub bootstrap; typowy użytkownik – mediana, bootstrap; o ile dłużej czytają zaangażowani – średnia geometryczna, Welch na logarytmach; czy losowy użytkownik B zostaje dłużej – prawdopodobieństwo przewagi, Mann–Whitney; ilu wychodzi od razu – odsetek odbić, różnica odsetków
Rysunek 5. Karta wyboru miary dla skośnej metryki w teście A/B. Grafika narysowana w R (ggplot2).

Co widać. Karta zaczyna od pytania, nie od testu. Portal sprzedający wyświetlenia reklam potrzebuje sumy czasu, czyli średniej (po winsoryzacji); pytanie „czy oferta jest czytana” lepiej opisze iloraz średnich geometrycznych razem z odsetkiem odbić.

Rysunek 5. Dobór miary czasu na stronie do pytania badawczego w teście A/B: miara, analiza i główne ograniczenie. Uwaga. Opracowanie własne.

Co z tym zrobić w firmie

  • Nie wdrażaj wersji B na podstawie tego testu. Istotny wynik średniej zrobiły boty, a sam test miał przy tym efekcie tylko 31–38% mocy. Powtórz go na 16 000 sesji na wersję (ok. 8 tygodni przy tym ruchu).
  • Czas na stronie traktuj jako metrykę pomocniczą. Dłuższe czytanie może znaczyć ciekawszą albo mniej jasną ofertę; główną metryką powinny być kliknięcia „Aplikuj”. Kohavi i in. (2020) opisują, jak dobrać ogólne kryterium oceny testu i metryki pomocnicze.
  • Zapisz plan analizy przed startem: miarę główną, próg winsoryzacji z okresu przed testem i miary dodatkowe. Zmiana metryki po zobaczeniu p to jedna z pułapek testów A/B; przy wielu metrykach naraz zob. test A/B z wieloma wariantami.
  • Przed odczytem wyników porównaj ogon rozkładu w wersjach – nierówna liczba skrajnych sesji to sygnał do sprawdzenia filtru botów.

Jak opisać w pracy

W Metodzie podaj definicję metryki (odbicia, limit sesji), miarę główną, próg winsoryzacji i jego źródło, metodę przedziałów i filtr botów; w Wynikach – miarę główną z 95% CI, pozostałe jako analizę wrażliwości. Więcej o pracach na danych firmowych: statystyka w pracy z zarządzania i ekonomii.

Analizowano 8022 sesje (A: 4004, B: 4018); sesje z jedną odsłoną miały czas 0 s, a czas ograniczono do 1800 s. Przed testem ustalono miarę główną: średni czas po winsoryzacji na progu 1026.4 s (99. centyl z 14 dni przed testem), porównany testem t Welcha. W analizie wrażliwości porównano mediany (bootstrap percentylowy, 2000 prób), średnie geometryczne czasu sesji zaangażowanych (test t Welcha na logarytmach), odsetek odbić i wynik testu Manna–Whitneya. Obliczenia wykonano w R.
Średni czas na stronie oferty po winsoryzacji był w wersji B o 9.46 s dłuższy niż w wersji A (95% CI [1.24, 17.69], p = .024). Po wykluczeniu 22 sesji zidentyfikowanych później jako ruch botów różnica nie była istotna (+6.7%, p = .125), podobnie jak różnica median (27 vs 25 s, 95% CI [−2, 7]) i odsetka odbić (−1.31 pp, 95% CI [−3.43, 0.82], p = .229). Wynik traktujemy jako nierozstrzygnięty.
Przykład reprodukowalny

Kod R: rozkład, miary, bootstrap, symulacja i boty

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy paletę, motyw i dane, z których korzystają przepisy 2, 3 i 5, a przepis 4 korzysta z funkcji przepisu 3. Wszystko liczymy w bazowym R (t.test(), wilcox.test(), prop.test(), bootstrap pętlą replicate()). Każdy przepis z rysunkiem kończy się nazwą wykresu (p1–p4, p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 1–5; każdy zaczyna od własnego set.seed(660) (przepis 3 ustawia je przed każdym blokiem symulacji). Ziarno 660 ustalono raz i nie zmieniano go. Ręcznie ustalono: 4000 sesji na wersję w teście i 4000 w okresie przed testem, odsetek odbić (38% w A, 37% w B), medianę czasu sesji zaangażowanych (75 s w A, o 6% więcej w B), odchylenie logarytmów (1.25; w scenariuszu „dłuższy ogon B” 1.45), limit 1800 s, model liczby odsłon (1 + ujemny dwumianowy ze średnią rosnącą z czasem), 22 sesje botów (4 w A, 18 w B; 1500–2400 s, 60–240 odsłon) i progi winsoryzacji jako 99. centyl okresu przed testem. Efekt wersji B i liczbę botów poprawiono po pierwszym uruchomieniu, żeby różnice między metodami były wyraźne. Powtórzenia: bootstrap 2000 prób (przepisy 2 i 5), symulacja mocy 1000 testów w każdym punkcie, pokrycie 1000 testów × 300 prób bootstrapowych. Całość liczy się w około minutę.

1. Paleta, dane i rozkład czasu: Rysunek 1

Dane wejściowe: nic – sesje losuje kod (parametry ustalone ręcznie, set.seed(660)). Na początku paleta Okabe–Ito i motyw motyw, z których korzystają kolejne przepisy. Kod zapisuje plik CSV w katalogu roboczym.

Co odczytać: progi winsoryzacji z 14 dni przed testem, opis rozkładu czasu w wersjach (odsetek odbić, średnia, mediana, sesje przy limicie, skośność surowa i logarytmów) i liczby odsłon.

R
# Rysunek 1. Fikcyjny portal z ogłoszeniami o pracę: czas na stronie oferty w teście A/B (dane symulowane)
library(ggplot2)
library(patchwork)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(niebieski = "#0072B2", cynober = "#D55E00", pomarancz = "#E69F00", zielony = "#009E73",
         fiolet = "#CC79A7", blekit = "#56B4E9", szary = "grey60", ciemny = "grey20")
motyw <- theme_minimal(base_size = 13) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# Parametry ustalone ręcznie --------------------------------------------------------------
n_sesji  <- 4000                         # sesji na wariant w 14 dniach testu
limit    <- 1800                         # sesja kończy się po 30 min bezczynności: czas ograniczony do 1800 s (cenzurowanie)
p_odbicia <- c(A = 0.38, B = 0.37)       # odbicie = jedna odsłona, czas zapisany jako 0 s
mediana_zaang <- c(A = 75, B = 75 * 1.06) # mediana czasu sesji zaangażowanych (s); wersja B: +6%
sigma    <- 1.25                         # SD logarytmu czasu sesji zaangażowanych

sesje <- function(wariant, n) {          # jedna sesja = jeden użytkownik
  odbicie <- rbinom(n, 1, p_odbicia[[wariant]])
  czas <- pmin(pmax(1, round(rlnorm(n, log(mediana_zaang[[wariant]]), sigma))), limit)
  czas[odbicie == 1] <- 0
  odslony <- ifelse(odbicie == 1, 1, 1 + rnbinom(n, mu = 1.3 * (pmax(czas, 1) / 75)^0.5, size = 1.2))
  data.frame(wariant = wariant, czas = czas, odslony = odslony, bot = 0)
}
set.seed(660)
portal <- rbind(sesje("A", n_sesji), sesje("B", n_sesji))
przed_testem <- sesje("A", n_sesji)      # 14 dni przed testem: stara wersja strony
# 22 sesje botów, których nie wyłapał filtr: długie sesje i dziesiątki odsłon. Ręcznie: 4 sesje w A
# i 18 w B (jeden robot z jednym ciasteczkiem wraca wiele razy, a losujemy użytkowników, więc zostaje w B)
boty <- data.frame(wariant = rep(c("A", "B"), c(4, 18)), czas = pmin(limit, round(runif(22, 1500, 2400))),
                   odslony = sample(60:240, 22, replace = TRUE), bot = 1)
portal <- rbind(portal, boty)
portal$sesja <- seq_len(nrow(portal))
write.csv(portal[, c("sesja", "wariant", "czas", "odslony", "bot")], "czas-na-stronie-portal-ofert-pracy.csv", row.names = FALSE)

# Progi winsoryzacji ustalone PRZED testem: 99. centyl z okresu przed testem
prog_czas <- unname(quantile(przed_testem$czas, 0.99))
prog_odslony <- unname(quantile(przed_testem$odslony, 0.99))
c(prog_czas = prog_czas, prog_odslony = prog_odslony)

# Opis rozkładu w wariantach
skosnosc <- function(x) mean((x - mean(x))^3) / sd(x)^3
opis <- function(x) c(n = length(x), odbicia_proc = 100 * mean(x == 0), srednia = mean(x), mediana = median(x),
                      sd = sd(x), maks = max(x), przy_limicie = sum(x == limit), skosnosc = skosnosc(x),
                      skosnosc_ln_zaang = skosnosc(log(x[x > 0])))
round(sapply(split(portal$czas, portal$wariant), opis), 2)
# Liczba odsłon na sesję
round(sapply(split(portal$odslony, portal$wariant), function(x) c(srednia = mean(x), mediana = median(x),
                                                                    maks = max(x), skosnosc = skosnosc(x))), 2)

# Rysunek 1A: czas w sekundach (odbicia jako osobny słupek przy zerze, limit 30 min)
portal$rodzaj <- ifelse(portal$czas == 0, "odbicie (0 s)", ifelse(portal$czas == limit, "limit 30 min", "sesja zaangażowana"))
pA <- ggplot(portal, aes(czas, fill = rodzaj)) +
  geom_histogram(breaks = c(-15, 0.5, seq(30, 1770, by = 30), 1785, 1800.5), closed = "right", colour = "white", linewidth = 0.2) +
  scale_fill_manual(values = c("odbicie (0 s)" = kol[["cynober"]], "sesja zaangażowana" = kol[["niebieski"]],
                               "limit 30 min" = kol[["pomarancz"]]), name = NULL) +
  scale_x_continuous(breaks = seq(0, 1800, 300)) +
  coord_cartesian(ylim = c(0, 1200)) +
  annotate("text", x = 60, y = 1170, hjust = 0, size = 3.5, label = sprintf("odbicia: %d sesji (słupek ucięty)", sum(portal$czas == 0))) +
  annotate("text", x = 1780, y = 160, hjust = 1, size = 3.5, label = sprintf("%d sesji\nprzy limicie 1800 s", sum(portal$czas == limit))) +
  labs(x = "Czas na stronie oferty (s)", y = "Liczba sesji", title = "A. Skala zwykła: zera, długi ogon, limit") + motyw
# Rysunek 1B: sesje zaangażowane w skali logarytmicznej, osobno w wariantach
zaang <- portal[portal$czas > 0, ]
pB <- ggplot(zaang, aes(czas, colour = wariant, linetype = wariant)) +
  geom_freqpoly(breaks = 10^seq(0, log10(1800) + 0.1, by = 0.1), linewidth = 0.9) +
  scale_x_log10(breaks = c(1, 3, 10, 30, 100, 300, 1000), labels = c("1", "3", "10", "30", "100", "300", "1000")) +
  scale_colour_manual(values = c(A = kol[["szary"]], B = kol[["niebieski"]]), name = "wersja strony") +
  scale_linetype_manual(values = c(A = "solid", B = "22"), name = "wersja strony") +
  labs(x = "Czas sesji zaangażowanej (s, skala log)", y = "Liczba sesji", title = "B. Po logarytmie: prawie symetrycznie") + motyw
p1 <- pA + pB + plot_layout(widths = c(1.25, 1))
p1   # zapis: ggsave("czas-na-stronie-rozklad.svg", p1, width = 10, height = 5.4)
Wynik w R
   prog_czas prog_odslony 
     1026.38        10.00 
                        A       B
n                 4004.00 4018.00
odbicia_proc        38.89   37.58
srednia            100.23  111.17
mediana             25.00   27.00
sd                 222.27  240.02
maks              1800.00 1800.00
przy_limicie        15.00   26.00
skosnosc             4.60    4.37
skosnosc_ln_zaang    0.03    0.03
              A      B
srednia    2.14   2.65
mediana    1.00   1.00
maks     209.00 219.00
skosnosc  29.55  15.66

2. Cztery miary, bootstrap i siedem analiz testu: Rysunek 2 i tabela

Dane wejściowe: obiekty portal i prog_czas z przepisu 1. Losuje próby bootstrapowe – własne set.seed(660).

Co odczytać: miary w obu wersjach, zmianę B względem A (%) z przedziałem bootstrapowym, tabelę siedmiu analiz (wynik, 95% CI, p) i odsetek prób, w których mediana B nie była wyższa.

R
# Rysunek 2 i tabela testów. Cztery miary położenia z bootstrapem i siedem odpowiedzi na pytanie „czy B jest lepsza?”
# Korzysta z obiektów przepisu 1: portal, prog_czas, kol, motyw. Losuje (bootstrap) – własne ziarno.
library(ggplot2)
library(patchwork)

a <- portal$czas[portal$wariant == "A"]
b <- portal$czas[portal$wariant == "B"]
miary <- function(x) c("średnia" = mean(x), "średnia ucinana 20%" = mean(x, trim = 0.2), "mediana" = median(x),
                       "średnia geometryczna\n(sesje zaangażowane)" = exp(mean(log(x[x > 0]))))
round(rbind(A = miary(a), B = miary(b)), 2)

# Bootstrap: 2000 prób, losowanie sesji ze zwracaniem osobno w każdym wariancie, przedziały percentylowe 95%
set.seed(660)
B_prob <- 2000
boot_a <- t(replicate(B_prob, miary(sample(a, replace = TRUE))))
boot_b <- t(replicate(B_prob, miary(sample(b, replace = TRUE))))
przedzial <- function(m) apply(m, 2, quantile, c(0.025, 0.975))
roznica_proc <- 100 * (boot_b / boot_a - 1)                       # zmiana B względem A (%)
wyniki <- data.frame(miara = names(miary(a)), A = miary(a), B = miary(b),
                     zmiana_proc = 100 * (miary(b) / miary(a) - 1),
                     dolna = przedzial(roznica_proc)[1, ], gorna = przedzial(roznica_proc)[2, ], row.names = NULL)
transform(wyniki, A = round(A, 2), B = round(B, 2), zmiana_proc = round(zmiana_proc, 1), dolna = round(dolna, 1), gorna = round(gorna, 1))

# Siedem analiz tego samego testu A/B
welch <- t.test(b, a)                                             # surowe sekundy
w_a <- pmin(a, prog_czas); w_b <- pmin(b, prog_czas)
welch_w <- t.test(w_b, w_a)                                       # winsoryzacja z progiem ustalonym przed testem
welch_ln <- t.test(log(b[b > 0]), log(a[a > 0]))                  # ln czasu, tylko sesje zaangażowane
odbicia <- prop.test(c(sum(b == 0), sum(a == 0)), c(length(b), length(a)), correct = FALSE)
mw <- wilcox.test(b, a, exact = FALSE)                            # Mann–Whitney (U Wilcoxona)
p_przewagi <- unname(mw$statistic) / (length(a) * length(b))      # P(B > A) + P(B = A) / 2
boot_srednia <- boot_b[, 1] - boot_a[, 1]; boot_mediana <- boot_b[, 3] - boot_a[, 3]
tabela <- data.frame(
  analiza = c("Welch: różnica średnich (s)", "bootstrap: różnica średnich (s)", "Welch po winsoryzacji (s)",
              "bootstrap: różnica median (s)", "Welch na ln: iloraz średnich geometr.", "odsetek odbić: różnica (pp)",
              "Mann–Whitney: P(B > A)"),
  wynik = c(diff(rev(welch$estimate)), mean(b) - mean(a), diff(rev(welch_w$estimate)), median(b) - median(a),
            exp(diff(rev(welch_ln$estimate))), 100 * diff(rev(odbicia$estimate)), p_przewagi),
  dolna = c(welch$conf.int[1], quantile(boot_srednia, 0.025), welch_w$conf.int[1], quantile(boot_mediana, 0.025),
            exp(welch_ln$conf.int[1]), 100 * odbicia$conf.int[1], NA),
  gorna = c(welch$conf.int[2], quantile(boot_srednia, 0.975), welch_w$conf.int[2], quantile(boot_mediana, 0.975),
            exp(welch_ln$conf.int[2]), 100 * odbicia$conf.int[2], NA),
  p = c(welch$p.value, NA, welch_w$p.value, NA, welch_ln$p.value, odbicia$p.value, mw$p.value))
transform(tabela, wynik = round(wynik, 3), dolna = round(dolna, 3), gorna = round(gorna, 3), p = round(p, 3))
# Odsetek prób bootstrapowych, w których mediana B nie była wyższa niż mediana A
round(100 * mean(boot_mediana <= 0), 1)

# Rysunek 2A: miary w obu wariantach z 95% przedziałem bootstrapowym
dl <- rbind(data.frame(wariant = "A", miara = names(miary(a)), wartosc = miary(a), dolna = przedzial(boot_a)[1, ], gorna = przedzial(boot_a)[2, ]),
            data.frame(wariant = "B", miara = names(miary(b)), wartosc = miary(b), dolna = przedzial(boot_b)[1, ], gorna = przedzial(boot_b)[2, ]))
dl$miara <- factor(dl$miara, levels = rev(names(miary(a))))
pA <- ggplot(dl, aes(wartosc, miara, colour = wariant, shape = wariant)) +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, orientation = "y", position = position_dodge(width = 0.5)) +
  geom_point(size = 3, position = position_dodge(width = 0.5)) +
  scale_colour_manual(values = c(A = "grey45", B = kol[["niebieski"]]), name = "wersja strony") +
  scale_shape_manual(values = c(A = 16, B = 17), name = "wersja strony") +
  scale_x_continuous(limits = c(0, NA)) +
  labs(x = "Czas na stronie oferty (s), 95% CI", y = NULL, title = "A. Cztery miary, cztery różne liczby") + motyw
# Rysunek 2B: zmiana B względem A (%) z 95% przedziałem bootstrapowym
wyniki$miara <- factor(wyniki$miara, levels = rev(names(miary(a))))
pB <- ggplot(wyniki, aes(zmiana_proc, miara)) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.2, orientation = "y", colour = kol[["niebieski"]]) +
  geom_point(size = 3, colour = kol[["niebieski"]], shape = 17) +
  geom_text(aes(label = sprintf("%+.1f%%", zmiana_proc)), vjust = -1, size = 3.5) +
  labs(x = "Zmiana B względem A (%), 95% CI", y = NULL, title = "B. Ile lepsza jest wersja B?") +
  motyw + theme(axis.text.y = element_blank())
p2 <- pA + pB + plot_layout(widths = c(1.3, 1))
p2   # zapis: ggsave("czas-na-stronie-miary-bootstrap.svg", p2, width = 10, height = 5.4)
Wynik w R
  średnia średnia ucinana 20% mediana
A  100.23               35.14      25
B  111.17               39.62      27
  średnia geometryczna\n(sesje zaangażowane)
A                                      75.92
B                                      81.26
                                       miara      A      B zmiana_proc dolna
1                                    średnia 100.23 111.17        10.9   0.9
2                        średnia ucinana 20%  35.14  39.62        12.7   1.2
3                                    mediana  25.00  27.00         8.0  -7.1
4 średnia geometryczna\n(sesje zaangażowane)  75.92  81.26         7.0  -0.2
  gorna
1  22.5
2  25.8
3  30.4
4  15.1
                                analiza  wynik  dolna  gorna     p
1           Welch: różnica średnich (s) 10.940  0.815 21.064 0.034
2       bootstrap: różnica średnich (s) 10.940  0.983 21.475    NA
3             Welch po winsoryzacji (s)  9.464  1.240 17.688 0.024
4         bootstrap: różnica median (s)  2.000 -2.000  7.000    NA
5 Welch na ln: iloraz średnich geometr.  1.070  0.998  1.148 0.057
6           odsetek odbić: różnica (pp) -1.305 -3.432  0.821 0.229
7                Mann–Whitney: P(B > A)  0.512     NA     NA 0.049
[1] 19.9

3. Symulacja mocy i fałszywych alarmów: Rysunek 3

Dane wejściowe: nic poza paletą i motywem z przepisu 1 – generator sesji jest w przepisie. Losuje – własne set.seed(660) przed każdym blokiem symulacji. Szybka wersja testu Manna–Whitneya zlicza pary zamiast rang; pierwszy wiersz wyniku sprawdza, że daje to samo p co wilcox.test().

Co odczytać: odsetek p < .05 (%) z błędem Monte Carlo dla każdej analizy, scenariusza i liczby sesji oraz prawdziwe wartości w populacji (milion sesji na wersję).

R
# Rysunek 3. Symulacja: moc i odsetek fałszywych alarmów pięciu analiz przy skośnym czasie na stronie
# Korzysta z obiektów przepisu 1: kol, motyw. Losuje – własne ziarno. Liczy się ok. 15 s.
library(ggplot2)
library(patchwork)

# Generator sesji: odbicia (0 s), lognormalny czas sesji zaangażowanych, limit 1800 s
czasy <- function(n, p_odbicia, mediana, sigma, limit = 1800) {
  czas <- pmin(pmax(1, round(rlnorm(n, log(mediana), sigma))), limit)
  czas[runif(n) < p_odbicia] <- 0
  czas
}
scenariusze <- list(
  "bez różnic (A/A)"                = list(A = c(0.38, 75, 1.25), B = c(0.38, 75, 1.25)),
  "efekt jak w teście"              = list(A = c(0.38, 75, 1.25), B = c(0.37, 79.5, 1.25)),
  "dłuższy ogon B" = list(A = c(0.38, 75, 1.25), B = c(0.38, 75, 1.45)))
set.seed(660)
prog <- unname(quantile(czasy(1e6, 0.38, 75, 1.25), 0.99))        # próg winsoryzacji: 99. centyl starej wersji
# Szybki test Manna–Whitneya dla czasu w pełnych sekundach (0–1800): zlicza pary bez tworzenia rang
mann_whitney <- function(a, b, maks = 1800) {
  ca <- tabulate(a + 1, maks + 1); cb <- tabulate(b + 1, maks + 1)
  W <- sum(cb * (cumsum(ca) - ca)) + sum(cb * ca) / 2               # pary B > A + połowa remisów
  na <- length(a); nb <- length(b); N <- na + nb; t <- ca + cb
  v <- na * nb / 12 * ((N + 1) - sum(t^3 - t) / (N * (N - 1)))      # wariancja W z poprawką na remisy
  2 * pnorm(-abs(W - na * nb / 2) / sqrt(v))
}
# Sprawdzenie: to samo p co wilcox.test() bez poprawki na ciągłość
a <- czasy(500, 0.38, 75, 1.25); b <- czasy(500, 0.37, 79.5, 1.25)
c(szybki = mann_whitney(a, b), wilcox.test = wilcox.test(b, a, exact = FALSE, correct = FALSE)$p.value)
analizy <- function(a, b) c(
  "Welch, surowe sekundy"      = t.test(b, a)$p.value,
  "Welch po winsoryzacji"      = t.test(pmin(b, prog), pmin(a, prog))$p.value,
  "Welch na ln (zaangażowane)" = t.test(log(b[b > 0]), log(a[a > 0]))$p.value,
  "Mann–Whitney"               = mann_whitney(a, b))
symuluj <- function(scen, n, R = 1000) {
  s <- scenariusze[[scen]]
  p <- replicate(R, analizy(czasy(n, s$A[1], s$A[2], s$A[3]), czasy(n, s$B[1], s$B[2], s$B[3])))
  data.frame(scenariusz = scen, n = n, analiza = rownames(p), odrzucenia = rowMeans(p < .05), row.names = NULL)
}
set.seed(660)
moc <- do.call(rbind, lapply(c(1000, 2000, 4000, 8000, 16000), function(n) symuluj("efekt jak w teście", n)))
set.seed(660)
inne <- do.call(rbind, lapply(c("bez różnic (A/A)", "dłuższy ogon B"), symuluj, n = 4000))
wynik <- rbind(moc, inne)
wynik$blad_mc <- sqrt(wynik$odrzucenia * (1 - wynik$odrzucenia) / 1000)   # błąd Monte Carlo odsetka
transform(wynik, odrzucenia = round(100 * odrzucenia, 1), blad_mc = round(100 * blad_mc, 1))

# Co jest prawdą w populacji? Średnia, mediana i średnia geometryczna sesji zaangażowanych (1 mln sesji)
set.seed(660)
prawda <- sapply(scenariusze, function(s) {
  a <- czasy(1e6, s$A[1], s$A[2], s$A[3]); b <- czasy(1e6, s$B[1], s$B[2], s$B[3])
  c(roznica_srednich = mean(b) - mean(a), roznica_median = median(b) - median(a),
    iloraz_geom = exp(mean(log(b[b > 0])) - mean(log(a[a > 0]))),
    P_B_wieksze = mean(b > a) + 0.5 * mean(b == a))   # pary: i-ta sesja B z i-tą sesją A
})
round(prawda, 3)

# Rysunek 3A: moc w funkcji liczby sesji na wariant
ksztalty <- c("Welch, surowe sekundy" = 16, "Welch po winsoryzacji" = 15, "Welch na ln (zaangażowane)" = 17, "Mann–Whitney" = 18)
kolory <- c("Welch, surowe sekundy" = kol[["cynober"]], "Welch po winsoryzacji" = kol[["pomarancz"]],
            "Welch na ln (zaangażowane)" = kol[["niebieski"]], "Mann–Whitney" = kol[["zielony"]])
pA <- ggplot(moc, aes(n, 100 * odrzucenia, colour = analiza, shape = analiza)) +
  geom_hline(yintercept = 80, colour = "grey50", linetype = "22") +
  geom_line(linewidth = 0.8) + geom_point(size = 2.8) +
  scale_x_log10(breaks = c(1000, 2000, 4000, 8000, 16000)) +
  scale_colour_manual(values = kolory, breaks = names(kolory), name = NULL) +
  scale_shape_manual(values = ksztalty, breaks = names(kolory), name = NULL) +
  labs(x = "Sesji na wariant (skala log)", y = "Moc: odsetek p < .05 (%)", title = "A. Efekt jak w teście") +
  motyw + guides(colour = guide_legend(ncol = 2), shape = guide_legend(ncol = 2))
# Rysunek 3B: odsetek odrzuceń H0 przy 4000 sesji na wariant: brak różnic i dłuższy ogon przy tej samej medianie sesji zaangażowanych
inne$scenariusz <- factor(inne$scenariusz, levels = c("bez różnic (A/A)", "dłuższy ogon B"),
                          labels = c("bez różnic (A/A)", "dłuższy ogon B (ta sama mediana\nsesji zaangażowanych)"))
pB <- ggplot(inne, aes(100 * odrzucenia, analiza, colour = analiza, shape = analiza)) +
  geom_vline(xintercept = 5, colour = "grey40", linetype = "22") +
  geom_errorbar(aes(xmin = 100 * (odrzucenia - 1.96 * sqrt(odrzucenia * (1 - odrzucenia) / 1000)),
                     xmax = 100 * (odrzucenia + 1.96 * sqrt(odrzucenia * (1 - odrzucenia) / 1000))), width = 0.25, orientation = "y") +
  geom_point(size = 2.8) +
  facet_wrap(~ scenariusz, ncol = 1) +
  scale_colour_manual(values = kolory, guide = "none") + scale_shape_manual(values = ksztalty, guide = "none") +
  labs(x = "Odsetek p < .05 (%), n = 4000 na wariant", y = NULL, title = "B. Gdy środek się nie zmienia") + motyw
p3 <- pA + pB + plot_layout(widths = c(1.1, 1)) & theme(legend.position = "bottom")
p3   # zapis: ggsave("czas-na-stronie-symulacja-mocy.svg", p3, width = 10, height = 6)
Wynik w R
     szybki wilcox.test 
  0.1406758   0.1406758 
           scenariusz     n                    analiza odrzucenia blad_mc
1  efekt jak w teście  1000      Welch, surowe sekundy       10.6     1.0
2  efekt jak w teście  1000      Welch po winsoryzacji       12.0     1.0
3  efekt jak w teście  1000 Welch na ln (zaangażowane)       12.7     1.1
4  efekt jak w teście  1000               Mann–Whitney       12.5     1.0
5  efekt jak w teście  2000      Welch, surowe sekundy       17.5     1.2
6  efekt jak w teście  2000      Welch po winsoryzacji       18.7     1.2
7  efekt jak w teście  2000 Welch na ln (zaangażowane)       21.3     1.3
8  efekt jak w teście  2000               Mann–Whitney       21.8     1.3
9  efekt jak w teście  4000      Welch, surowe sekundy       31.2     1.5
10 efekt jak w teście  4000      Welch po winsoryzacji       34.7     1.5
11 efekt jak w teście  4000 Welch na ln (zaangażowane)       37.7     1.5
12 efekt jak w teście  4000               Mann–Whitney       36.1     1.5
13 efekt jak w teście  8000      Welch, surowe sekundy       55.8     1.6
14 efekt jak w teście  8000      Welch po winsoryzacji       61.3     1.5
15 efekt jak w teście  8000 Welch na ln (zaangażowane)       63.4     1.5
16 efekt jak w teście  8000               Mann–Whitney       63.5     1.5
17 efekt jak w teście 16000      Welch, surowe sekundy       85.2     1.1
18 efekt jak w teście 16000      Welch po winsoryzacji       89.4     1.0
19 efekt jak w teście 16000 Welch na ln (zaangażowane)       89.8     1.0
20 efekt jak w teście 16000               Mann–Whitney       89.1     1.0
21   bez różnic (A/A)  4000      Welch, surowe sekundy        4.9     0.7
22   bez różnic (A/A)  4000      Welch po winsoryzacji        4.7     0.7
23   bez różnic (A/A)  4000 Welch na ln (zaangażowane)        4.8     0.7
24   bez różnic (A/A)  4000               Mann–Whitney        5.0     0.7
25     dłuższy ogon B  4000      Welch, surowe sekundy       97.2     0.5
26     dłuższy ogon B  4000      Welch po winsoryzacji       94.0     0.8
27     dłuższy ogon B  4000 Welch na ln (zaangażowane)        5.1     0.7
28     dłuższy ogon B  4000               Mann–Whitney        4.2     0.6
                 bez różnic (A/A) efekt jak w teście dłuższy ogon B
roznica_srednich            0.063              7.015         20.576
roznica_median              0.000              3.000         -4.000
iloraz_geom                 1.004              1.057          0.995
P_B_wieksze                 0.500              0.509          0.500

4. Pokrycie przedziałów ufności

Dane wejściowe: funkcja czasy(), lista scenariusze i macierz prawda z przepisu 3. Losuje – własne set.seed(660); bootstrap po 300 prób w każdym z 2000 testów. Liczy się ok. 45 s.

Co odczytać: odsetek testów (%), w których 95% przedział objął prawdziwą wartość, przy 100 i 1000 sesjach na wersję; ostatni wiersz – jak często przedział mediany wykluczał zero.

R
# Tabela pokrycia. Czy 95% przedziały naprawdę obejmują prawdę w 95% testów? 1000 testów na każdą liczebność
# Korzysta z obiektów przepisu 3: czasy, scenariusze, prawda. Losuje – własne ziarno. Liczy się ok. 45 s.
s <- scenariusze[["efekt jak w teście"]]
cel <- prawda[, "efekt jak w teście"]
jeden_test <- function(n, B = 300) {
  a <- czasy(n, s$A[1], s$A[2], s$A[3]); b <- czasy(n, s$B[1], s$B[2], s$B[3])
  ci_welch <- t.test(b, a)$conf.int
  ci_ln <- exp(t.test(log(b[b > 0]), log(a[a > 0]))$conf.int)
  bs <- replicate(B, { ba <- sample(a, replace = TRUE); bb <- sample(b, replace = TRUE)
                       c(mean(bb) - mean(ba), median(bb) - median(ba)) })
  ci_bs <- apply(bs, 1, quantile, c(0.025, 0.975))
  c("Welch: różnica średnich"           = unname(ci_welch[1] <= cel[["roznica_srednich"]] & cel[["roznica_srednich"]] <= ci_welch[2]),
    "bootstrap: różnica średnich"       = unname(ci_bs[1, 1] <= cel[["roznica_srednich"]] & cel[["roznica_srednich"]] <= ci_bs[2, 1]),
    "bootstrap: różnica median"         = unname(ci_bs[1, 2] <= cel[["roznica_median"]] & cel[["roznica_median"]] <= ci_bs[2, 2]),
    "Welch na ln: iloraz geometr."      = unname(ci_ln[1] <= cel[["iloraz_geom"]] & cel[["iloraz_geom"]] <= ci_ln[2]),
    "mediana: przedział wyklucza 0"     = unname(ci_bs[1, 2] > 0 | ci_bs[2, 2] < 0))
}
set.seed(660)
pokrycie <- sapply(c(100, 1000), function(n) rowMeans(replicate(1000, jeden_test(n))))
colnames(pokrycie) <- c("n = 100", "n = 1000")
round(100 * pokrycie, 1)
# Błąd Monte Carlo odsetka 95% przy 1000 testach (pp)
round(100 * sqrt(0.95 * 0.05 / 1000), 1)
Wynik w R
                              n = 100 n = 1000
Welch: różnica średnich          95.2     95.5
bootstrap: różnica średnich      93.3     94.2
bootstrap: różnica median        95.4     95.8
Welch na ln: iloraz geometr.     96.5     94.0
mediana: przedział wyklucza 0     4.8      9.4
[1] 0.7

5. Boty, winsoryzacja i mediana: Rysunek 4

Dane wejściowe: obiekty portal, prog_czas i prog_odslony z przepisu 1. Losuje próby bootstrapowe – własne set.seed(660).

Co odczytać: zmianę B względem A (%) z 95% CI i p (Welch, Mann–Whitney) z botami i bez, średnie w wersjach oraz ogon liczby odsłon w każdej wersji.

R
# Rysunek 4. 22 sesje botów: jak zmieniają wynik testu średnia, średnia po winsoryzacji i mediana
# Korzysta z obiektów przepisu 1: portal, prog_czas, prog_odslony, kol, motyw. Losuje (bootstrap) – własne ziarno.
library(ggplot2)
library(patchwork)

zmiana <- function(a, b, prog) c("średnia" = mean(b) / mean(a), "średnia po winsoryzacji" = mean(pmin(b, prog)) / mean(pmin(a, prog)),
                                 "mediana" = median(b) / median(a))
porownaj <- function(dane, zmienna, prog, opis) {
  a <- dane[[zmienna]][dane$wariant == "A"]; b <- dane[[zmienna]][dane$wariant == "B"]
  bs <- replicate(2000, zmiana(sample(a, replace = TRUE), sample(b, replace = TRUE), prog))
  data.frame(metryka = zmienna, dane = opis, miara = names(zmiana(a, b, prog)),
             zmiana_proc = 100 * (zmiana(a, b, prog) - 1),
             dolna = 100 * (apply(bs, 1, quantile, 0.025) - 1), gorna = 100 * (apply(bs, 1, quantile, 0.975) - 1),
             p_welch = c(t.test(b, a)$p.value, t.test(pmin(b, prog), pmin(a, prog))$p.value, NA),
             p_mw = c(wilcox.test(b, a, exact = FALSE)$p.value, NA, NA), row.names = NULL)
}
bez_botow <- portal[portal$bot == 0, ]
set.seed(660)
boty_wynik <- rbind(porownaj(portal, "czas", prog_czas, "wszystkie sesje"),
                    porownaj(bez_botow, "czas", prog_czas, "bez 22 botów"),
                    porownaj(portal, "odslony", prog_odslony, "wszystkie sesje"),
                    porownaj(bez_botow, "odslony", prog_odslony, "bez 22 botów"))
transform(boty_wynik, zmiana_proc = round(zmiana_proc, 1), dolna = round(dolna, 1), gorna = round(gorna, 1),
          p_welch = round(p_welch, 3), p_mw = round(p_mw, 3))
# Średnia liczba odsłon i średni czas w wariantach: z botami i bez
round(rbind(z_botami = tapply(portal$odslony, portal$wariant, mean), bez_botow = tapply(bez_botow$odslony, bez_botow$wariant, mean)), 3)
round(rbind(z_botami = tapply(portal$czas, portal$wariant, mean), bez_botow = tapply(bez_botow$czas, bez_botow$wariant, mean)), 2)
# Sygnał ostrzegawczy bez wiedzy o botach: ogon liczby odsłon w każdym wariancie
table(wariant = portal$wariant, ponad_50_odslon = portal$odslony > 50)
max(portal$odslony[portal$odslony <= 50])                          # najwięcej odsłon poniżej 50: przerwa w rozkładzie

# Rysunek 4: zmiana B względem A (%) z 95% przedziałem bootstrapowym, z botami i bez
boty_wynik$miara <- factor(boty_wynik$miara, levels = rev(c("średnia", "średnia po winsoryzacji", "mediana")))
boty_wynik$dane <- factor(boty_wynik$dane, levels = c("wszystkie sesje", "bez 22 botów"))
rysuj <- function(m, tytul) {
  ggplot(boty_wynik[boty_wynik$metryka == m, ], aes(zmiana_proc, miara, colour = dane, shape = dane)) +
    geom_vline(xintercept = 0, colour = "grey40") +
    geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, orientation = "y", position = position_dodge(width = 0.55)) +
    geom_point(size = 3, position = position_dodge(width = 0.55)) +
    scale_colour_manual(values = c("wszystkie sesje" = kol[["cynober"]], "bez 22 botów" = kol[["niebieski"]]), name = NULL) +
    scale_shape_manual(values = c("wszystkie sesje" = 16, "bez 22 botów" = 17), name = NULL) +
    labs(x = "Zmiana B względem A (%), 95% CI", y = NULL, title = tytul) + motyw
}
p4 <- rysuj("czas", "A. Czas na stronie") + rysuj("odslony", "B. Liczba odsłon w sesji") +
  plot_layout(guides = "collect") & theme(legend.position = "bottom")
p4   # zapis: ggsave("czas-na-stronie-boty-winsoryzacja.svg", p4, width = 10, height = 5)
Wynik w R
   metryka            dane                   miara zmiana_proc dolna gorna
1     czas wszystkie sesje                 średnia        10.9   0.8  21.9
2     czas wszystkie sesje średnia po winsoryzacji        10.1   1.5  19.5
3     czas wszystkie sesje                 mediana         8.0  -7.1  30.4
4     czas    bez 22 botów                 średnia         5.2  -3.8  15.4
5     czas    bez 22 botów średnia po winsoryzacji         6.7  -1.5  16.3
6     czas    bez 22 botów                 mediana         8.0  -7.4  30.4
7  odslony wszystkie sesje                 średnia        24.0   6.6  44.2
8  odslony wszystkie sesje średnia po winsoryzacji         0.7  -3.4   5.0
9  odslony wszystkie sesje                 mediana         0.0   0.0   0.0
10 odslony    bez 22 botów                 średnia        -1.8  -6.0   2.7
11 odslony    bez 22 botów średnia po winsoryzacji        -0.8  -4.7   3.3
12 odslony    bez 22 botów                 mediana         0.0   0.0   0.0
   p_welch  p_mw
1    0.034 0.049
2    0.024    NA
3       NA    NA
4    0.283 0.090
5    0.125    NA
6       NA    NA
7    0.008 0.550
8    0.736    NA
9       NA    NA
10   0.430 0.776
11   0.703    NA
12      NA    NA
              A     B
z_botami  2.135 2.648
bez_botow 1.988 1.954
               A      B
z_botami  100.23 111.17
bez_botow  98.58 103.73
       ponad_50_odslon
wariant FALSE TRUE
      A  4000    4
      B  4000   18
[1] 28

6. Grafika: karta „którą miarę wybrać”: Rysunek 5

Dane wejściowe: nic – teksty wpisane w kod. Niczego nie losuje.

Co odczytać: sam rysunek; przepis nic nie wypisuje.

R
# Rysunek 5. Grafika: karta „którą miarę wybrać” – od pytania biznesowego do miary, analizy i pułapki
# Samodzielny przepis: niczego nie losuje i nie korzysta z innych przepisów.
library(ggplot2)

karta <- data.frame(
  y = 5:1,
  pytanie = c("Ile łącznie uwagi dostają oferty?\n(np. wyświetlenia reklam w czasie)",
              "Jak długo zostaje typowy\nużytkownik?",
              "O ile dłużej czytają ci,\nktórzy nie wyszli od razu?",
              "Czy losowy użytkownik B zostaje\ndłużej niż losowy użytkownik A?",
              "Ilu użytkowników wychodzi\nod razu?"),
  miara = c("średnia (po winsoryzacji z progiem\nustalonym przed testem)",
            "mediana",
            "średnia geometryczna sesji\nzaangażowanych (iloraz)",
            "prawdopodobieństwo przewagi\nP(B > A)",
            "odsetek odbić"),
  analiza = c("Welch lub bootstrap\nróżnicy średnich",
              "bootstrap różnicy\nmedian",
              "Welch na ln(czas),\nwynik jako exp(b)",
              "test Manna–Whitneya",
              "różnica odsetków\nz 95% CI"),
  pulapka = c("kilka długich sesji (boty)\nprzesuwa wynik",
              "przy wielu zerach skacze;\nmała moc",
              "wariant może zmienić to,\nkto zostaje",
              "to nie jest test median",
              "nic nie mówi o czasie\ntych, którzy zostali"))
kolumny <- data.frame(x = c(1.6, 4.55, 7.05, 9.45), tytul = c("Pytanie biznesowe", "Miara", "Analiza w teście A/B", "Na co uważać"),
                      szer = c(2.9, 2.75, 2.05, 2.55), tlo = c("#DCEEF8", "#FBE3D3", "#E3F2EC", "#EFEFEF"))
pola <- merge(karta, kolumny, by = NULL)
pola$tekst <- ifelse(pola$tytul == "Pytanie biznesowe", pola$pytanie,
              ifelse(pola$tytul == "Miara", pola$miara, ifelse(pola$tytul == "Analiza w teście A/B", pola$analiza, pola$pulapka)))
pola$pogrub <- pola$tytul == "Miara"
p6 <- ggplot() +
  geom_tile(data = pola, aes(x, y, width = szer, height = 0.82, fill = tlo), colour = "grey45", linewidth = 0.35) +
  geom_text(data = pola[!pola$pogrub, ], aes(x, y, label = tekst), size = 3.35, lineheight = 0.92, colour = "grey10") +
  geom_text(data = pola[pola$pogrub, ], aes(x, y, label = tekst), size = 3.35, lineheight = 0.92, colour = "#0f1d3a", fontface = "bold") +
  geom_text(data = kolumny, aes(x, 5.72, label = tytul), fontface = "bold", size = 3.9, colour = "#0f1d3a") +
  annotate("segment", x = 3.08, xend = 3.15, y = 5:1, yend = 5:1, arrow = arrow(length = unit(0.18, "cm"), type = "closed"), colour = "grey35") +
  annotate("segment", x = 5.95, xend = 6.02, y = 5:1, yend = 5:1, arrow = arrow(length = unit(0.18, "cm"), type = "closed"), colour = "grey35") +
  annotate("text", x = 0.15, y = 0.3, hjust = 0, size = 3.3, colour = "grey25",
           label = "Wybierz pytanie i miarę przed testem; w raporcie podaj miarę główną z przedziałem i 1–2 miary dodatkowe jako analizę wrażliwości.") +
  scale_fill_identity() +
  coord_cartesian(xlim = c(0.1, 10.75), ylim = c(0.15, 5.95), expand = FALSE) +
  labs(title = "Czas na stronie: którą miarę wybrać?") +
  theme_void(base_size = 13) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", margin = margin(b = 6)),
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 12, 8, 10))
p6   # zapis: ggsave("czas-na-stronie-karta-ktora-miara.svg", p6, width = 10, height = 6.4)

7. Sprawdzenie palety przy zaburzeniach widzenia barw

Dane wejściowe: nic – kolory z rysunków.

Co odczytać: odległość barw (ΔE w CIELAB) dla par kolorów z rysunków przy typowym widzeniu, deuteranopii i protanopii; para czerwony–zielony dla porównania.

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("niebieski – szary (wersja B / A)" = c("#0072B2", "#737373"),
             "cynober – niebieski (odbicia / sesje; z botami / bez)" = c("#D55E00", "#0072B2"),
             "niebieski – pomarańczowy (sesje / limit 30 min)" = c("#0072B2", "#E69F00"),
             "cynober – pomarańczowy (Welch surowe / po winsoryzacji)" = c("#D55E00", "#E69F00"),
             "niebieski – zielony (Welch na ln / Mann–Whitney)" = c("#0072B2", "#009E73"),
             "pomarańczowy – zielony (po winsoryzacji / Mann–Whitney)" = c("#E69F00", "#009E73"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                                        widzenie_typowe
niebieski – szary (wersja B / A)                                   41.5
cynober – niebieski (odbicia / sesje; z botami / bez)             114.6
niebieski – pomarańczowy (sesje / limit 30 min)                   120.2
cynober – pomarańczowy (Welch surowe / po winsoryzacji)            33.4
niebieski – zielony (Welch na ln / Mann–Whitney)                   70.1
pomarańczowy – zielony (po winsoryzacji / Mann–Whitney)            88.7
czerwony – zielony (do unikania)                                  121.7
                                                        deuteranopia protanopia
niebieski – szary (wersja B / A)                                45.1       38.2
cynober – niebieski (odbicia / sesje; z botami / bez)          108.3       91.9
niebieski – pomarańczowy (sesje / limit 30 min)                121.5      109.3
cynober – pomarańczowy (Welch surowe / po winsoryzacji)         18.4       24.9
niebieski – zielony (Welch na ln / Mann–Whitney)                55.4       58.0
pomarańczowy – zielony (po winsoryzacji / Mann–Whitney)         66.3       51.5
czerwony – zielony (do unikania)                                21.1       31.6

Bibliografia oprogramowania

Liczby na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (losowanie, testy t Welcha, test Manna–Whitneya, test różnicy odsetków i bootstrap – pakiety base i stats). Rysunki wykonano w ggplot2 i złożono pakietem patchwork; pliki SVG zapisano pakietem svglite, a paletę sprawdzono w symulacji zaburzeń widzenia barw pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • „Mann–Whitney porównał mediany”. Nie porównał – testuje przewagę losowej sesji jednej wersji nad drugą. W symulacji z dłuższym ogonem mediana wszystkich sesji spadła o 4 s, a test odrzucał H0 tylko w 4.2% testów.
  • Wynik z logarytmów opisany jako zmiana średniej. exp(b) to iloraz średnich geometrycznych; zwykła średnia może zmienić się o inny procent.
  • Próg winsoryzacji dobrany po wynikach albo osobno w każdej wersji – to ukryte p-hakowanie.
  • Mediana liczby odsłon. Gdy co najmniej połowa sesji ma 1 odsłonę, mediana wynosi 1 w obu wersjach i nic nie mówi.
  • Brak analizy mocy. Przy 4000 sesjach na wersję mały efekt wykrywa co trzeci test.

Najczęstsze pytania

Średnia czy mediana czasu na stronie w teście A/B?

Zależy od pytania. Średnia odpowiada na pytanie o łączny czas (np. wyświetlenia reklam), mediana – o typową sesję. Przy wielu odbiciach mediana leży nisko i ma szeroki przedział: w przykładzie +8.0%, 95% CI [−7.1, 30.4]. Miarę główną wybierz przed testem, a drugą podaj jako analizę wrażliwości.

Czy Mann–Whitney w teście A/B porównuje mediany czasu?

Nie. Testuje, czy losowa obserwacja z jednej grupy jest częściej większa niż z drugiej (P(X < Y) + ½ P(X = Y)) (Divine i in., 2018). W symulacji z dłuższym ogonem w wersji B mediana wszystkich sesji spadła o 4 s, a test odrzucał H0 tylko w 4.2% testów. Raportuj go z prawdopodobieństwem przewagi.

Jak interpretować test t na logarytmie czasu?

exp(różnicy średnich logarytmów) to iloraz średnich geometrycznych, nie zwykłych średnich. W przykładzie sesje zaangażowane trwały w wersji B 1.070 raza dłużej (95% CI [0.998, 1.148]). Logarytm nie istnieje dla zera, więc odbicia analizuj osobno (Feng i in., 2013).

Jak bootstrapować różnicę median w teście A/B?

Losuj ze zwracaniem sesje (albo użytkowników) osobno w każdej wersji, w każdej próbie policz obie mediany i ich różnicę, a z 2000 różnic weź 2.5. i 97.5. centyl. W przykładzie różnica median wyniosła 2 s, 95% CI [−2, 7]. Przy 1000 sesjach na wersję taki przedział obejmował prawdę w 95.8% symulowanych testów.

Co zrobić z botami i bardzo długimi sesjami?

Ustal przed testem filtr botów i próg winsoryzacji, wspólny dla obu wersji, np. 99. centyl z okresu przed testem. W przykładzie winsoryzacja zneutralizowała boty w liczbie odsłon (+24.0% → +0.7%), ale nie w czasie, bo boty siedziały przy limicie sesji. Przed odczytem wyników porównaj ogon rozkładu w wersjach (André, 2022).

Powiązane hasła

Przeczytaj też

Analizujesz test A/B ze skośną metryką w pracy dyplomowej?

Pomożemy wybrać miarę główną, zaplanować liczebność, policzyć przedziały bootstrapowe i opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. André, Q. (2022). Outlier exclusion procedures must be blind to the researcher’s hypothesis. Journal of Experimental Psychology: General, 151(1), 213–223. https://doi.org/10.1037/xge0001069 ● Otwarty dostęp: pełny tekst
  2. Divine, G. W., Norton, H. J., Barón, A. E., & Juarez-Colunga, E. (2018). The Wilcoxon–Mann–Whitney procedure fails as a test of medians. The American Statistician, 72(3), 278–286. https://doi.org/10.1080/00031305.2017.1305291 ● Otwarty dostęp
  3. Efron, B. (1979). Bootstrap methods: Another look at the jackknife. The Annals of Statistics, 7(1), 1–26. https://doi.org/10.1214/aos/1176344552 ● Otwarty dostęp
  4. Fagerland, M. W. (2012). t-tests, non-parametric tests, and large studies—a paradox of statistical practice? BMC Medical Research Methodology, 12(1), Article 78. https://doi.org/10.1186/1471-2288-12-78 ● Otwarty dostęp
  5. Feng, C., Wang, H., Lu, N., & Tu, X. M. (2013). Log transformation: Application and interpretation in biomedical research. Statistics in Medicine, 32(2), 230–239. https://doi.org/10.1002/sim.5486
  6. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge University Press. https://doi.org/10.1017/9781108653985
  7. Limpert, E., Stahel, W. A., & Abbt, M. (2001). Log-normal distributions across the sciences: Keys and clues. BioScience, 51(5), 341–352. https://doi.org/10.1641/0006-3568(2001)051[0341:lndats]2.0.co;2
  8. Wilcox, R. R., & Keselman, H. J. (2003). Modern robust data analysis methods: Measures of central tendency. Psychological Methods, 8(3), 254–274. https://doi.org/10.1037/1082-989X.8.3.254

Cytowania BibTeX

@article{andre2022outlier, author={André, Quentin}, title={{Outlier exclusion procedures must be blind to the researcher’s hypothesis}}, journal={Journal of Experimental Psychology: General}, year={2022}, volume={151}, number={1}, pages={213--223}, doi={10.1037/xge0001069}}
@article{divine2018wilcoxon, author={Divine, George W. and Norton, H. James and Barón, Anna E. and Juarez-Colunga, Elizabeth}, title={{The Wilcoxon–Mann–Whitney procedure fails as a test of medians}}, journal={The American Statistician}, year={2018}, volume={72}, number={3}, pages={278--286}, doi={10.1080/00031305.2017.1305291}}
@article{efron1979bootstrap, author={Efron, Bradley}, title={{Bootstrap methods: Another look at the jackknife}}, journal={The Annals of Statistics}, year={1979}, volume={7}, number={1}, pages={1--26}, doi={10.1214/aos/1176344552}}
@article{fagerland2012ttests, author={Fagerland, Morten W.}, title={{t-tests, non-parametric tests, and large studies—a paradox of statistical practice?}}, journal={BMC Medical Research Methodology}, year={2012}, volume={12}, number={1}, eid={78}, doi={10.1186/1471-2288-12-78}}
@article{feng2013log, author={Feng, Changyong and Wang, Hongyue and Lu, Naiji and Tu, Xin M.}, title={{Log transformation: Application and interpretation in biomedical research}}, journal={Statistics in Medicine}, year={2013}, volume={32}, number={2}, pages={230--239}, doi={10.1002/sim.5486}}
@book{kohavi2020trustworthy, author={Kohavi, Ron and Tang, Diane and Xu, Ya}, title={{Trustworthy online controlled experiments: A practical guide to A/B testing}}, year={2020}, publisher={Cambridge University Press}, doi={10.1017/9781108653985}}
@article{limpert2001log, author={Limpert, Eckhard and Stahel, Werner A. and Abbt, Markus}, title={{Log-normal distributions across the sciences: Keys and clues}}, journal={BioScience}, year={2001}, volume={51}, number={5}, pages={341--352}, doi={10.1641/0006-3568(2001)051[0341:lndats]2.0.co;2}}
@article{wilcox2003modern, author={Wilcox, Rand R. and Keselman, H. J.}, title={{Modern robust data analysis methods: Measures of central tendency}}, journal={Psychological Methods}, year={2003}, volume={8}, number={3}, pages={254--274}, doi={10.1037/1082-989x.8.3.254}}
R