Statystyka · Marketing

SMS i e-mail razem – eksperyment 2 × 2 i interakcja kanałów

Fikcyjna sieć gabinetów stomatologicznych losuje pacjentów do czterech grup: bez przypomnienia, tylko e-mail, tylko SMS oraz SMS i e-mail. Pokazujemy, jak policzyć interakcję kanałów na skali odsetka i logitu, sprawdzić, czy kanały się wzmacniają, czy zastępują, policzyć koszt dodatkowej wizyty z przedziałem z bootstrapu i zaplanować próbę pod interakcję – sześć rysunków z kodem R, podpisy APA i gotowe zdania do pracy.

Strona główna / Blog / SMS i e-mail razem
W skrócie: W eksperymencie 2 × 2 każdy pacjent dostaje SMS (tak/nie) i e-mail (tak/nie), co pozwala ocenić oba kanały i ich interakcję. W przykładzie (sieć gabinetów stomatologicznych, 18 166 pacjentów) SMS podniósł odsetek umówionych wizyt o 9.61 pp, e-mail o 6.14 pp, a oba razem tylko o 11.35 pp – interakcja −4.40 pp, 95% CI [−6.98, −1.82]. E-mail dołożony do SMS-a dał 1.74 pp, a u osób 55+ sam e-mail nie działał. Na interakcję trzeba ok. czterech razy więcej osób niż na efekt główny tej samej wielkości. Podawaj interakcję na skali odsetka i logitu, licz koszt krańcowy drugiego kanału i analizuj według przydziału.

Przykład: sieć gabinetów stomatologicznych i przypomnienie o przeglądzie

Fikcyjna sieć 12 gabinetów stomatologicznych ma w bazie 30 000 pacjentów, którym minął termin przeglądu (od ostatniej wizyty upłynęło co najmniej 6 miesięcy). Przypomnienie można wysłać SMS-em, e-mailem albo oboma kanałami. SMS kosztuje sieć 0.20 zł, e-mail – 0.04 zł. Dział marketingu pyta: czy wysyłać oba przypomnienia, czy wystarczy jedno – i które?

Odpowiada na to schemat czynnikowy 2 × 2: czynnik 1 – SMS (tak/nie), czynnik 2 – e-mail (tak/nie). Daje to cztery grupy: kontrola bez przypomnienia, tylko e-mail, tylko SMS oraz SMS i e-mail. Pacjentów przydzielono do grup przez randomizację, ale tylko tych, którzy zgodzili się na kontakt oboma kanałami: 18 166 osób (60.6% bazy), po 4541–4542 w grupie. Wynik to umówienie wizyty w ciągu 30 dni od wysyłki.

Kreacje maila w planie czynnikowym opisuje wpis o eksperymencie czynnikowym w mailingu; tu pytamy, czy dwa kanały wzmacniają się, czy zastępują i ile kosztuje dodatkowa wizyta.

Dane są fikcyjne i wiemy, co w nich ukryliśmy. Bez przypomnienia umawia się 30% pacjentów, u których od wizyty minęło 6–12 miesięcy, 17% przy 13–24 miesiącach i 7% po ponad 24 miesiącach. SMS i dostarczony e-mail podnoszą szansę umówienia, ale razem dają mniej niż suma ich efektów. U osób 55+ e-mail działa słabo. Prawdziwe odsetki w czterech grupach to 20.70%, 26.73%, 31.39% i 32.90%. Parametry ustawiliśmy ręcznie (lista przy kodzie). Po pierwszym uruchomieniu nie zmienialiśmy parametrów danych ani ziarna 749 – tylko odcień szarości kontroli na rysunkach (ciemniejszy lepiej odróżnia się od zieleni przy deuteranopii). Dane pobierzesz jako sms-email-2x2-przypomnienia.csv.

Rysunek 1: karta 2 × 2 – cztery grupy jednym spojrzeniem

Grafika: cztery karty ułożone w tabelę 2 × 2, kolumny bez e-maila i z e-mailem, wiersze bez SMS i z SMS. Kontrola: n = 4542, umówiło się 20.5%. Tylko e-mail: n = 4542, 26.7%, +6.1 pp, 0.65 zł za dodatkową wizytę. Tylko SMS: n = 4541, 30.1%, +9.6 pp, 2.08 zł. SMS i e-mail: n = 4541, 31.9%, +11.3 pp, 2.12 zł. Pod kartami: interakcja −4.4 pp – razem +11.3 pp zamiast +15.7 pp, e-mail dodany do SMS +1.7 pp
Rysunek 1. Eksperyment 2 × 2 z przypomnieniem o przeglądzie: liczebność, odsetek umówionych wizyt w 30 dni, przyrost względem kontroli i koszt dodatkowej wizyty w każdej grupie. Grafika: R, pakiet ggplot2 (dane fikcyjne, set.seed(749)).

Co widać. E-mail podnosi odsetek umówionych z 20.5% do 26.7%, SMS – do 30.1%, oba razem – do 31.9%, niewiele więcej niż sam SMS.

Jak może zmylić. Karta nie pokazuje niepewności – różnica 1.7 pp między „SMS i e-mail” a „tylko SMS” może być przypadkiem (rysunki 3 i 4).

Podpis do pracy:

Rysunek 1. Schemat eksperymentu czynnikowego 2 × 2 (SMS × e-mail) z odsetkiem pacjentów, którzy umówili wizytę w ciągu 30 dni od przypomnienia. Uwaga. pp – punkty procentowe względem grupy kontrolnej; koszt dodatkowej wizyty = koszt wysyłki na pacjenta podzielony przez przyrost odsetka umówionych. Dane fikcyjne.

Rysunek 2: interakcja na skali odsetka i na skali logitu

Interakcja w planie 2 × 2 to „różnica różnic”: o ile efekt e-maila u osób, które dostały SMS, różni się od efektu e-maila u osób bez SMS-a. Na skali odsetka:

interakcja = (pSMS i e-mail − ptylko SMS) − (ptylko e-mail − pkontrola)

To samo można policzyć na skali logitu, czyli w regresji logistycznej z członem sms × email. Wtedy interakcja jest ilorazem dwóch ilorazów szans. Obie skale odpowiadają na różne pytania, więc warto podać obie (Knol i VanderWeele, 2012).

Dwa wykresy interakcji. Oś pozioma: bez e-maila i z e-mailem; linie: bez SMS (niebieska, koła) i z SMS (pomarańczowa, trójkąty). A, skala odsetka: bez SMS 20.5% i 26.7%, z SMS 30.1% i 31.9%; krzyżyk – brak interakcji na tej skali – na 36.3%. B, skala logitu: bez SMS −1.35 i −1.01, z SMS −0.84 i −0.76; krzyżyk brak interakcji na −0.50. Na obu panelach linie zbliżają się do siebie, a punkt SMS i e-mail leży poniżej krzyżyka
Rysunek 2. Odsetek umówionych wizyt (A) i jego logit (B) w czterech grupach z 95% przedziałami ufności; krzyżyk – wynik grupy SMS i e-mail, jakiego oczekiwalibyśmy przy braku interakcji na danej skali. Obliczenia: R, pakiety stats, ggplot2 i patchwork (dane fikcyjne, set.seed(749)).

Co widać. Gdyby kanały działały niezależnie na skali odsetka, grupa SMS i e-mail miałaby 30.13 + 26.66 − 20.52 = 36.27%. Ma 31.87%: interakcja wynosi −4.40 pp, 95% CI [−6.98, −1.82], p < .001. Na skali logitu „brak interakcji” oznacza 37.78%; iloraz ilorazów szans OR = 0.77 [0.68, 0.88], p < .001. Obie skale mówią tu to samo: kanały częściowo się zastępują.

Jak może zmylić. Punkty odniesienia obu skal są różne (36.27% i 37.78%). Gdyby grupa SMS i e-mail osiągnęła np. 37%, skala odsetka pokazałaby wzmacnianie się kanałów, a skala logitu – ich osłabianie. Przy odsetkach poniżej 50% brak interakcji na logicie oznacza wzmacnianie się na odsetkach (Mize, 2019; McCabe i in., 2022). Dlatego przed analizą zapisz, na której skali stawiasz hipotezę. Do decyzji kosztowej liczą się odsetki – tyle dodatkowych wizyt zobaczy recepcja.

Podpis do pracy:

Rysunek 2. Odsetek pacjentów, którzy umówili wizytę w ciągu 30 dni (A), oraz logit tego odsetka (B) według przydziału do przypomnienia SMS i e-mail. Uwaga. Słupki błędów – 95% przedziały ufności (Wilsona dla odsetków); krzyżyk – wartość oczekiwana w grupie z oboma przypomnieniami przy braku interakcji na danej skali. N = 18 166.

Zdanie do Wyników:

Odsetek umówionych wizyt wyniósł 20.5% w grupie kontrolnej, 26.7% po e-mailu, 30.1% po SMS-ie i 31.9% po obu przypomnieniach. Interakcja kanałów była ujemna na skali odsetka (−4.40 pp, 95% CI [−6.98, −1.82], p < .001) i na skali logitu (iloraz ilorazów szans = 0.77, 95% CI [0.68, 0.88], p < .001).

Rysunek 3: wzmacniają się czy zastępują?

Porównaj efekt obu kanałów z sumą efektów pojedynczych. Jeśli „razem” jest mniejsze niż „suma” (subaddytywność), kanały się zastępują – docierają do tych samych osób z tą samą wiadomością.

Poziome słupki przyrostu odsetka umówionych względem kontroli z 95% przedziałami: tylko SMS +9.6 pp [7.8, 11.4], tylko e-mail +6.1 pp [4.4, 7.9], suma SMS + e-mail +15.7 pp [12.8, 18.7], SMS i e-mail razem +11.3 pp [9.6, 13.1]. Strzałka między słupkiem sumy a słupkiem razem: interakcja −4.4 pp
Rysunek 3. Przyrost odsetka umówionych wizyt względem kontroli po każdym kanale osobno, suma tych przyrostów i przyrost po obu kanałach razem (95% przedziały ufności). Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(749)).

Co widać. Oba kanały razem dają +11.35 pp, a suma pojedynczych efektów to +15.75 pp: wspólna wysyłka daje 72% sumy. E-mail dodany do SMS-a podnosi odsetek tylko o 1.74 pp, 95% CI [−0.16, 3.64], p = .073. SMS dodany do e-maila – o 5.20 pp [3.33, 7.07].

Jak może zmylić. „Suma” to rachunek, nie grupa; jej przedział jest szeroki, bo kontrola liczy się w nim dwa razy.

Podpis do pracy:

Rysunek 3. Przyrost odsetka umówionych wizyt w punktach procentowych względem grupy kontrolnej dla SMS-a, e-maila, sumy obu efektów i obu kanałów łącznie. Uwaga. Słupki błędów – 95% przedziały ufności; różnica między sumą a efektem łącznym to interakcja na skali odsetka.

Zdanie do Wyników:

Oba przypomnienia łącznie zwiększyły odsetek umówionych wizyt o 11.35 pp (95% CI [9.55, 13.14]), czyli mniej niż suma efektów SMS-a (9.61 pp) i e-maila (6.14 pp). Dodanie e-maila do SMS-a nie zwiększyło istotnie odsetka umówień (1.74 pp, 95% CI [−0.16, 3.64], p = .073).

Rysunek 4: koszt dodatkowej wizyty

Koszt wysyłki do 1000 pacjentów dzielimy przez liczbę dodatkowych wizyt na 1000 pacjentów (względem kontroli). „Dodatkowych”, bo część pacjentów umówiłaby się i bez przypomnienia – to ta sama logika co w modelowaniu uplift. Przedział dla ilorazu liczymy bootstrapem (5000 losowań liczby umówień w każdej grupie).

Wykres punktowy kosztu jednej dodatkowej umówionej wizyty z 95% przedziałami z bootstrapu: tylko e-mail 0.65 zł [0.51, 0.89], tylko SMS 2.08 zł [1.76, 2.56], SMS i e-mail 2.12 zł [1.82, 2.50], e-mail dodany do SMS 2.30 zł [1.08, bez górnej granicy] – przedział sięga do końca osi przy 30 zł
Rysunek 4. Koszt jednej dodatkowej umówionej wizyty dla każdej kombinacji kanałów i dla e-maila dodanego do SMS-a, z 95% przedziałem percentylowym z bootstrapu (5000 powtórzeń). Obliczenia: R, pakiet ggplot2 (set.seed(7491)).

Co widać. Na 1000 pacjentów e-mail daje 61.4 dodatkowej wizyty (0.65 zł za wizytę), SMS – 96.1 (2.08 zł), oba – 113.5 (2.12 zł). E-mail dołożony do SMS-a to tylko 17.4 wizyty, a przedział jego kosztu [1.08 zł, bez górnej granicy] jest otwarty: w 3.7% losowań bootstrapu nie dał żadnej dodatkowej wizyty.

Jak może zmylić. Średni koszt (2.12 zł) ukrywa koszt krańcowy drugiego kanału. Przy przyroście bliskim zera iloraz „koszt / przyrost” rośnie bez ograniczeń, więc zamiast błędu standardowego podaj przedział percentylowy. Przy przyjętej marży 90 zł z wizyty wszystkie warianty się opłacają; najwięcej zostaje przy obu kanałach: 9971 zł na 1000 pacjentów wobec 8445 zł przy samym SMS-ie.

Podpis do pracy:

Rysunek 4. Koszt jednej dodatkowej umówionej wizyty według wariantu przypomnienia. Uwaga. Koszt wysyłki: SMS 0.20 zł, e-mail 0.04 zł na pacjenta. Przyrost liczony względem grupy kontrolnej (dla e-maila dodanego do SMS-a – względem grupy „tylko SMS”). 95% przedziały percentylowe z bootstrapu parametrycznego, 5000 powtórzeń; oś ucięta na 30 zł.

Zdanie do Wyników:

Koszt jednej dodatkowej wizyty wyniósł 0.65 zł (95% CI [0.51, 0.89]) dla e-maila, 2.08 zł ([1.76, 2.56]) dla SMS-a i 2.12 zł ([1.82, 2.50]) dla obu kanałów. Koszt krańcowy e-maila dodanego do SMS-a wyniósł 2.30 zł, a jego przedział nie miał górnej granicy (95% CI [1.08, ∞)).

Rysunek 5: niejednorodność – wiek i czas od ostatniej wizyty

Liczymy efekty w segmentach wieku i czasu od ostatniej wizyty. Najpierw formalny test interakcji, potem rysunek – dlaczego, wyjaśnia wpis analiza podgrup – kiedy jej wierzyć.

Dwa panele z przyrostem odsetka umówionych względem kontroli w punktach procentowych. A, wiek: 18–34 – e-mail +5.7, SMS +6.4, oba +11.8; 35–54 – e-mail +9.3, SMS +12.4, oba +13.2; 55+ – e-mail +0.7 z przedziałem obejmującym zero, SMS +8.6, oba +6.8. B, czas od ostatniej wizyty: 6–12 miesięcy – 8.8, 11.8, 13.7; 13–24 miesiące – 4.5, 9.2, 10.6; ponad 24 miesiące – 1.9, 4.7, 5.3
Rysunek 5. Przyrost odsetka umówionych wizyt względem kontroli w segmentach wieku (A) i czasu od ostatniej wizyty (B), z 95% przedziałami ufności. Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(749)).

Co widać. U pacjentów 55+ sam e-mail nie działa: +0.7 pp, 95% CI [−3.1, 4.5], a SMS daje +8.6 pp. Test ilorazu wiarygodności potwierdza, że efekty kanałów różnią się z wiekiem: χ²(6) = 23.33, p < .001. W panelu B przyrosty maleją z czasem od wizyty (od 13.7 do 5.3 pp dla obu kanałów), ale test na skali logitu nie wykazuje różnic: χ²(6) = 2.77, p = .838.

Jak może zmylić. Panel B to znów sprawa skali: kanały mnożą szanse tak samo w każdym segmencie, ale po ponad 24 miesiącach bez przypomnienia umawia się 6.9% pacjentów, więc ten sam mnożnik daje mniej punktów procentowych. Sześć segmentów razy trzy efekty to 18 przedziałów: któryś może wyjść „istotnie” przypadkiem.

Podpis do pracy:

Rysunek 5. Przyrost odsetka umówionych wizyt względem grupy kontrolnej według wariantu przypomnienia w grupach wieku (A) i czasu od ostatniej wizyty (B). Uwaga. Słupki błędów – 95% przedziały ufności dla różnicy odsetków.

Zdanie do Wyników:

Efekty przypomnień różniły się w zależności od wieku pacjentów, χ²(6) = 23.33, p < .001: u osób w wieku 55+ e-mail nie zwiększył odsetka umówień (0.7 pp, 95% CI [−3.1, 4.5]), a SMS zwiększył go o 8.6 pp (95% CI [4.6, 12.5]). Nie stwierdzono różnic efektów na skali logitu w zależności od czasu od ostatniej wizyty, χ²(6) = 2.77, p = .838.

Rysunek 6: moc dla interakcji – symulacja

Symulujemy 2000 eksperymentów dla każdej liczebności od 2000 do 72 000 osób, z prawdziwymi odsetkami z danych. Prawdziwy efekt główny e-maila (uśredniony po SMS tak/nie) to 3.77 pp, efekt główny SMS-a – 8.43 pp, interakcja – −4.52 pp. Dodajemy wariant z interakcją o połowę mniejszą (−2.26 pp). Błąd Monte Carlo nie przekracza 1.1 pp.

Wykres liniowy mocy według liczby pacjentów (2000–72 000, skala log). Efekt główny SMS: 98.2% już przy 2000. Efekt główny e-maila: 47.1% przy 2000, 77.5% przy 4000, 96.4% przy 8000. Interakcja jak w danych: 19.8% przy 2000, 63.2% przy 8000, 78.3% przy 12 000, 91.9% przy 18 000. Interakcja o połowę mniejsza (linia przerywana): 38.0% przy 18 000, 78.2% przy 48 000, 92.0% przy 72 000. Pionowa linia – nasza próba 18 166, kropkowana – moc 80%
Rysunek 6. Moc wykrycia efektów głównych SMS-a i e-maila oraz interakcji (prawdziwej i o połowę mniejszej) według liczby pacjentów w eksperymencie 2 × 2; 2000 powtórzeń na punkt, test z na skali odsetka, α = .05. Obliczenia: R, pakiet ggplot2 (set.seed(7492)).

Co widać. Efekt główny e-maila ma moc 77.5% przy 4000 pacjentach, a większa od niego interakcja – 78.3% dopiero przy 12 000. Interakcja o połowę mniejsza przy naszych 18 000 pacjentach ma moc 38.0%; 80% osiąga dopiero przy ok. 48 000. Błąd standardowy różnicy różnic jest dwa razy większy niż błąd efektu głównego, więc na interakcję tej samej wielkości trzeba ok. czterech razy więcej osób (Brookes i in., 2004).

Jak może zmylić. Moc liczyliśmy dla prawdziwych odsetków, których przed badaniem nie znasz – przyjmij najmniejszą interakcję, która zmieniłaby decyzję. Więcej o tym w mocy testu dla interakcji i haśle moc testu.

Podpis do pracy:

Rysunek 6. Moc wykrycia efektów głównych i interakcji w eksperymencie czynnikowym 2 × 2 według liczby uczestników. Uwaga. 2000 symulacji na punkt; odsetki w grupach równe prawdziwym wartościom z danych fikcyjnych; linia kropkowana – moc 80%; linia pionowa – liczebność badania.

Zdanie do Metody:

Liczebność oceniono symulacyjnie (2000 powtórzeń): przy 18 000 uczestnikach moc wykrycia interakcji o wielkości −4.5 pp wynosiła 91.9%, a interakcji o wielkości −2.3 pp – 38.0%.

Co z tym zrobić w marketingu

  • SMS dla wszystkich, e-mail jako tani dodatek albo kanał zastępczy. SMS daje najwięcej wizyt. E-mail dołożony do SMS-a dodaje mało (1.74 pp), ale kosztuje 0.04 zł. Przy marży 90 zł z wizyty zwraca się już przy przyroście 0.044 pp; oszacowanie 1.74 pp jest dużo wyższe, choć jego przedział obejmuje zero. Kto nie ma zgody na SMS, powinien dostać choć e-mail.
  • Nie wysyłaj osobom 55+ samego e-maila. U nich e-mail nie działał; SMS – tak. To hipoteza do potwierdzenia w kolejnej fali, nie reguła z jednego testu.
  • Licz koszt krańcowy, nie średni. Pytanie „czy dodać drugi kanał?” dotyczy przyrostu ponad pierwszy (17.4 wizyty na 1000).
  • Planuj próbę pod interakcję. Jeśli decyzja zależy od tego, czy kanały się zastępują, licz liczebność dla interakcji, nie dla efektu głównego. Ogólne zasady testów opisuje wpis test A/B – plan i analiza, a zastosowania w tej dziedzinie – statystyka w pracy z marketingu.
  • Mierz dłużej niż 30 dni. Przypomnienie może tylko przyspieszyć wizytę, którą pacjent i tak by umówił; sprawdź, czy kontrola nie „dogania” po 90 dniach. Podobny problem opisuje wpis o rabacie na pierwszy miesiąc.

Przegląd badań randomizowanych pokazał, że przypomnienia SMS zwiększają zgłaszalność na wizyty (Gurol-Urganci i in., 2013); nasze liczby są fikcyjne.

Jak opisać w pracy

Eksperymenty czynnikowe dobrze nadają się do oceny składników wieloelementowych działań, a interakcje warto badać, a nie ich unikać (Collins i in., 2014). Regresja liniowa na wyniku 0/1 daje efekty od razu w punktach procentowych (Gomila, 2021) – to ta sama różnica różnic co w przepisie 2. Jak czytać rysunek interakcji, wyjaśnia hasło wykres interakcji.

Metoda. Pacjentów sieci gabinetów stomatologicznych, którym minął termin przeglądu i którzy wyrazili zgodę na kontakt SMS-em i e-mailem (N = 18 166), losowo przydzielono do czterech grup eksperymentu czynnikowego 2 × 2: bez przypomnienia, tylko e-mail, tylko SMS oraz SMS i e-mail. Zmienną zależną było umówienie wizyty w ciągu 30 dni. Odsetki podano z 95% przedziałami Wilsona. Interakcję kanałów oszacowano na skali odsetka (różnica różnic) i na skali logitu (regresja logistyczna z członem interakcji). Koszt dodatkowej wizyty oszacowano z 95% przedziałem percentylowym z bootstrapu (5000 powtórzeń). Niejednorodność efektów sprawdzono testem ilorazu wiarygodności. Analizę przeprowadzono według przydziału (intention-to-treat) w R 4.5.3.
Odsetek umówionych wizyt, przyrost i koszt dodatkowej wizyty w czterech grupach
GrupanUmówieni, % [95% CI]Przyrost, pp [95% CI]Koszt wizyty, zł [95% CI]
Kontrola454220.5 [19.4, 21.7]––
Tylko e-mail454226.7 [25.4, 28.0]6.1 [4.4, 7.9]0.65 [0.51, 0.89]
Tylko SMS454130.1 [28.8, 31.5]9.6 [7.8, 11.4]2.08 [1.76, 2.56]
SMS i e-mail454131.9 [30.5, 33.2]11.3 [9.6, 13.1]2.12 [1.82, 2.50]
Tabela 1. Odsetek pacjentów, którzy umówili wizytę w ciągu 30 dni, przyrost względem grupy kontrolnej i koszt jednej dodatkowej wizyty według wariantu przypomnienia (N = 18 166). Uwaga. Przedziały dla odsetków – metoda Wilsona; dla kosztu – bootstrap percentylowy.
Przykład reprodukowalny

Kod R: eksperyment 2 × 2, interakcja na dwóch skalach, koszt i moc

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę kol, motyw motyw i funkcję minus(), z których korzystają następne. Przepisy 2–6 i 8 kończą się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 1 (set.seed(749)), 4 (set.seed(7491)) i 6 (set.seed(7492)); ziarna ustalono raz i nie zmieniano. Ręcznie ustalono: wielkość bazy (30 000), rozkład wieku (18–34: 30%, 35–54: 40%, 55+: 30%) i czasu od wizyty (6–12 mies.: 45%, 13–24: 33%, ponad 24: 22%), odsetek zgód na oba kanały (70%, 65%, 45% wg wieku), odsetek umówień bez przypomnienia (30%, 17%, 7% wg czasu od wizyty) z przesunięciem logitu wg wieku (−0.15, 0, +0.20), efekt SMS-a (+0.60 na logicie), efekt dostarczonego e-maila (+0.45, a u osób 55+ +0.15), interakcję (−0.30), odsetek dostarczonych e-maili (96%, 92%, 80% wg czasu od wizyty), koszty (SMS 0.20 zł, e-mail 0.04 zł), marżę z wizyty (90 zł) oraz liczby powtórzeń (5000 i 2000). Po pierwszym uruchomieniu parametrów danych nie zmieniano; zmieniono tylko kolor grupy kontrolnej na rysunkach (szarość 45% na 25%). Przepis 1 zapisuje dane do pliku CSV w katalogu roboczym. Cały kod liczy się kilka sekund.

1. Dane: baza pacjentów, zgody i losowanie do czterech grup

Dane wejściowe: nic – dane losuje kod. Na początku – paleta Okabe–Ito kol, motyw motyw i funkcja minus() (znak − w etykietach).

Co odczytać: wielkość bazy, liczbę i odsetek (%) pacjentów ze zgodą na oba kanały, liczebność grup i prawdziwe odsetki umówień (%) w czterech grupach.

R
# Przepis 1. Fikcyjna sieć gabinetów stomatologicznych: przypomnienie o przeglądzie w eksperymencie 2 × 2
library(ggplot2)
options(width = 120)                                 # szerokie wydruki tabel

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw rysunków
kol <- c("Bez SMS" = "#0072B2", "SMS" = "#D55E00", "Kontrola" = "grey25", "Tylko e-mail" = "#0072B2",
         "Tylko SMS" = "#D55E00", "SMS i e-mail" = "#009E73")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))
minus <- function(x) gsub("-(?=[0-9])", "−", x, perl = TRUE)   # znak minus (−) przed liczbami w etykietach

# Parametry ustalone ręcznie
N_baza <- 30000                                      # pacjenci, którym minął termin przeglądu (12 gabinetów)
wiek_gr <- c("18–34", "35–54", "55+");           p_wiek <- c(0.30, 0.40, 0.30)
czas_gr <- c("6–12 mies.", "13–24 mies.", "ponad 24 mies."); p_czas <- c(0.45, 0.33, 0.22)
p_zgody <- c(0.70, 0.65, 0.45)                       # zgoda na SMS i na e-mail – wg wieku
p_bazowe <- c(0.30, 0.17, 0.07)                      # umówienie w 30 dni bez przypomnienia – wg czasu od wizyty
logit_wiek <- c(-0.15, 0, 0.20)                      # przesunięcie logitu wg wieku
b_sms <- 0.60                                        # efekt SMS (logit)
b_email <- c(0.45, 0.45, 0.15)                       # efekt dostarczonego e-maila (logit) – wg wieku
b_oba <- -0.30                                       # interakcja: SMS i dostarczony e-mail razem (logit)
p_dostarczony <- c(0.96, 0.92, 0.80)                 # e-mail dociera do skrzynki – wg czasu od wizyty

set.seed(749)
baza <- data.frame(id = seq_len(N_baza),
                   wiek = factor(sample(wiek_gr, N_baza, TRUE, p_wiek), levels = wiek_gr),
                   czas = factor(sample(czas_gr, N_baza, TRUE, p_czas), levels = czas_gr))
baza$zgoda_oba <- rbinom(N_baza, 1, p_zgody[as.integer(baza$wiek)])

# Losowanie tylko wśród pacjentów ze zgodą na oba kanały: cztery równe grupy
pac <- subset(baza, zgoda_oba == 1)
grupy <- c("Kontrola", "Tylko e-mail", "Tylko SMS", "SMS i e-mail")
pac$grupa <- factor(sample(rep(grupy, length.out = nrow(pac))), levels = grupy)
pac$sms <- as.integer(pac$grupa %in% c("Tylko SMS", "SMS i e-mail"))
pac$email <- as.integer(pac$grupa %in% c("Tylko e-mail", "SMS i e-mail"))
w <- as.integer(pac$wiek); cz <- as.integer(pac$czas)
pac$dostarczony <- pac$email * rbinom(nrow(pac), 1, p_dostarczony[cz])
eta <- qlogis(p_bazowe[cz]) + logit_wiek[w] + b_sms * pac$sms + b_email[w] * pac$dostarczony +
  b_oba * pac$sms * pac$dostarczony
pac$umowil <- rbinom(nrow(pac), 1, plogis(eta))

# Prawdziwe odsetki w czterech grupach (dane fikcyjne – znamy je): średnia prawdopodobieństw dla tych samych pacjentów
prawda <- sapply(list(c(0, 0), c(0, 1), c(1, 0), c(1, 1)), function(k) {
  d <- p_dostarczony[cz]
  e0 <- qlogis(p_bazowe[cz]) + logit_wiek[w] + b_sms * k[1]
  mean(k[2] * d * plogis(e0 + b_email[w] + b_oba * k[1]) + (1 - k[2] * d) * plogis(e0))
})
names(prawda) <- grupy

pac <- pac[, c("id", "grupa", "sms", "email", "wiek", "czas", "dostarczony", "umowil")]
write.csv(pac, "sms-email-2x2-przypomnienia.csv", row.names = FALSE, fileEncoding = "UTF-8")

c(baza = N_baza, zgoda_na_oba = nrow(pac), odsetek_zgod = round(100 * nrow(pac) / N_baza, 1))
table(pac$grupa)
round(100 * prawda, 2)                               # prawdziwe odsetki umówień (%)
Wynik w R
        baza zgoda_na_oba odsetek_zgod 
     30000.0      18166.0         60.6 

    Kontrola Tylko e-mail    Tylko SMS SMS i e-mail 
        4542         4542         4541         4541 
    Kontrola Tylko e-mail    Tylko SMS SMS i e-mail 
       20.70        26.73        31.39        32.90 

2. Odsetki i interakcja na dwóch skalach: Rysunek 2

Dane wejściowe: pac, grupy, kol i motyw z przepisu 1.

Co odczytać: liczebność, liczbę umówień, odsetek (%) z przedziałem Wilsona i logit w każdej grupie; interakcję w punktach procentowych i jako iloraz ilorazów szans z przedziałami, z i p; odsetek grupy SMS i e-mail oczekiwany przy braku interakcji na każdej skali.

R
# Przepis 2. Odsetki w czterech grupach i interakcja na skali odsetka oraz logitu: Rysunek 2
library(patchwork)

tab <- aggregate(umowil ~ grupa + sms + email, data = pac, FUN = function(x) c(n = length(x), x = sum(x)))
tab <- data.frame(grupa = tab$grupa, sms = tab$sms, email = tab$email, n = tab$umowil[, "n"], x = tab$umowil[, "x"])
tab <- tab[match(grupy, tab$grupa), ]
tab$p <- tab$x / tab$n
ci <- t(mapply(function(x, n) prop.test(x, n, correct = FALSE)$conf.int, tab$x, tab$n))   # przedział Wilsona
tab$ci_dol <- ci[, 1]; tab$ci_gora <- ci[, 2]
tab$logit <- qlogis(tab$p); tab$se_logit <- sqrt(1 / (tab$n * tab$p * (1 - tab$p)))
print(transform(tab[, c("grupa", "n", "x")], proc = round(100 * tab$p, 2), ci_dol = round(100 * tab$ci_dol, 2),
                ci_gora = round(100 * tab$ci_gora, 2), logit = round(tab$logit, 3)), row.names = FALSE)

# Skala odsetka: różnica różnic = (p_SE − p_S) − (p_E − p_0); to samo daje regresja liniowa z błędami odpornymi
p <- setNames(tab$p, grupy); v <- setNames(tab$p * (1 - tab$p) / tab$n, grupy)
dd <- p[["SMS i e-mail"]] - p[["Tylko SMS"]] - p[["Tylko e-mail"]] + p[["Kontrola"]]
se_dd <- sqrt(sum(v))
# Skala logitu: współczynnik interakcji z regresji logistycznej
m_log <- glm(umowil ~ sms * email, family = binomial, data = pac)
b <- coef(summary(m_log))["sms:email", ]
skale <- data.frame(skala = c("odsetek (pp)", "logit (OR)"),
                    interakcja = c(100 * dd, exp(b[["Estimate"]])),
                    ci_dol = c(100 * (dd - 1.96 * se_dd), exp(b[["Estimate"]] - 1.96 * b[["Std. Error"]])),
                    ci_gora = c(100 * (dd + 1.96 * se_dd), exp(b[["Estimate"]] + 1.96 * b[["Std. Error"]])),
                    z = c(dd / se_dd, b[["z value"]]), p = c(2 * pnorm(-abs(dd / se_dd)), b[["Pr(>|z|)"]]))
print(transform(skale, interakcja = round(interakcja, 3), ci_dol = round(ci_dol, 3), ci_gora = round(ci_gora, 3),
                z = round(z, 2), p = round(p, 4)), row.names = FALSE)

# Co „przewiduje” brak interakcji na każdej skali dla grupy SMS i e-mail
brak_odsetek <- p[["Tylko SMS"]] + p[["Tylko e-mail"]] - p[["Kontrola"]]
brak_logit <- plogis(qlogis(p[["Tylko SMS"]]) + qlogis(p[["Tylko e-mail"]]) - qlogis(p[["Kontrola"]]))
round(100 * c(obserwowany = p[["SMS i e-mail"]], brak_interakcji_odsetek = brak_odsetek,
              brak_interakcji_logit = brak_logit), 2)

rys <- data.frame(email = factor(ifelse(tab$email == 1, "e-mail", "bez e-maila"), levels = c("bez e-maila", "e-mail")),
                  sms = factor(ifelse(tab$sms == 1, "SMS", "Bez SMS"), levels = c("Bez SMS", "SMS")),
                  p = tab$p, dol = tab$ci_dol, gora = tab$ci_gora,
                  logit = tab$logit, ldol = tab$logit - 1.96 * tab$se_logit, lgora = tab$logit + 1.96 * tab$se_logit)
brak <- data.frame(email = factor("e-mail", levels = levels(rys$email)), sms = factor("SMS", levels = levels(rys$sms)),
                   p = brak_odsetek, logit = qlogis(brak_logit))
panel <- function(y, dol, gora, tytul, os, brak_y, brak_lab, etyk) {
  ggplot(rys, aes(email, .data[[y]], colour = sms, group = sms, shape = sms)) +
    geom_line(linewidth = 1) +
    geom_errorbar(aes(ymin = .data[[dol]], ymax = .data[[gora]]), width = 0.06) +
    geom_point(size = 3.4) +
    geom_point(data = brak, aes(y = .data[[brak_y]]), shape = 4, size = 4, stroke = 1.4, colour = "grey20") +
    annotate("text", x = 2.08, y = brak[[brak_y]], label = brak_lab, hjust = 0, size = 3.6, colour = "grey20") +
    geom_text(aes(label = etyk), nudge_x = -0.08, hjust = 1, size = 3.6, show.legend = FALSE) +
    scale_colour_manual(values = kol, name = NULL) + scale_shape_manual(values = c(16, 17), name = NULL) +
    scale_x_discrete(expand = expansion(add = c(0.75, 0.9))) +
    labs(title = tytul, x = NULL, y = os) + motyw
}
p2 <- panel("p", "dol", "gora", "A. Skala odsetka", "Umówieni w 30 dni", "p", "brak interakcji\nna tej skali",
            sprintf("%.1f%%", 100 * rys$p)) + scale_y_continuous(labels = function(x) paste0(100 * x, "%")) |
  panel("logit", "ldol", "lgora", "B. Skala logitu", "logit(odsetka)", "logit", "brak interakcji\nna tej skali",
        minus(sprintf("%.2f", rys$logit)))
p2 <- p2 + plot_layout(guides = "collect") & theme(legend.position = "bottom")
p2   # zapis: ggsave("sms-email-2x2-skale.svg", p2, width = 10, height = 5.6)
Wynik w R
        grupa    n    x  proc ci_dol ci_gora  logit
     Kontrola 4542  932 20.52  19.37   21.72 -1.354
 Tylko e-mail 4542 1211 26.66  25.40   27.97 -1.012
    Tylko SMS 4541 1368 30.13  28.81   31.48 -0.841
 SMS i e-mail 4541 1447 31.87  30.53   33.24 -0.760
        skala interakcja ci_dol ci_gora     z     p
 odsetek (pp)     -4.403 -6.982  -1.824 -3.35 8e-04
   logit (OR)      0.770  0.675   0.879 -3.87 1e-04
            obserwowany brak_interakcji_odsetek   brak_interakcji_logit 
                  31.87                   36.27                   37.78 

3. Suma efektów a efekt obu kanałów: Rysunek 3

Dane wejściowe: p i v z przepisu 2.

Co odczytać: przyrost (pp) z 95% przedziałem i p dla każdego kanału, ich sumy, obu kanałów razem i kanału dodanego do drugiego; na końcu – jaki procent sumy daje wysyłka obu.

R
# Przepis 3. Wzmacniają się czy zastępują? Efekt obu kanałów a suma efektów pojedynczych: Rysunek 3
# Korzysta z p i v (przepis 2).
efekt <- function(a, b) c(est = p[[a]] - p[[b]], se = sqrt(v[[a]] + v[[b]]))
ef <- rbind("Tylko SMS" = efekt("Tylko SMS", "Kontrola"),
            "Tylko e-mail" = efekt("Tylko e-mail", "Kontrola"),
            "Suma: SMS + e-mail" = c(p[["Tylko SMS"]] + p[["Tylko e-mail"]] - 2 * p[["Kontrola"]],
                                     sqrt(v[["Tylko SMS"]] + v[["Tylko e-mail"]] + 4 * v[["Kontrola"]])),
            "SMS i e-mail razem" = efekt("SMS i e-mail", "Kontrola"),
            "E-mail dodany do SMS" = efekt("SMS i e-mail", "Tylko SMS"),
            "SMS dodany do e-maila" = efekt("SMS i e-mail", "Tylko e-mail"))
ef <- data.frame(efekt = rownames(ef), pp = 100 * ef[, "est"], dol = 100 * (ef[, "est"] - 1.96 * ef[, "se"]),
                 gora = 100 * (ef[, "est"] + 1.96 * ef[, "se"]), p = 2 * pnorm(-abs(ef[, "est"] / ef[, "se"])))
print(transform(ef, pp = round(pp, 2), dol = round(dol, 2), gora = round(gora, 2), p = signif(p, 3)), row.names = FALSE)
# Udział sumy efektów pojedynczych, który daje wysyłka obu (%)
round(100 * ef$pp[4] / ef$pp[3], 1)

rys3 <- ef[1:4, ]
rys3$efekt <- factor(rys3$efekt, levels = rev(rys3$efekt))
rys3$typ <- c("Tylko SMS", "Tylko e-mail", "Kontrola", "SMS i e-mail")
p3 <- ggplot(rys3, aes(pp, efekt, fill = typ)) +
  geom_col(width = 0.62) +
  geom_errorbar(aes(xmin = dol, xmax = gora), width = 0.18, orientation = "y", colour = "grey20") +
  geom_text(aes(x = gora + 0.4, label = minus(sprintf("+%.1f pp [%.1f, %.1f]", pp, dol, gora))), hjust = 0, size = 3.8) +
  annotate("segment", x = rys3$pp[4], xend = rys3$pp[3], y = 1.45, yend = 1.45, colour = "#0f1d3a",
           arrow = arrow(length = unit(2, "mm"), ends = "both")) +
  annotate("text", x = (rys3$pp[3] + rys3$pp[4]) / 2, y = 1.62, size = 3.8, colour = "#0f1d3a",
           label = minus(sprintf("interakcja %.1f pp", ef$pp[4] - ef$pp[3]))) +
  scale_fill_manual(values = kol, guide = "none") +
  scale_x_continuous(limits = c(0, 26), labels = function(x) paste(x, "pp")) +
  labs(x = "Przyrost odsetka umówionych wizyt względem kontroli (punkty procentowe, 95% CI)", y = NULL) + motyw
p3   # zapis: ggsave("sms-email-2x2-suma-efektow.svg", p3, width = 10, height = 4.8)
Wynik w R
                 efekt    pp   dol  gora        p
             Tylko SMS  9.61  7.83 11.38 3.28e-26
          Tylko e-mail  6.14  4.40  7.88 4.75e-12
    Suma: SMS + e-mail 15.75 12.76 18.74 5.94e-25
    SMS i e-mail razem 11.35  9.55 13.14 2.62e-35
  E-mail dodany do SMS  1.74 -0.16  3.64 7.30e-02
 SMS dodany do e-maila  5.20  3.33  7.07 4.81e-08
[1] 72

4. Koszt dodatkowej wizyty z bootstrapu: Rysunek 4

Dane wejściowe: tab z przepisu 2.

Co odczytać: dodatkowe wizyty i koszt na 1000 pacjentów, koszt jednej dodatkowej wizyty (zł) z przedziałem, odsetek losowań bootstrapu bez przyrostu i zysk na 1000 pacjentów (zł).

R
# Przepis 4. Koszt dodatkowej wizyty dla każdej kombinacji kanałów z przedziałem z bootstrapu: Rysunek 4
# Korzysta z tab (przepis 2).
koszt_sms <- 0.20; koszt_email <- 0.04              # koszt wysyłki na pacjenta (zł) – ustalony ręcznie
marza_wizyty <- 90                                  # marża z wizyty kontrolnej (zł) – ustalona ręcznie
warianty <- data.frame(wariant = c("Tylko e-mail", "Tylko SMS", "SMS i e-mail", "E-mail dodany do SMS"),
                       grupa = c("Tylko e-mail", "Tylko SMS", "SMS i e-mail", "SMS i e-mail"),
                       odniesienie = c("Kontrola", "Kontrola", "Kontrola", "Tylko SMS"),
                       koszt = c(koszt_email, koszt_sms, koszt_sms + koszt_email, koszt_email))

B <- 5000
set.seed(7491)                                       # bootstrap: losowanie liczby umówień w każdej grupie
boot_p <- sapply(seq_len(nrow(tab)), function(i) rbinom(B, tab$n[i], tab$p[i]) / tab$n[i])
colnames(boot_p) <- tab$grupa
koszty <- do.call(rbind, lapply(seq_len(nrow(warianty)), function(i) {
  w <- warianty[i, ]
  przyrost <- tab$p[tab$grupa == w$grupa] - tab$p[tab$grupa == w$odniesienie]
  pb <- boot_p[, w$grupa] - boot_p[, w$odniesienie]
  kb <- ifelse(pb > 0, w$koszt / pb, Inf)            # przyrost ≤ 0: dodatkowej wizyty nie kupujemy za żadną cenę
  data.frame(wariant = w$wariant, wizyt_na_1000 = 1000 * przyrost, koszt_na_1000 = 1000 * w$koszt,
             koszt_wizyty = w$koszt / przyrost, ci_dol = unname(quantile(kb, 0.025)),
             ci_gora = unname(quantile(kb, 0.975)), boot_przyrost_ponizej_0 = 100 * mean(pb <= 0),
             zysk_na_1000 = 1000 * (marza_wizyty * przyrost - w$koszt))
}))
print(transform(koszty, wizyt_na_1000 = round(wizyt_na_1000, 1), koszt_wizyty = round(koszt_wizyty, 2),
                ci_dol = round(ci_dol, 2), ci_gora = round(ci_gora, 2), zysk_na_1000 = round(zysk_na_1000)),
      row.names = FALSE)
round(100 * koszt_email / marza_wizyty, 3)            # próg opłacalności e-maila: najmniejszy przyrost (pp), który się zwraca

koszty$wariant <- factor(koszty$wariant, levels = rev(koszty$wariant))
koszty$typ <- c("Tylko e-mail", "Tylko SMS", "SMS i e-mail", "Kontrola")
p4 <- ggplot(koszty, aes(koszt_wizyty, wariant, colour = typ, shape = typ)) +
  geom_errorbar(aes(xmin = ci_dol, xmax = pmin(ci_gora, 30)), width = 0.18, orientation = "y", linewidth = 0.8) +
  geom_point(size = 3.6) +
  geom_text(aes(x = 0.3, label = sprintf("%.2f zł [%.2f, %s]", koszt_wizyty, ci_dol,
                                          ifelse(is.finite(ci_gora) & ci_gora < 30, sprintf("%.2f", ci_gora), "bez górnej granicy"))),
            hjust = 0, vjust = -1.1, size = 3.8, colour = "grey15") +
  scale_colour_manual(values = kol, guide = "none") + scale_shape_manual(values = c(15, 16, 17, 18), guide = "none") +
  scale_x_continuous(limits = c(0, 30), labels = function(x) paste(x, "zł")) +
  scale_y_discrete(expand = expansion(add = c(0.5, 0.9))) +
  labs(x = "Koszt jednej dodatkowej umówionej wizyty (zł, 95% przedział z bootstrapu; oś ucięta na 30 zł)", y = NULL) + motyw
p4   # zapis: ggsave("sms-email-2x2-koszt-wizyty.svg", p4, width = 10, height = 4.8)
Wynik w R
              wariant wizyt_na_1000 koszt_na_1000 koszt_wizyty ci_dol ci_gora boot_przyrost_ponizej_0 zysk_na_1000
         Tylko e-mail          61.4            40         0.65   0.51    0.89                     0.0         5488
            Tylko SMS          96.1           200         2.08   1.76    2.56                     0.0         8445
         SMS i e-mail         113.5           240         2.12   1.82    2.50                     0.0         9971
 E-mail dodany do SMS          17.4            40         2.30   1.08     Inf                     3.7         1526
[1] 0.044

5. Efekty w segmentach i test niejednorodności: Rysunek 5

Dane wejściowe: pac i grupy z przepisu 1.

Co odczytać: odsetek w kontroli (%) i przyrost (pp) z przedziałem w każdym segmencie oraz statystykę χ², stopnie swobody i p testu ilorazu wiarygodności.

R
# Przepis 5. Niejednorodność: efekty kanałów według wieku i czasu od ostatniej wizyty: Rysunek 5
# Korzysta z pac, grupy, kol i motyw (przepis 1).
efekty_w <- function(d) {
  q <- tapply(d$umowil, d$grupa, mean); n <- tapply(d$umowil, d$grupa, length)
  do.call(rbind, lapply(grupy[-1], function(g) {
    est <- q[[g]] - q[["Kontrola"]]
    se <- sqrt(q[[g]] * (1 - q[[g]]) / n[[g]] + q[["Kontrola"]] * (1 - q[["Kontrola"]]) / n[["Kontrola"]])
    data.frame(grupa = g, kontrola = 100 * q[["Kontrola"]], pp = 100 * est, dol = 100 * (est - 1.96 * se),
               gora = 100 * (est + 1.96 * se), n_segment = nrow(d))
  }))
}
seg <- rbind(
  do.call(rbind, lapply(levels(pac$wiek), function(s) cbind(cecha = "A. Wiek pacjenta", segment = s,
                                                            efekty_w(pac[pac$wiek == s, ])))),
  do.call(rbind, lapply(levels(pac$czas), function(s) cbind(cecha = "B. Czas od ostatniej wizyty", segment = s,
                                                            efekty_w(pac[pac$czas == s, ])))))
print(transform(seg, kontrola = round(kontrola, 1), pp = round(pp, 1), dol = round(dol, 1), gora = round(gora, 1)),
      row.names = FALSE)

# Formalny test: czy efekty kanałów (z interakcją) różnią się między segmentami? Test ilorazu wiarygodności (logit)
test_seg <- function(zm) {
  m0 <- glm(as.formula(paste("umowil ~ sms * email +", zm)), family = binomial, data = pac)
  m1 <- glm(as.formula(paste("umowil ~ sms * email *", zm)), family = binomial, data = pac)
  a <- anova(m0, m1, test = "LRT")
  c(chi2 = a$Deviance[2], df = a$Df[2], p = a$`Pr(>Chi)`[2])
}
round(rbind(wiek = test_seg("wiek"), czas_od_wizyty = test_seg("czas")), 4)

seg$segment <- factor(seg$segment, levels = rev(c(levels(pac$wiek), levels(pac$czas))))
seg$grupa <- factor(seg$grupa, levels = grupy[-1])
p5 <- ggplot(seg, aes(pp, segment, colour = grupa, shape = grupa)) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_errorbar(aes(xmin = dol, xmax = gora), width = 0.2, orientation = "y",
                position = position_dodge(width = 0.6)) +
  geom_point(size = 3, position = position_dodge(width = 0.6)) +
  facet_wrap(~cecha, ncol = 2, scales = "free_y") +
  scale_colour_manual(values = kol, name = NULL) + scale_shape_manual(values = c(16, 17, 15), name = NULL) +
  labs(x = "Przyrost odsetka umówionych względem kontroli (pp, 95% CI)", y = NULL) + motyw
p5   # zapis: ggsave("sms-email-2x2-segmenty.svg", p5, width = 10, height = 5.6)
Wynik w R
                       cecha        segment        grupa kontrola   pp  dol gora n_segment
            A. Wiek pacjenta          18–34 Tylko e-mail     19.0  5.7  2.9  8.6      6207
            A. Wiek pacjenta          18–34    Tylko SMS     19.0  6.4  3.5  9.4      6207
            A. Wiek pacjenta          18–34 SMS i e-mail     19.0 11.8  8.8 14.9      6207
            A. Wiek pacjenta          35–54 Tylko e-mail     19.6  9.3  6.6 12.0      7893
            A. Wiek pacjenta          35–54    Tylko SMS     19.6 12.4  9.7 15.1      7893
            A. Wiek pacjenta          35–54 SMS i e-mail     19.6 13.2 10.5 15.9      7893
            A. Wiek pacjenta            55+ Tylko e-mail     24.9  0.7 -3.1  4.5      4066
            A. Wiek pacjenta            55+    Tylko SMS     24.9  8.6  4.6 12.5      4066
            A. Wiek pacjenta            55+ SMS i e-mail     24.9  6.8  2.8 10.7      4066
 B. Czas od ostatniej wizyty     6–12 mies. Tylko e-mail     29.9  8.8  5.9 11.7      8246
 B. Czas od ostatniej wizyty     6–12 mies.    Tylko SMS     29.9 11.8  8.9 14.8      8246
 B. Czas od ostatniej wizyty     6–12 mies. SMS i e-mail     29.9 13.7 10.8 16.6      8246
 B. Czas od ostatniej wizyty    13–24 mies. Tylko e-mail     17.3  4.5  1.6  7.3      5970
 B. Czas od ostatniej wizyty    13–24 mies.    Tylko SMS     17.3  9.2  6.3 12.2      5970
 B. Czas od ostatniej wizyty    13–24 mies. SMS i e-mail     17.3 10.6  7.6 13.6      5970
 B. Czas od ostatniej wizyty ponad 24 mies. Tylko e-mail      6.9  1.9 -0.4  4.3      3950
 B. Czas od ostatniej wizyty ponad 24 mies.    Tylko SMS      6.9  4.7  2.2  7.3      3950
 B. Czas od ostatniej wizyty ponad 24 mies. SMS i e-mail      6.9  5.3  2.7  7.9      3950
                  chi2 df      p
wiek           23.3308  6 0.0007
czas_od_wizyty  2.7670  6 0.8375

6. Moc dla efektów głównych i interakcji – symulacja: Rysunek 6

Dane wejściowe: prawda i pac z przepisu 1.

Co odczytać: prawdziwe efekty (pp), moc (%) dla każdej liczebności i największy błąd Monte Carlo (pp).

R
# Przepis 6. Moc dla efektu głównego i dla interakcji – symulacja: Rysunek 6
# Korzysta z prawda (przepis 1): prawdziwe odsetki w czterech grupach.
moc <- function(pr, N, R = 2000) {                 # pr: odsetki w kolejności Kontrola, Tylko e-mail, Tylko SMS, SMS i e-mail
  n <- N / 4
  q <- sapply(pr, function(pi) rbinom(R, n, pi) / n)
  v <- q * (1 - q) / n
  e_glowny <- (q[, 2] + q[, 4] - q[, 1] - q[, 3]) / 2    # efekt główny e-maila (średnio po SMS tak/nie)
  s_glowny <- (q[, 3] + q[, 4] - q[, 1] - q[, 2]) / 2    # efekt główny SMS
  dd <- q[, 4] - q[, 3] - q[, 2] + q[, 1]                 # interakcja (różnica różnic)
  se_g <- sqrt(rowSums(v)) / 2; se_dd <- sqrt(rowSums(v))
  c(sms = mean(abs(s_glowny / se_g) > 1.96), email = mean(abs(e_glowny / se_g) > 1.96),
    interakcja = mean(abs(dd / se_dd) > 1.96))
}
pr <- unname(prawda)
pr_pol <- pr; pr_pol[4] <- pr[4] - (pr[4] - pr[3] - pr[2] + pr[1]) / 2   # interakcja o połowę mniejsza
c(efekt_glowny_sms_pp = 100 * (pr[3] + pr[4] - pr[1] - pr[2]) / 2, efekt_glowny_email_pp = 100 * (pr[2] + pr[4] - pr[1] - pr[3]) / 2,
  interakcja_pp = 100 * (pr[4] - pr[3] - pr[2] + pr[1]), interakcja_polowa_pp = 100 * (pr_pol[4] - pr_pol[3] - pr_pol[2] + pr_pol[1]))

N_siatka <- c(2000, 4000, 8000, 12000, 18000, 24000, 36000, 48000, 72000)
set.seed(7492)
wyn <- do.call(rbind, lapply(N_siatka, function(N) {
  a <- moc(pr, N); b <- moc(pr_pol, N)
  data.frame(N = N, metoda = c("Efekt główny SMS", "Efekt główny e-maila", "Interakcja (jak w danych)",
                               "Interakcja o połowę mniejsza"),
             moc = c(a[["sms"]], a[["email"]], a[["interakcja"]], b[["interakcja"]]))
}))
szer <- reshape(wyn, idvar = "N", timevar = "metoda", direction = "wide")
names(szer) <- sub("moc\\.", "", names(szer)); szer[, -1] <- round(100 * szer[, -1], 1)
print(szer, row.names = FALSE)
round(100 * sqrt(0.5 * 0.5 / 2000), 1)                 # największy błąd Monte Carlo odsetka (pp)

wyn$metoda <- factor(wyn$metoda, levels = unique(wyn$metoda))
p6 <- ggplot(wyn, aes(N, moc, colour = metoda, shape = metoda, linetype = metoda)) +
  geom_hline(yintercept = 0.8, linetype = "dotted", colour = "grey30") +
  geom_vline(xintercept = nrow(pac), colour = "grey60") +
  annotate("text", x = nrow(pac) * 1.05, y = 0.08, label = paste("nasza próba:", format(nrow(pac), big.mark = " ")), hjust = 0, size = 3.6) +
  geom_line(linewidth = 0.9) + geom_point(size = 2.6) +
  scale_x_log10(breaks = c(2000, 4000, 8000, 18000, 36000, 72000), labels = function(x) format(x, big.mark = " ")) +
  scale_y_continuous(labels = function(x) paste0(100 * x, "%"), limits = c(0, 1)) +
  scale_colour_manual(values = c("#D55E00", "#0072B2", "#009E73", "#000000"), name = NULL) +
  scale_shape_manual(values = c(17, 16, 15, 1), name = NULL) +
  scale_linetype_manual(values = c("solid", "solid", "solid", "dashed"), name = NULL) +
  guides(colour = guide_legend(nrow = 2)) +
  labs(x = "Liczba pacjentów w eksperymencie (4 równe grupy; skala log)", y = "Moc (α = .05)") + motyw
p6   # zapis: ggsave("sms-email-2x2-moc.svg", p6, width = 10, height = 5.6)
Wynik w R
  efekt_glowny_sms_pp efekt_glowny_email_pp         interakcja_pp  interakcja_polowa_pp 
             8.427854              3.768658             -4.516480             -2.258240 
     N Efekt główny SMS Efekt główny e-maila Interakcja (jak w danych) Interakcja o połowę mniejsza
  2000             98.2                 47.1                      19.8                          8.6
  4000            100.0                 77.5                      38.5                         12.3
  8000            100.0                 96.4                      63.2                         19.4
 12000            100.0                 99.4                      78.3                         28.7
 18000            100.0                100.0                      91.9                         38.0
 24000            100.0                100.0                      97.0                         50.8
 36000            100.0                100.0                      99.8                         67.5
 48000            100.0                100.0                     100.0                         78.2
 72000            100.0                100.0                     100.0                         92.0
[1] 1.1

7. Pułapki: zgody i niedostarczone e-maile

Dane wejściowe: baza i pac z przepisu 1.

Co odczytać: odsetek osób 55+ i osób po ponad 24 miesiącach od wizyty (%) wśród pacjentów bez zgody (0) i ze zgodą (1), odsetek dostarczonych e-maili (%) oraz odsetki umówień i różnice (pp) przy porównaniu według przydziału i według dostarczenia.

R
# Przepis 7. Pułapki: kto ma zgody na oba kanały i co robią niedostarczone e-maile
# Korzysta z baza i pac (przepis 1).
# 1. Losowanie objęło tylko pacjentów ze zgodą na SMS i e-mail – czym różnią się od reszty bazy?
zgody <- aggregate(cbind(wiek_55_plus = wiek == "55+", ponad_24_mies = czas == "ponad 24 mies.") ~ zgoda_oba,
                   data = baza, FUN = function(x) round(100 * mean(x), 1))
zgody$n <- as.vector(table(baza$zgoda_oba)[as.character(zgody$zgoda_oba)])
zgody

# 2. E-maile, które nie dotarły: analiza wg przydziału (ITT) a porównanie „dostarczony vs kontrola”
em <- subset(pac, grupa %in% c("Kontrola", "Tylko e-mail"))
dostarczenie <- tapply(em$dostarczony[em$email == 1], em$czas[em$email == 1], function(x) round(100 * mean(x), 1))
dostarczenie
c(dostarczone_ogolem = round(100 * mean(em$dostarczony[em$email == 1]), 1))
odsetek <- function(x) round(100 * mean(x), 2)
c(kontrola = odsetek(em$umowil[em$email == 0]),
  przydzieleni_do_emaila = odsetek(em$umowil[em$email == 1]),
  email_dostarczony = odsetek(em$umowil[em$dostarczony == 1]),
  email_niedostarczony = odsetek(em$umowil[em$email == 1 & em$dostarczony == 0]))
c(efekt_ITT_pp = odsetek(em$umowil[em$email == 1]) - odsetek(em$umowil[em$email == 0]),
  dostarczeni_vs_kontrola_pp = odsetek(em$umowil[em$dostarczony == 1]) - odsetek(em$umowil[em$email == 0]),
  niedostarczeni_vs_kontrola_pp = odsetek(em$umowil[em$email == 1 & em$dostarczony == 0]) - odsetek(em$umowil[em$email == 0]))
Wynik w R
  zgoda_oba wiek_55_plus ponad_24_mies     n
1         0         42.0          22.8 11834
2         1         22.4          21.7 18166
    6–12 mies.    13–24 mies. ponad 24 mies. 
          97.0           93.2           80.2 
dostarczone_ogolem 
              92.1 
              kontrola przydzieleni_do_emaila      email_dostarczony   email_niedostarczony 
                 20.52                  26.66                  27.65                  15.08 
                 efekt_ITT_pp    dostarczeni_vs_kontrola_pp niedostarczeni_vs_kontrola_pp 
                         6.14                          7.13                         -5.44 

8. Grafika: karta 2 × 2: Rysunek 1

Dane wejściowe: tab (przepis 2), ef (przepis 3) i koszty (przepis 4).

Co odczytać: przepis niczego nie wypisuje – rysuje kartę z liczbami pobranymi z wcześniejszych przepisów.

R
# Przepis 8. Grafika: karta 2 × 2 z liczbami z eksperymentu: Rysunek 1
# Korzysta z tab (przepis 2), ef (przepis 3) i koszty (przepis 4).
kw <- koszty[match(c("Tylko e-mail", "Tylko SMS", "SMS i e-mail"), koszty$wariant), ]
karta <- data.frame(
  grupa = tab$grupa, x = tab$email, y = tab$sms,
  tresc = c(sprintf("bez przypomnienia\nn = %d\numówiło się: %.1f%%\npunkt odniesienia", tab$n[1], 100 * tab$p[1]),
            sprintf("n = %d\numówiło się: %.1f%%\n+%.1f pp względem kontroli\n%.2f zł za dodatkową wizytę",
                    tab$n[2:4], 100 * tab$p[2:4], ef$pp[c(2, 1, 4)], kw$koszt_wizyty)))
karta$tresc <- minus(karta$tresc)
p1 <- ggplot(karta) +
  geom_rect(aes(xmin = x - 0.47, xmax = x + 0.47, ymin = y - 0.44, ymax = y + 0.44, fill = grupa, colour = grupa),
            linewidth = 0.9, alpha = 0.12) +
  geom_text(aes(x = x - 0.42, y = y + 0.33, label = grupa, colour = grupa), hjust = 0, vjust = 1, fontface = "bold",
            size = 5) +
  geom_text(aes(x = x - 0.42, y = y + 0.12, label = tresc), hjust = 0, vjust = 1, size = 4.1, lineheight = 1.05,
            colour = "grey15") +
  annotate("text", x = c(0, 1), y = 1.56, label = c("bez e-maila", "z e-mailem"), fontface = "bold", size = 4.4,
           colour = "#0f1d3a") +
  annotate("text", x = -0.58, y = c(0, 1), label = c("bez SMS", "z SMS"), fontface = "bold", size = 4.4, angle = 90,
           colour = "#0f1d3a") +
  annotate("text", x = 0.5, y = -0.6, size = 4.1, colour = "#0f1d3a",
           label = minus(sprintf("Interakcja: %.1f pp – razem +%.1f pp zamiast +%.1f pp (suma); e-mail dodany do SMS: +%.1f pp",
                                 ef$pp[4] - ef$pp[3], ef$pp[4], ef$pp[3], ef$pp[5]))) +
  scale_fill_manual(values = kol, guide = "none") + scale_colour_manual(values = kol, guide = "none") +
  coord_cartesian(xlim = c(-0.65, 1.5), ylim = c(-0.7, 1.62), expand = FALSE) +
  labs(title = "Eksperyment 2 × 2: przypomnienie o przeglądzie (umówienie wizyty w 30 dni)", x = NULL, y = NULL) +
  motyw + theme(axis.text = element_blank(), panel.grid.major = element_blank())
p1   # zapis: ggsave("sms-email-2x2-karta.svg", p1, width = 10, height = 6.4)

9. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: pary kolorów z rysunków i – dla porównania – para czerwony–zielony.

Co odczytać: odległość barw ΔE w przestrzeni CIELAB przy typowym widzeniu oraz po symulacji deuteranopii i protanopii. Na rysunkach kolorowi towarzyszy kształt punktu, rodzaj linii albo etykieta.

R
# Przepis 9. Kontrola palety: symulacja zaburzeń widzenia barw
library(colorspace)
roznica <- function(k) {                             # odległość dwóch barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB"))
  sqrt(sum((lab[1, ] - lab[2, ])^2))
}
pary <- list("SMS – bez SMS" = c("#D55E00", "#0072B2"), "SMS – SMS i e-mail" = c("#D55E00", "#009E73"),
             "e-mail – SMS i e-mail" = c("#0072B2", "#009E73"), "kontrola – SMS i e-mail" = c("#404040", "#009E73"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                 widzenie_typowe deuteranopia protanopia
SMS – bez SMS                              114.6        108.3       91.9
SMS – SMS i e-mail                         102.4         53.5       37.3
e-mail – SMS i e-mail                       70.1         55.4       58.0
kontrola – SMS i e-mail                     56.5         30.2       38.3
czerwony – zielony (do unikania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych, przedziały Wilsona (prop.test), regresja logistyczna (glm) i test ilorazu wiarygodności – pakiet stats i funkcje podstawowej instalacji R. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Losowanie tylko wśród zgód. Zgodę na oba kanały miało 60.6% bazy. Wśród nich osoby 55+ to 22.4%, wśród pozostałych 11 834 pacjentów – 42.0%. Wynik dotyczy pacjentów ze zgodami; przeniesienie go na całą bazę wymaga założeń – to kwestia trafności zewnętrznej. Skoro e-mail słabo działa u osób 55+, w całej bazie jego efekt byłby prawdopodobnie mniejszy.
  • Niedostarczone e-maile. E-mail dotarł do 92.1% przydzielonych, ale tylko do 80.2% pacjentów po ponad 24 miesiącach od wizyty (stare adresy). Porównanie według przydziału (ITT) daje +6.14 pp, „dostarczeni kontra kontrola” +7.13 pp, a „niedostarczeni kontra kontrola” −5.44 pp – choć niedostarczony e-mail nie może zaszkodzić. To skład grup: niedostarczenie trafia częściej do pacjentów, którzy rzadko się umawiają. Analizuj według przydziału.
  • Efekty proste zamiast interakcji. „E-mail działa bez SMS-a (p < .001), a z SMS-em nie (p = .073)” to nie test interakcji. Różnicę efektów sprawdza się wprost – różnicą różnic z przedziałem.

Kolejny wpis serii dotyczy wykrywania fałszywych opinii – tam też liczy się koszt sprawdzenia jednego przypadku.

Najczęstsze pytania

Jak sprawdzić, czy SMS i e-mail wzmacniają się, czy zastępują?

Porównaj efekt obu kanałów razem z sumą efektów każdego kanału osobno, czyli policz różnicę różnic w eksperymencie 2 × 2. Jeśli efekt łączny jest mniejszy od sumy, kanały się zastępują (subaddytywność). W przykładzie oba kanały dały +11.35 pp, a suma pojedynczych efektów +15.75 pp: interakcja −4.40 pp, 95% CI [−6.98, −1.82].

Dlaczego interakcja na skali logitu i na skali odsetka może dać inne wnioski?

Bo „brak interakcji” oznacza na obu skalach co innego. Na skali odsetka efekty się sumują, na skali logitu mnożą się szanse. W przykładzie przy braku interakcji grupa z oboma przypomnieniami miałaby 36.27% według skali odsetka i 37.78% według logitu – wynik pomiędzy tymi wartościami byłby wzmacnianiem na jednej skali i osłabianiem na drugiej. Podawaj obie skale i zapisz przed analizą, o którą pytasz (Knol i VanderWeele, 2012).

Jak policzyć koszt jednej dodatkowej wizyty po przypomnieniu?

Podziel koszt wysyłki na pacjenta przez przyrost odsetka umówionych względem grupy bez przypomnienia. W przykładzie SMS za 0.20 zł dał +9.61 pp, czyli 2.08 zł za dodatkową wizytę. Przedział licz bootstrapem, bo przy małym przyroście iloraz rośnie bez ograniczeń: koszt e-maila dodanego do SMS-a miał przedział [1.08 zł, bez górnej granicy].

Ile osób potrzeba, żeby wykryć interakcję w eksperymencie 2 × 2?

Około czterech razy więcej niż do wykrycia efektu głównego tej samej wielkości, bo błąd standardowy różnicy różnic jest dwa razy większy (Brookes i in., 2004). W symulacji efekt główny e-maila (3.77 pp) miał moc 77.5% przy 4000 pacjentach, interakcja −4.52 pp – 78.3% przy 12 000, a interakcja −2.26 pp dopiero przy ok. 48 000.

Czy analizować tylko pacjentów, do których e-mail dotarł?

Nie – analizuj według przydziału (intention-to-treat). W przykładzie porównanie według przydziału dało +6.14 pp, porównanie „dostarczeni kontra kontrola” +7.13 pp, a „niedostarczeni kontra kontrola” −5.44 pp. Niedostarczenie częściej dotyczy pacjentów, którzy i tak rzadko się umawiają, więc podział według dostarczenia miesza efekt kanału ze składem grup.

Powiązane hasła

Przeczytaj też

Planujesz eksperyment z kilkoma kanałami kontaktu?

Pomożemy zaplanować schemat czynnikowy i liczebność pod interakcję, przeanalizować wyniki na właściwej skali i opisać je tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Brookes, S. T., Whitely, E., Egger, M., Davey Smith, G., Mulheran, P. A., & Peters, T. J. (2004). Subgroup analyses in randomized trials: Risks of subgroup-specific analyses; power and sample size for the interaction test. Journal of Clinical Epidemiology, 57(3), 229–236. https://doi.org/10.1016/j.jclinepi.2003.08.009
  2. Collins, L. M., Dziak, J. J., Kugler, K. C., & Trail, J. B. (2014). Factorial experiments: Efficient tools for evaluation of intervention components. American Journal of Preventive Medicine, 47(4), 498–504. https://doi.org/10.1016/j.amepre.2014.06.021 ● Otwarty dostęp: pełny tekst
  3. Gomila, R. (2021). Logistic or linear? Estimating causal effects of experimental treatments on binary outcomes using regression analysis. Journal of Experimental Psychology: General, 150(4), 700–709. https://doi.org/10.1037/xge0000920 ● Otwarty dostęp: pełny tekst
  4. Gurol-Urganci, I., de Jongh, T., Vodopivec-Jamsek, V., Atun, R., & Car, J. (2013). Mobile phone messaging reminders for attendance at healthcare appointments. Cochrane Database of Systematic Reviews, 2013(12), Article CD007458. https://doi.org/10.1002/14651858.cd007458.pub3 ● Otwarty dostęp
  5. Knol, M. J., & VanderWeele, T. J. (2012). Recommendations for presenting analyses of effect modification and interaction. International Journal of Epidemiology, 41(2), 514–520. https://doi.org/10.1093/ije/dyr218 ● Otwarty dostęp: pełny tekst
  6. McCabe, C. J., Halvorson, M. A., King, K. M., Cao, X., & Kim, D. S. (2022). Interpreting interaction effects in generalized linear models of nonlinear probabilities and counts. Multivariate Behavioral Research, 57(2–3), 243–263. https://doi.org/10.1080/00273171.2020.1868966 ● Otwarty dostęp: pełny tekst
  7. Mize, T. D. (2019). Best practices for estimating, interpreting, and presenting nonlinear interaction effects. Sociological Science, 6, 81–117. https://doi.org/10.15195/v6.a4 ● Otwarty dostęp

Cytowania BibTeX

@article{brookes2004subgroup, author={Brookes, Sara T. and Whitely, Elise and Egger, Matthias and Davey Smith, George and Mulheran, Paul A. and Peters, Tim J.}, title={{Subgroup analyses in randomized trials: Risks of subgroup-specific analyses; power and sample size for the interaction test}}, journal={Journal of Clinical Epidemiology}, year={2004}, volume={57}, number={3}, pages={229--236}, doi={10.1016/j.jclinepi.2003.08.009}}
@article{collins2014factorial, author={Collins, Linda M. and Dziak, John J. and Kugler, Kari C. and Trail, Jessica B.}, title={{Factorial experiments: Efficient tools for evaluation of intervention components}}, journal={American Journal of Preventive Medicine}, year={2014}, volume={47}, number={4}, pages={498--504}, doi={10.1016/j.amepre.2014.06.021}}
@article{gomila2021logistic, author={Gomila, Robin}, title={{Logistic or linear? Estimating causal effects of experimental treatments on binary outcomes using regression analysis}}, journal={Journal of Experimental Psychology: General}, year={2021}, volume={150}, number={4}, pages={700--709}, doi={10.1037/xge0000920}}
@article{gurolurganci2013mobile, author={Gurol-Urganci, Ipek and de Jongh, Thyra and Vodopivec-Jamsek, Vlasta and Atun, Rifat and Car, Josip}, title={{Mobile phone messaging reminders for attendance at healthcare appointments}}, journal={Cochrane Database of Systematic Reviews}, year={2013}, volume={2013}, number={12}, eid={CD007458}, doi={10.1002/14651858.cd007458.pub3}}
@article{knol2012recommendations, author={Knol, Mirjam J. and VanderWeele, Tyler J.}, title={{Recommendations for presenting analyses of effect modification and interaction}}, journal={International Journal of Epidemiology}, year={2012}, volume={41}, number={2}, pages={514--520}, doi={10.1093/ije/dyr218}}
@article{mccabe2022interpreting, author={McCabe, Connor J. and Halvorson, Max A. and King, Kevin M. and Cao, Xiaolin and Kim, Dale S.}, title={{Interpreting interaction effects in generalized linear models of nonlinear probabilities and counts}}, journal={Multivariate Behavioral Research}, year={2022}, volume={57}, number={2–3}, pages={243--263}, doi={10.1080/00273171.2020.1868966}}
@article{mize2019best, author={Mize, Trenton D.}, title={{Best practices for estimating, interpreting, and presenting nonlinear interaction effects}}, journal={Sociological Science}, year={2019}, volume={6}, pages={81--117}, doi={10.15195/v6.a4}}
R