Prace dyplomowe · Schemat badania

Ewaluacja programu w jednej placówce – jak opisać metodę w pracy

Gotowy podrozdział „Metoda” dla ewaluacji programu bez losowania: pytania ewaluacyjne, logika programu, rola autora jako prowadzącego, wierność realizacji, grupa porównawcza i zdania, które wolno napisać we wnioskach.

Strona główna / Blog / Ewaluacja programu – opis metody
W skrócie: W ewaluacji we własnej placówce napisz, kto prowadził i kto mierzył, podaj realizację programu po elementach i nie wnioskuj o działaniu programu z frekwencji. W przykładzie zrealizowano 103 ze 120 elementów (85.8%), a uczestnicy poprawili wynik o 3.80 punktu, ale osoby z listy oczekujących o 2.17, więc różnica wyniosła −1.63 punktu, 95% CI [−3.79, 0.53]. Frekwencja wiązała się ze zmianą silnie (p = .005), lecz w symulacji programu bez żadnego działania tak wyglądało nawet 41.12% badań.

Jedna placówka, zwykle bez losowania: co to zmienia w rozdziale

Ewaluacja programu ocenia konkretne działanie w konkretnym miejscu. W pracy dyplomowej mają zwykle znaczenie dwie okoliczności. Po pierwsze, autor bywa jednocześnie pracownikiem placówki, prowadzącym zajęcia i osobą, która zbiera ankiety. Po drugie, nikt nie losuje uczestników, bo o udziale decyduje kolejność zgłoszeń, grafik albo dyrekcja. Rozdział metodologiczny powinien pokazywać obie te rzeczy wprost.

Ogólny plan ewaluacji, kryteria i wskaźniki znajdziesz w poradniku o badaniu ewaluacyjnym w pracy dyplomowej, a zagrożenia planu dwóch pomiarów i regresję do średniej we wpisie o badaniu przed i po. Tu zajmujemy się tym, co jest specyficzne dla ewaluacji we własnej placówce: kto mierzy, gdy autor prowadzi, jak zapisać wierność realizacji i czego nie wolno wnioskować z frekwencji.

Przykład przewodni (fikcyjny, dane symulowane). Autorka pracy jest zatrudniona w centrum wsparcia opiekunów osób z demencją i ocenia program 10 cotygodniowych warsztatów po 90 minut. Program realizowano w trzech grupach: grupy 1 i 2 prowadziła autorka, a grupę 3 koleżanka z zespołu. Miejsc było mniej niż zgłoszeń, więc osoby zgłoszone później trafiły na listę oczekujących i posłużyły jako grupa porównawcza. Wynikiem jest obciążenie opieką, skala 0–40 (im wyżej, tym większe; narzędzie wymyślone na potrzeby przykładu), mierzone przed programem (T1) i po 10 tygodniach (T2).

Pytania ewaluacyjne: najpierw o proces, potem o wynik

Pytanie ewaluacyjne nie brzmi tak samo jak hipoteza. Wskazuje program, miejsce i kryterium oceny. Dobrze jest rozdzielić pytania o przebieg programu od pytań o to, co zmieniło się u uczestników, bo wymagają innych danych i pozwalają na inne wnioski.

Pytania ewaluacyjne w przykładzie: typ pytania, dane i odpowiedź, na którą pozwala plan
PytanieTypDaneCo plan pozwala powiedzieć
W jakim stopniu program zrealizowano zgodnie ze scenariuszem?ProcesLista kontrolna elementówOdpowiedź bezpośrednią
Ile spotkań uzyskali uczestnicy?ProcesLista obecnościOdpowiedź bezpośrednią
Czy obciążenie opieką zmieniło się między T1 a T2?WynikSkala w dwóch pomiarachOpis zmiany, bez przyczyny
Czy zmiana była większa niż na liście oczekujących?WynikSkala w obu grupachRóżnicę z zastrzeżeniem braku losowania

Jak bywa napisane: „Celem pracy jest ocena skuteczności programu”.

Co jest nie tak: słowo „skuteczność” obiecuje wniosek, na który plan bez losowania nie pozwala, a przebieg programu w ogóle nie jest badany.

Celem pracy była ocena realizacji programu warsztatów dla opiekunów osób z demencją w jednej placówce oraz opis zmiany obciążenia opieką u uczestników w porównaniu z osobami z listy oczekujących. Postawiono następujące pytania: (1) w jakim stopniu program zrealizowano zgodnie ze scenariuszem; (2) w ilu spotkaniach uczestniczyły osoby włączone do programu; (3) czy obciążenie opieką po 10 tygodniach zmieniło się w większym stopniu u uczestników niż u osób oczekujących.

Jeśli program jest szkoleniem, kolejne pytania możesz ułożyć według poziomów opisanych we wpisie o modelu Kirkpatricka. W rozdziale metody wystarczy wtedy zdanie, które poziomy objęto pomiarem i dlaczego pozostałych nie mierzono. Sama wysoka ocena zajęć nie odpowiada na pytanie o wynik.

Logika programu w jednym rysunku

Horstman i Godwin (2025) opisują pięć elementów modelu logicznego: nakłady, działania, produkty, rezultaty i wpływ, i radzą poprawiać model, gdy program się zmienia. Definicję i różnicę względem teorii zmiany podaje hasło teoria zmiany i model logiczny. W rozdziale metody model jest przydatny z innego powodu: pod każdym ogniwem możesz zapisać wskaźnik i osobę, która zbiera dane. Rysunek 1 nie ma ostatniego ogniwa. Zmiany długofalowe w życiu rodzin przekraczają zakres pracy dyplomowej i lepiej to napisać, niż je sugerować.

Model logiczny w czterech kolumnach: nakłady, działania, produkty i rezultat bezpośredni. Pod każdą kolumną wskaźnik i osoba zbierająca dane, np. zrealizowane elementy 103 ze 120, co najmniej 7 z 10 spotkań u 33 z 46 osób, wynik zbierany przez osobę spoza zespołu. Na dole czynniki spoza programu.
Rysunek 1. Logika programu z przykładu: co jest w planie, jakim wskaźnikiem to sprawdzono i kto zbierał dane. Liczby: R (dane symulowane).

Kto prowadzi, a kto mierzy

Gdy autor prowadzi program, wynik obciąża kilka rzeczy naraz. Autor chce, żeby program się udał. Uczestnicy mogą nie chcieć sprawić mu przykrości, a oczekiwania badacza działają w tym samym kierunku. W badaniach nad psychoterapią metametaanaliza Mundera i in. (2013) objęła 30 metaanaliz i wykazała, że przywiązanie badacza do badanej terapii wiązało się z jej efektem, średnio r = .262. To inna dziedzina i nie przenosi się wprost na warsztaty w jednej placówce, ale dobrze pokazuje, dlaczego rola autora należy do opisu metody. Przy wynikach na skalach subiektywnych przegląd badań randomizowanych Hróbjartssona i in. (2013) wykazał, że niezaślepieni oceniający dawali korzystniejsze oszacowania efektu niż zaślepieni (różnica wielkości efektu −0.23). Nie zawsze da się zaślepić pomiar, ale prawie zawsze można oddzielić zbieranie odpowiedzi od prowadzenia zajęć.

Role autora w ewaluacji własnej placówki: ryzyko, sposób ograniczenia i zapis w metodzie
SytuacjaRyzykoCo zrobić w planieCo napisać w metodzie
Autor prowadzi zajęciaBardziej staranne prowadzenie zajęć w badanych grupach, oczekiwaniaScenariusz spisany przed startem, lista kontrolna, inna osoba prowadzi część grupKto prowadził które grupy i jakie miał przygotowanie
Autor rozdaje ankietę po ostatnim spotkaniuOdpowiedzi życzliwe wobec prowadzącegoAnkietę zbiera osoba spoza zespołu, koperta, kod zamiast nazwiskaKto, gdzie i w jakiej formie zbierał dane
Uczestnik korzysta z usług placówkiPoczucie, że odmowa zaszkodziInformacja, że odmowa nie zmienia dostępu do usług; zgodę zbiera osoba niezależnaJak zapewniono dobrowolność (zob. świadoma zgoda)
Grupy liczą kilkanaście osóbRozpoznanie osoby po metryczceKod identyfikacyjny, brak komórek z małą liczbą osóbSposób łączenia pomiarów, poziom szczegółowości wyników

Wierność realizacji: cztery pytania i prosta lista kontrolna

Carroll i in. (2007) definiują wierność realizacji jako stopień, w jakim program przeprowadzono zgodnie z założeniami, i traktują ją jako ważne źródło zróżnicowania wyników. Bellg i in. (2004) wymieniają strategie obejmujące projekt badania, szkolenie realizatorów, realizację, odbiór przez uczestników i stosowanie nabytych umiejętności. Przegląd Durlaka i DuPre (2008), obejmujący ponad 500 badań ilościowych, wskazuje, że poziom realizacji wpływa na wyniki programów promocji i profilaktyki. Bez tych danych brak zmiany może oznaczać zarówno słaby program, jak i program, którego nie przeprowadzono. O uczestnikach, którzy przestrzegają planu, pisze hasło adherencja. O realizacji warto zapisać cztery rzeczy:

  • Czy zrobiono to, co w planie. Odsetek zrealizowanych elementów ze scenariusza.
  • Ile programu dostali ludzie. Liczba spotkań lub minut na osobę.
  • Jak to zrobiono. Ocena jakości przez obserwatora, jeśli jest ktoś, kto może ją wystawić.
  • Co zmieniono. Skrócone zajęcia, zmiana kolejności, inna osoba prowadząca, z datą i powodem.

Listę kontrolną zbuduj ze scenariusza, zanim program się zacznie: jeden element, jedno zdanie, odpowiedź tak/nie. W przykładzie każde spotkanie ma cztery elementy, czyli razem 120 elementów w trzech grupach. Prowadząca wypełnia listę zaraz po zajęciach, a ponieważ samoocena może być zbyt życzliwa, druga osoba ocenia niezależnie część spotkań. Tak samo liczy się zgodność w obserwacji z listą kontrolną. Próg („realizacja wystarczająca od 80%”) jest umowny, więc zapisz go przed zbieraniem danych.

W przykładzie zrealizowano 103 ze 120 elementów, czyli 85.8%. Drugi obserwator ocenił 48 elementów z 12 spotkań; zgodność wyniosła 95.8%, a kappa Cohena κ = .81, przy czym tylko pięć elementów oboje uznali za niezrealizowane. Frekwencja: średnio 7.83 spotkania (SD = 1.89, zakres 3–10), a co najmniej 7 z 10 spotkań uzyskały 33 z 46 osób (71.7%). Rysunek 2 pokazuje, po co dzielić wierność na elementy. Blok edukacyjny odbył się zawsze. W grupie 3 odpadł plan na tydzień w połowie spotkań i ćwiczenie umiejętności w czterech z dziesięciu, a więc składniki, od których program miał zależeć.

Macierz odsetków zrealizowanych elementów w trzech grupach. Blok edukacyjny 100 procent we wszystkich grupach. Grupa 3: zadanie domowe 70, ćwiczenie umiejętności 60, plan na tydzień 50 procent. Ogółem grupa 1 92.5, grupa 2 95.0, grupa 3 70.0 procent.
Rysunek 2. Odsetek zrealizowanych elementów programu według grupy i elementu (w każdej komórce 10 spotkań). Obliczenia: R (dane symulowane).

Grupa porównawcza albo uczciwy jej brak

Decyzję o grupie porównawczej podejmij przed programem i opisz, skąd się wzięła. Zagrożenia dla wniosków omawiają Shadish i in. (2002), a tu przekładamy je na wybory dostępne w jednej placówce.

Możliwe grupy porównawcze w ewaluacji w jednej placówce
RozwiązanieCo dajeGłówne ograniczenie
Lista oczekujących bez losowaniaTen sam czas i miejsce, nikt nie traci dostępu do programuPóźniej zgłoszeni mogą być inni; porównanie tylko z czekaniem
Losowanie z listy, gdy miejsc jest za małoNajmocniejszy wariant, przydział nie zależy od nikogo w placówceWymaga zgody placówki i zaplanowania przed zapisami
Poprzednia edycja lub inny oddziałDostępne, często bez dodatkowych kosztówInny czas lub zespół; zob. różnica w różnicach
Dwa pomiary przed programemPokazuje, jak wynik zmienia się bez programuWydłuża badanie; nie zastępuje grupy
Dane miesięczne sprzed i po wdrożeniuTrend przed programem (przerwany szereg czasowy)Potrzeba wielu punktów i wskaźnika z dokumentacji
Brak grupyPełny opis realizacji i zmianyNie da się oddzielić programu od upływu czasu

Gdy grupy nie ma, nie próbuj jej zastępować dłuższym opisem wyników. Praca może mieć wartość jako ewaluacja procesu: pokazuje, co udało się zrealizować, u kogo i jaka zmiana towarzyszyła programowi.

Wyniki przykładu: zmiana, porównanie i pułapka frekwencji

Ze zgłoszonych 52 i 36 osób pomiar T1 wypełniło odpowiednio 46 i 32, a T2 uzyskano od 40 uczestników (ubytek 13.0%) i 29 osób z listy (9.4%). Sześć osób z programu bez T2 miało w T1 niższą średnią (22.17) niż osoby z T2 (25.73). Ubytek nie był więc przypadkowy względem wyniku.

Obciążenie opieką przed i po programie w grupie programu i na liście oczekujących
GrupanT1, M (SD)T2, M (SD)Zmiana [95% CI]dz
Program4025.73 (8.09)21.92 (8.97)−3.80 [−5.36, −2.24]−0.78
Lista oczekujących2926.00 (5.79)23.83 (6.36)−2.17 [−3.60, −0.75]−0.58

Zmiana była istotna w obu grupach, w tym u osób, które tylko czekały. Różnica między grupami wyniosła −1.63 punktu, 95% CI [−3.79, 0.53], p = .137, a w ANCOVA z T1 jako kowariantem −1.65 punktu, 95% CI [−3.81, 0.51], p = .132. Przedział obejmuje zarówno zero, jak i różnice kilkupunktowe, więc wniosek o „braku efektu” byłby tak samo nieuprawniony jak wniosek o skuteczności. W symulacji znamy prawdę: średni efekt programu wyniósł −3.06 punktu, ale badanie tej wielkości nie zdołało go precyzyjnie oszacować. Osoby z programu miały na starcie wynik zbliżony do osób z listy (SMD = −0.07).

Wierność, frekwencja i zmiana w trzech grupach warsztatowych
GrupaWiernośćŚrednia frekwencjan z T2Zmiana, M (SD)
1 (autorka)92.5%8.3313−6.31 (5.99)
2 (autorka)95.0%7.5913−1.85 (3.63)
3 (koleżanka)70.0%7.5714−3.29 (3.93)

Trzy wiersze kuszą, żeby policzyć korelację wierności ze zmianą. Nie rób tego. Grupa o najwyższej wierności ma najmniejszą zmianę, a z tego nie wynika, że wierność szkodzi, bo grupy różnią się składem, porą i prowadzącą, a n = 3 to nie jest próba grup. Pokaż tabelę, opisz, co pominięto, i zaznacz, że nie da się z niej ocenić związku wierności z wynikiem. Uczestnicy są też pogrupowani w warsztatach, a przy trzech grupach nie oszacujesz wiarygodnie tej zależności, więc to kolejne ograniczenie do wymienienia.

Drugą pokusą jest frekwencja. Związek wygląda na wyraźny (rysunek 3): każde dodatkowe spotkanie wiązało się ze zmianą o −1.19 punktu, 95% CI [−2.00, −0.38], p = .005, r = −.44. Osoby obecne na co najmniej 7 spotkaniach zmieniły wynik o −4.87 punktu (n = 30), a pozostałe o −0.60 (n = 10). Tekst sam się pisze: „im więcej spotkań, tym lepiej”. To jednak porównanie według tego, co uczestnicy faktycznie zrobili, a nie według przydziału. Na spotkania częściej przychodzą osoby bardziej zmotywowane, którym i tak może być łatwiej.

Wykres punktowy zmiany obciążenia względem liczby spotkań u 40 uczestników z linią regresji. Zmiana jest większa przy większej liczbie spotkań, nachylenie minus 1.19 punktu na spotkanie, 95 procent CI od minus 2.00 do minus 0.38.
Rysunek 3. Zmiana obciążenia a liczba spotkań u uczestników z pomiarem T2 (n = 40), linia regresji z 95% CI. Punkty lekko rozsunięto w poziomie. Obliczenia: R (dane symulowane).

Żeby sprawdzić, jak mylące to bywa, powtórzyliśmy program 5000 razy, także przy efekcie programu równym zero, z takim samym ubytkiem jak w przykładzie.

Symulacja: nachylenie frekwencji i odsetek istotnych wyników w czterech scenariuszach
ScenariuszŚrednie nachylenieWyniki istotneZmiana: wszyscyZmiana: ≥ 7 spotkań
Brak efektu, motywacja bez znaczenia0.005.00%−0.82−0.81
Brak efektu, motywacja umiarkowana−0.3719.94%−0.92−1.23
Brak efektu, motywacja silna−0.5141.12%−1.06−1.59
Efekt −0.40 na spotkanie, motywacja umiarkowana−0.7862.54%−4.01−4.64

Program bez żadnego działania dawał „istotną zależność od frekwencji” w 19.94% i 41.12% badań, a nachylenie w ostatnim wierszu (−0.78) jest prawie dwa razy większe od efektu wbudowanego w dane (−0.40). Analiza „tylko osoby z co najmniej 7 spotkaniami” dziedziczy ten sam problem. Taką analizę potraktuj jako opis lub analizę wrażliwości, a porównanie główne zapisz według przydziału do warunku.

Gotowy podrozdział „Metoda” z komentarzem

Układ pasuje do schematu z poradnika o rozdziale metodologicznym. Opis programu możesz oprzeć na liście TIDieR (Hoffmann i in., 2014), a opis badania bez losowania na wytycznych TREND (Des Jarlais i in., 2004), sprawdzając przy tym wymagania uczelni i promotora.

Schemat i miejsce badania

Jak bywa napisane: „Badanie przeprowadzono w placówce, w której pracuje autorka”.

Co jest nie tak: czytelnik nie wie, jaką rolę autorka miała w programie ani skąd wzięła się grupa porównawcza.

Przeprowadzono ewaluację programu w jednej placówce w schemacie quasi-eksperymentalnym z nielosową grupą porównawczą oraz pomiarem przed programem (T1) i po 10 tygodniach (T2). Grupę porównawczą stanowiły osoby zgłoszone po wyczerpaniu miejsc, które oczekiwały na kolejną edycję. Autorka była zatrudniona w placówce i prowadziła dwie z trzech grup warsztatowych; trzecią prowadziła inna członkini zespołu.

Uczestnicy

Do programu zgłosiły się 52 osoby, a na listę oczekujących wpisano 36 osób. Pomiar T1 wypełniło odpowiednio 46 i 32 osoby. Pomiar T2 uzyskano od 40 uczestników programu (ubytek 13.0%) i 29 osób oczekujących (ubytek 9.4%). Średni wynik T1 osób z programu bez pomiaru T2 wynosił 22.17, a osób z tym pomiarem 25.73.

Program

Jak bywa napisane: „Uczestnicy brali udział w autorskim programie wsparcia”.

Co jest nie tak: programu nie da się powtórzyć ani ocenić. „Autorski” niczego nie mówi o treści.

Program obejmował 10 cotygodniowych spotkań grupowych po 90 minut. Każde spotkanie miało cztery stałe elementy: omówienie zadania domowego, blok edukacyjny, ćwiczenie umiejętności oraz plan na kolejny tydzień. Spotkania prowadziły według pisemnego scenariusza [kwalifikacje prowadzących]. Wszelkie odstępstwa od scenariusza zapisywano wraz z datą i powodem.

Role i zbieranie danych

Ankiety w T1 i T2 rozdawała i zbierała pracownica sekretariatu, która nie uczestniczyła w prowadzeniu programu. Uczestnicy wkładali wypełnione arkusze do zamkniętej koperty i oznaczali je kodem identyfikacyjnym; prowadzące nie miały dostępu do arkuszy przed zakończeniem programu. Uczestników poinformowano, że odmowa udziału w badaniu nie zmienia dostępu do usług placówki. Obciążenie opieką mierzono skalą 0–40, na której wyższy wynik oznacza większe obciążenie; rzetelność w próbie wyniosła α = [wartość] w T1 i α = [wartość] w T2.

Wierność realizacji

Realizację oceniano listą kontrolną obejmującą cztery elementy każdego spotkania (łącznie 120 elementów), którą prowadząca wypełniała bezpośrednio po zajęciach. Drugi obserwator niezależnie ocenił cztery losowo wybrane spotkania w każdej grupie (48 elementów). Zgodność wyniosła 95.8%, κ = .81. Przed rozpoczęciem programu przyjęto umowny próg wystarczającej realizacji na poziomie 80% elementów. Dawkę określono liczbą spotkań, w których uczestniczyła dana osoba; przyjęto próg co najmniej 7 z 10 spotkań.

Plan analizy

Jak bywa napisane: „Skuteczność programu oceniono testem t, a następnie sprawdzono związek frekwencji z efektem”.

Co jest nie tak: test w jednej grupie nie mówi o skuteczności, a związek frekwencji z wynikiem jest zapisany tak, jakby mierzył działanie programu.

Realizację programu opisano odsetkami zrealizowanych elementów, ogółem i według grupy. Zmianę między T1 a T2 w każdej grupie opisano średnią różnicą z 95% przedziałem ufności. Analizą główną było porównanie zmiany między uczestnikami a osobami oczekującymi, a analizą kowariancji z wynikiem T1 jako kowariantem sprawdzono wrażliwość wniosku. Związek liczby spotkań ze zmianą analizowano wyłącznie eksploracyjnie, ponieważ frekwencja nie została przydzielona i może zależeć od cech uczestników. Ze względu na trzy grupy warsztatowe nie testowano związku wierności realizacji z wynikiem.

Dane, wyniki, osoby, program i skala w tym podrozdziale są fikcyjne, a akapity nie zawierają cytowań badań.

Co wolno napisać we wnioskach

Ogólne zasady są w poradniku o wnioskach i rekomendacjach. W ewaluacji jednej placówki dochodzą trzy szczególne pokusy: orzeczenie o skuteczności, przypisanie efektu frekwencji i uogólnienie na inne placówki.

Sformułowania wniosków w ewaluacji programu w jednej placówce
ZamiastNapisz
„Program okazał się skuteczny”„Obciążenie obniżyło się u uczestników o 3.80 punktu, a u osób oczekujących o 2.17 punktu; przedział dla różnicy obejmował zero”
„Program nie działa”„Badanie nie pozwoliło precyzyjnie określić różnicy między grupami; przedział [−3.79, 0.53] obejmuje zarówno zero, jak i spadek o blisko 4 punkty”
„Im więcej spotkań, tym większy efekt programu”„Większa liczba spotkań wiązała się z większą zmianą, ale związek ten może wynikać z cech osób częściej uczestniczących”
„Program zrealizowano prawidłowo”„Zrealizowano 103 ze 120 elementów (85.8%); w jednej grupie 70.0%, głównie kosztem ćwiczeń i planu na tydzień”
„Program warto wdrożyć w innych placówkach”„Wyniki dotyczą jednej placówki; uzasadnione jest badanie z losowym przydziałem miejsc z listy oczekujących”
Program zrealizowano w 85.8% zaplanowanych elementów (103 ze 120), przy czym w jednej grupie odsetek ten wyniósł 70.0%. Co najmniej 7 z 10 spotkań uzyskały 33 z 46 osób (71.7%). Obciążenie opieką obniżyło się między T1 a T2 u uczestników o 3.80 punktu, 95% CI [−5.36, −2.24], i u osób oczekujących o 2.17 punktu, 95% CI [−3.60, −0.75]. Różnica zmian między grupami wyniosła −1.63 punktu, 95% CI [−3.79, 0.53], p = .137 (w analizie kowariancji −1.65 punktu, 95% CI [−3.81, 0.51], p = .132).
Do ograniczeń należą brak losowego przydziału, realizacja w jednej placówce, udział autorki w prowadzeniu dwóch grup oraz samoopisowy charakter miary wyniku. Pomiar zbierała osoba niezwiązana z programem, ale uczestnicy wiedzieli, że biorą udział w ewaluacji. Niewielka liczebność nie pozwoliła precyzyjnie oszacować różnicy między grupami. Związku liczby spotkań z wynikiem nie można interpretować jako efektu dawki, a na podstawie trzech grup nie można ocenić związku wierności realizacji z wynikiem.

Układ tej części pracy omawia wpis o ograniczeniach badania.

Na co zwrócić uwagę w różnych dziedzinach

To obserwacje ogólne, a nie reguły; wymagania uczelni i promotora mają pierwszeństwo.

Na co zwrócić uwagę w ewaluacji programu w sześciu dziedzinach
DziedzinaCzęsty kłopotCo często dopisać w metodzie
PsychologiaAutor jako trener lub terapeutaPrzygotowanie i rola prowadzącego, samoopis a pomiar niezależny
Nauki o zdrowiuRównoległe zmiany standardu opiekiInne działania w placówce, dokumentacja realizacji, bez zaleceń klinicznych
FizjoterapiaNaturalny przebieg dolegliwościDawka ćwiczeń, sposób ich rejestrowania, zmiana a próg znaczenia klinicznego ze źródła
PedagogikaCałe klasy i jeden nauczycielKlasa jako jednostka realizacji, zgody rodziców, kto ocenia uczniów
ZarządzanieProgram narzucony przez przełożonychAnonimowość wobec pracodawcy, zdarzenia w firmie, koszt programu
Praca socjalnaZależność klientów od instytucjiSposób zapewnienia dobrowolności, dane z systemów instytucji, małe zespoły

Najczęstsze błędy

  • Brak informacji, że autor prowadził program. To nie wada, jeśli jest opisane; wadą jest przemilczenie.
  • Ankieta rozdawana przez prowadzącego na ostatnim spotkaniu.
  • Same produkty jako dowód. „Przeszkolono 46 osób” nie mówi nic o zmianie.
  • Wierność jako jedna liczba. W przykładzie 85.8% ukrywa, że w jednej grupie pominięto połowę planów na tydzień.
  • Korelacja wierności z wynikiem z trzech grup. Trzy punkty nie są analizą.
  • „Im więcej spotkań, tym lepiej” jako wniosek przyczynowy. W symulacji bez efektu taki wynik był istotny w 41.12% badań przy silnym wpływie motywacji.
  • Analiza tylko osób z wysoką frekwencją przedstawiona jako wynik główny.
  • Istotna zmiana u uczestników jako dowód, gdy osoby czekające też się zmieniły.
  • Rekomendacja wdrożenia w innych placówkach na podstawie jednej edycji w jednym miejscu.
Przykład reprodukowalny

Ewaluacja programu w R: realizacja, zmiana i frekwencja

Trzy przepisy liczą wszystkie liczby z tekstu i tabel. Pierwszy tworzy dane, zapisuje je w folderze nadrzędnym (../) i opisuje przepływ osób oraz realizację. Drugi liczy zmiany, porównanie grup i związek frekwencji ze zmianą. Trzeci powtarza program 5000 razy w czterech scenariuszach. Ziarna nie wybierano pod wynik. Rysunki powstały w osobnym skrypcie. Dane do pobrania: ewaluacja-programu-uczestnicy.csv (78 osób, format szeroki) i ewaluacja-programu-realizacja.csv (120 elementów programu). Dane, osoby i placówka są fikcyjne.

Dane, przepływ osób i wierność realizacji

Dane wejściowe: 78 osób z T1, 3 grupy warsztatowe i lista oczekujących, 120 elementów programu, set.seed(4910); tylko bazowy R.

Co odczytać: przepływ osób, odsetek zrealizowanych elementów według grupy i elementu, zgodność obserwatorów (kappa policzona ze wzoru) i frekwencję.

R
# B491 – dane symulowane: program w jednej placówce i lista oczekujących
set.seed(4910)
zgloszeni <- c(program = 52, lista = 36)
n_gr <- c(G1 = 15, G2 = 17, G3 = 14); n_lista <- 32
grupa <- c(rep(names(n_gr), n_gr), rep("lista", n_lista))
N <- length(grupa); program <- grupa != "lista"
motywacja <- rnorm(N)                                  # cecha niemierzona
T1 <- round(pmin(pmax(rnorm(N, 25 + 1.5 * !program, 6.5), 0), 40))

# Plan: 10 spotkań w 3 grupach, w każdym 4 elementy (razem 120 elementów)
elementy <- c("zadanie domowe", "blok edukacyjny", "ćwiczenie umiejętności", "plan na tydzień")
p_real <- rbind(G1 = c(.90, .98, .90, .92), G2 = c(.85, .98, .85, .90), G3 = c(.70, .95, .45, .70))
real <- expand.grid(grupa = names(n_gr), spotkanie = 1:10, element = elementy, stringsAsFactors = FALSE)
real$zrealizowano <- rbinom(nrow(real), 1, p_real[cbind(match(real$grupa, rownames(p_real)), match(real$element, elementy))])
# Drugi obserwator: 4 losowe spotkania w każdej grupie, niekiedy inna ocena
wybrane <- unlist(lapply(names(n_gr), function(g) paste(g, sample(1:10, 4))))
real$obserwator2 <- NA
ktore <- paste(real$grupa, real$spotkanie) %in% wybrane
inna <- rbinom(sum(ktore), 1, .06)
real$obserwator2[ktore] <- ifelse(inna == 1, 1 - real$zrealizowano[ktore], real$zrealizowano[ktore])
wiernosc <- tapply(real$zrealizowano, real$grupa, mean)

# Frekwencja: bardziej zmotywowani przychodzą częściej
spotkania <- ifelse(program, rbinom(N, 10, plogis(1.2 + .9 * motywacja)), NA)
efekt <- ifelse(program, -.45 * spotkania * wiernosc[grupa], 0)  # prawdziwy efekt: dawka × wierność
T2 <- round(pmin(pmax(T1 - .8 - 1.0 * motywacja + efekt + rnorm(N, 0, 3.5), 0), 40))
p_brak <- ifelse(program, plogis(-.6 - .35 * (spotkania - 5)), .10)
T2[rbinom(N, 1, p_brak) == 1] <- NA

dane <- data.frame(id = seq_len(N), grupa, program = as.integer(program), spotkania, T1, T2)
write.csv(dane, "../ewaluacja-programu-uczestnicy.csv", row.names = FALSE, na = "")
write.csv(real, "../ewaluacja-programu-realizacja.csv", row.names = FALSE, na = "")

# Przepływ osób
cat("Zgłoszeni:", zgloszeni, " rezygnacja przed T1:", zgloszeni - c(sum(n_gr), n_lista), "\n")
cat("T1:", sum(program), "program,", sum(!program), "lista\n")
cat("T2:", sum(!is.na(T2[program])), "program,", sum(!is.na(T2[!program])), "lista\n")
cat(sprintf("Ubytek: program %.1f%%, lista %.1f%%\n", 100 * mean(is.na(T2[program])), 100 * mean(is.na(T2[!program]))))
cat("\nT2 w programie według obecności (mediana spotkań):\n")
print(tapply(spotkania[program], is.na(T2[program]), median))

# Wierność realizacji
cat("\nOdsetek zrealizowanych elementów, grupa:\n")
print(round(100 * wiernosc, 1))
cat(sprintf("Razem: %d z %d = %.1f%%\n", sum(real$zrealizowano), nrow(real), 100 * mean(real$zrealizowano)))
cat("\nGrupa x element (%):\n")
print(round(100 * tapply(real$zrealizowano, list(real$element, real$grupa), mean), 0))

# Zgodność obserwatorów (elementy ocenione przez oba)
d2 <- real[!is.na(real$obserwator2), ]
tab <- table(d2$zrealizowano, d2$obserwator2)
po <- sum(diag(tab)) / sum(tab)
pe <- sum(rowSums(tab) * colSums(tab)) / sum(tab)^2
cat("\nZgodność na", nrow(d2), "elementach:\n"); print(tab)
cat(sprintf("Zgodność procentowa = %.1f%%, kappa = %.2f\n", 100 * po, (po - pe) / (1 - pe)))

# Frekwencja
s <- spotkania[program]
cat(sprintf("\nFrekwencja: M = %.2f, SD = %.2f, mediana = %g, zakres %d–%d\n", mean(s), sd(s), median(s), min(s), max(s)))
cat(sprintf("Co najmniej 7 z 10 spotkań: %d z %d = %.1f%%\n", sum(s >= 7), length(s), 100 * mean(s >= 7)))
cat("Średnia frekwencja w grupach:\n"); print(round(tapply(spotkania[program], grupa[program], mean), 2))

# Prawda wbudowana w symulację (w prawdziwym badaniu nieznana)
cat(sprintf("\nŚredni prawdziwy efekt programu w grupie programu: %.2f punktu\n", mean(efekt[program])))
Wynik w R
Zgłoszeni: 52 36  rezygnacja przed T1: 6 4 
T1: 46 program, 32 lista
T2: 40 program, 29 lista
Ubytek: program 13.0%, lista 9.4%

T2 w programie według obecności (mediana spotkań):
FALSE  TRUE 
    8     7 

Odsetek zrealizowanych elementów, grupa:
  G1   G2   G3 
92.5 95.0 70.0 
Razem: 103 z 120 = 85.8%

Grupa x element (%):
                        G1  G2  G3
blok edukacyjny        100 100 100
ćwiczenie umiejętności  70  90  60
plan na tydzień        100 100  50
zadanie domowe         100  90  70

Zgodność na 48 elementach:
   
     0  1
  0  5  0
  1  2 41
Zgodność procentowa = 95.8%, kappa = 0.81

Frekwencja: M = 7.83, SD = 1.89, mediana = 8, zakres 3–10
Co najmniej 7 z 10 spotkań: 33 z 46 = 71.7%
Średnia frekwencja w grupach:
  G1   G2   G3 
8.33 7.59 7.57 

Średni prawdziwy efekt programu w grupie programu: -3.06 punktu

Zmiana, porównanie grup i frekwencja

Dane wejściowe: oba pliki CSV z przepisu 1; osoby z obydwoma pomiarami; tylko bazowy R.

Co odczytać: zmianę w grupach, różnicę z analizy zmian i ANCOVA, zestawienie grup warsztatowych oraz nachylenie zmiany względem liczby spotkań.

R
# B491 – analiza: zmiana w programie, porównanie z listą, frekwencja a zmiana
d <- read.csv("../ewaluacja-programu-uczestnicy.csv")
real <- read.csv("../ewaluacja-programu-realizacja.csv")
apa_p <- function(p) if (p < .001) "p < .001" else sprintf("p = %s", sub("^0", "", sprintf("%.3f", p)))
d$zmiana <- d$T2 - d$T1
kompl <- d[!is.na(d$T2), ]
P <- kompl[kompl$program == 1, ]; L <- kompl[kompl$program == 0, ]

opis <- function(x) c(n = sum(!is.na(x)), M = round(mean(x, na.rm = TRUE), 2), SD = round(sd(x, na.rm = TRUE), 2))
cat("T1 (wszyscy)\n"); print(rbind(program = opis(d$T1[d$program == 1]), lista = opis(d$T1[d$program == 0])))
cat("\nZ pomiarem T2\n")
print(rbind(program_T1 = opis(P$T1), program_T2 = opis(P$T2), lista_T1 = opis(L$T1), lista_T2 = opis(L$T2)))
cat("\nT1 osób bez T2 w programie:", round(mean(d$T1[d$program == 1 & is.na(d$T2)]), 2),
    " z T2:", round(mean(P$T1), 2), "\n")
a <- d$T1[d$program == 1]; b <- d$T1[d$program == 0]
smd <- (mean(a) - mean(b)) / sqrt(((length(a) - 1) * var(a) + (length(b) - 1) * var(b)) / (length(a) + length(b) - 2))
cat(sprintf("SMD dla T1 (program - lista): %.2f\n", smd))

parami <- function(x, nazwa) {
  t0 <- t.test(x$T2, x$T1, paired = TRUE); z <- x$T2 - x$T1
  cat(sprintf("%s: M zmiany = %.2f, SD = %.2f, 95%% CI [%.2f, %.2f], t(%d) = %.2f, %s, d_z = %.2f, n = %d\n",
              nazwa, mean(z), sd(z), t0$conf.int[1], t0$conf.int[2], t0$parameter, t0$statistic,
              apa_p(t0$p.value), mean(z) / sd(z), length(z)))
}
cat("\n"); parami(P, "Program"); parami(L, "Lista oczekujących")

wypisz <- function(m, nazwa, wsp) {
  e <- coef(summary(m))[wsp, ]; ci <- confint(m)[wsp, ]
  cat(sprintf("%s: %.2f, 95%% CI [%.2f, %.2f], t(%d) = %.2f, %s\n", nazwa, e[1], ci[1], ci[2],
              df.residual(m), e[3], apa_p(e[4])))
}
cat("\n")
wypisz(lm(zmiana ~ program, kompl), "Analiza zmian (program - lista)", "program")
wypisz(lm(T2 ~ T1 + program, kompl), "ANCOVA (program - lista)", "program")

cat("\nWierność, frekwencja i zmiana w grupach warsztatowych\n")
gr <- data.frame(wiernosc = round(100 * tapply(real$zrealizowano, real$grupa, mean), 1),
                 n_T1 = as.vector(table(d$grupa[d$program == 1])),
                 frekwencja = round(tapply(d$spotkania[d$program == 1], d$grupa[d$program == 1], mean), 2),
                 n_T2 = as.vector(table(P$grupa)),
                 zmiana = round(tapply(P$zmiana, P$grupa, mean), 2),
                 SD = round(tapply(P$zmiana, P$grupa, sd), 2))
print(gr)

cat("\nFrekwencja a zmiana (osoby z programu z T2)\n")
wypisz(lm(zmiana ~ spotkania, P), "Zmiana na każde dodatkowe spotkanie", "spotkania")
cat(sprintf("r = %s\n", sub("^(-?)0", "\\1", sprintf("%.2f", cor(P$spotkania, P$zmiana)))))
P$co7 <- as.integer(P$spotkania >= 7)
for (k in 1:0) { x <- P$zmiana[P$co7 == k]
  cat(sprintf("%s: n = %d, M zmiany = %.2f, SD = %.2f\n", ifelse(k == 1, "co najmniej 7 spotkań", "mniej niż 7"), length(x), mean(x), sd(x))) }
Wynik w R
T1 (wszyscy)
         n     M   SD
program 46 25.26 7.90
lista   32 25.75 5.67

Z pomiarem T2
            n     M   SD
program_T1 40 25.73 8.09
program_T2 40 21.92 8.97
lista_T1   29 26.00 5.79
lista_T2   29 23.83 6.36

T1 osób bez T2 w programie: 22.17  z T2: 25.73 
SMD dla T1 (program - lista): -0.07

Program: M zmiany = -3.80, SD = 4.87, 95% CI [-5.36, -2.24], t(39) = -4.94, p < .001, d_z = -0.78, n = 40
Lista oczekujących: M zmiany = -2.17, SD = 3.74, 95% CI [-3.60, -0.75], t(28) = -3.13, p = .004, d_z = -0.58, n = 29

Analiza zmian (program - lista): -1.63, 95% CI [-3.79, 0.53], t(67) = -1.51, p = .137
ANCOVA (program - lista): -1.65, 95% CI [-3.81, 0.51], t(66) = -1.53, p = .132

Wierność, frekwencja i zmiana w grupach warsztatowych
   wiernosc n_T1 frekwencja n_T2 zmiana   SD
G1     92.5   15       8.33   13  -6.31 5.99
G2     95.0   17       7.59   13  -1.85 3.63
G3     70.0   14       7.57   14  -3.29 3.93

Frekwencja a zmiana (osoby z programu z T2)
Zmiana na każde dodatkowe spotkanie: -1.19, 95% CI [-2.00, -0.38], t(38) = -2.99, p = .005
r = -.44
co najmniej 7 spotkań: n = 30, M zmiany = -4.87, SD = 4.57
mniej niż 7: n = 10, M zmiany = -0.60, SD = 4.50

Symulacja: frekwencja bez działania programu

Dane wejściowe: 5000 powtórzeń dla 46 osób w każdym z czterech scenariuszy, ubytek zależny od frekwencji, set.seed(4911); tylko bazowy R.

Co odczytać: średnie nachylenie, odsetek wyników z p < .05 oraz średnią zmianę wszystkich i osób z co najmniej 7 spotkaniami.

R
# B491 – czy związek frekwencji ze zmianą dowodzi działania programu?
# 5000 powtórzeń programu dla 46 osób, efekt programu równy zero albo nie
set.seed(4911)
jedno <- function(b_frekw, b_zmiana, efekt_sp) {
  n <- 46; m <- rnorm(n)
  s <- rbinom(n, 10, plogis(1.2 + b_frekw * m))
  z <- -.8 + b_zmiana * m + efekt_sp * s + rnorm(n, 0, 3.5)
  brak <- rbinom(n, 1, plogis(-.6 - .35 * (s - 5))) == 1
  s <- s[!brak]; z <- z[!brak]
  if (length(unique(s)) < 2) return(rep(NA, 4))
  f <- summary(lm(z ~ s))$coefficients["s", ]
  co7 <- s >= 7
  c(nachylenie = f[1], p = f[4], zmiana_wszyscy = mean(z), zmiana_co7 = mean(z[co7]))
}
scen <- rbind("A brak efektu, motywacja bez znaczenia"     = c(0, 0, 0),
              "B brak efektu, motywacja umiarkowana"       = c(.9, -1, 0),
              "C brak efektu, motywacja silna"             = c(1.3, -1.5, 0),
              "D efekt -0.40 na spotkanie, motywacja jak B" = c(.9, -1, -.40))
wyn <- t(apply(scen, 1, function(p) {
  w <- t(replicate(5000, jedno(p[1], p[2], p[3])))
  c(sr_nachylenie = mean(w[, 1], na.rm = TRUE), proc_p05 = 100 * mean(w[, 2] < .05, na.rm = TRUE),
    proc_ujemne_p05 = 100 * mean(w[, 2] < .05 & w[, 1] < 0, na.rm = TRUE),
    zmiana_wszyscy = mean(w[, 3], na.rm = TRUE), zmiana_co7 = mean(w[, 4], na.rm = TRUE))
}))
print(round(wyn, 2))
Wynik w R
                                            sr_nachylenie proc_p05
A brak efektu, motywacja bez znaczenia               0.00     5.00
B brak efektu, motywacja umiarkowana                -0.37    19.94
C brak efektu, motywacja silna                      -0.51    41.12
D efekt -0.40 na spotkanie, motywacja jak B         -0.78    62.54
                                            proc_ujemne_p05 zmiana_wszyscy
A brak efektu, motywacja bez znaczenia                 2.34          -0.82
B brak efektu, motywacja umiarkowana                  19.92          -0.92
C brak efektu, motywacja silna                        41.12          -1.06
D efekt -0.40 na spotkanie, motywacja jak B           62.52          -4.01
                                            zmiana_co7
A brak efektu, motywacja bez znaczenia           -0.81
B brak efektu, motywacja umiarkowana             -1.23
C brak efektu, motywacja silna                   -1.59
D efekt -0.40 na spotkanie, motywacja jak B      -4.64

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (tylko funkcje bazowe); rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Przed oddaniem rozdziału sprawdź…

  • Czy pytania ewaluacyjne rozdzielają przebieg programu od zmiany u uczestników?
  • Czy napisano, kto prowadził, kto zbierał dane i jaką rolę w placówce ma autor?
  • Czy lista kontrolna powstała przed programem i czy ktoś drugi ocenił część spotkań?
  • Czy wierność podano według grup i elementów, a nie tylko jedną liczbą?
  • Czy opisano, skąd wzięła się grupa porównawcza, a jeśli jej nie ma, czy napisano, czego przez to nie wiadomo?
  • Czy porównanie główne jest według przydziału, a analizy frekwencji oznaczono jako eksploracyjne?
  • Czy wnioski mówią o tej placówce i tej edycji programu?

Jeśli chcesz, żeby ktoś sprawdził plan ewaluacji albo opis metody i pomógł policzyć analizę, zobacz pomoc w analizie dla studentów.

Najczęstsze pytania

Czy mogę prowadzić program i jednocześnie pisać jego ewaluację?

Tak, jeśli to opiszesz i oddzielisz prowadzenie od pomiaru. Niech ankiety zbiera ktoś spoza zespołu, a odpowiedzi trafiają do koperty z kodem zamiast nazwiska. W ograniczeniach zaznacz, że autorka była jednocześnie prowadzącą, i dodaj, jak ograniczono ten wpływ.

Jak zmierzyć wierność realizacji programu w pracy dyplomowej?

Zamień scenariusz na listę elementów z odpowiedzią tak/nie i wypełniaj ją po każdym spotkaniu. Podaj odsetek zrealizowanych elementów, ogółem i według grup, oraz zapisuj odstępstwa z datą i powodem. Część spotkań niech niezależnie oceni druga osoba, żeby dało się policzyć zgodność.

Czy ewaluacja programu bez grupy porównawczej ma sens?

Ma, jeśli przedstawisz ją jako ewaluację procesu i opis zmiany, a nie ocenę skuteczności. Pokazujesz, co zrealizowano, kto uczestniczył i jaka zmiana towarzyszyła programowi. Musisz jednak napisać wprost, że plan nie oddziela programu od upływu czasu i innych zdarzeń.

Czy mogę napisać, że im więcej spotkań, tym większy efekt programu?

Nie jako wniosek przyczynowy. Liczby spotkań nikt nie przydzielał, a częściej przychodzą osoby bardziej zmotywowane. W symulacji programu bez działania związek frekwencji ze zmianą był istotny w 19.94% badań przy umiarkowanym i w 41.12% przy silnym wpływie motywacji. Napisz, że liczba spotkań wiązała się ze zmianą, i wskaż to ograniczenie.

Czy wyniki ewaluacji z jednej placówki można uogólnić?

Zwykle nie na inne placówki. Opisz dokładnie miejsce, uczestników, prowadzących i realizację, żeby czytelnik mógł ocenić, czy wyniki pasują do jego sytuacji. Wnioski sformułuj dla tej placówki i tej edycji, a następny krok przedstaw jako propozycję badania, np. z losowaniem miejsc z listy oczekujących.

Powiązane hasła

Przeczytaj też

Poradnik

Badanie we własnym miejscu pracy

Swoi pacjenci, uczniowie, zespół: zagrożenia, kto ma zbierać dane, symulacja aprobaty społecznej w R i zdania do Metody oraz Ograniczeń.

Czytaj →
Poradnik

Badanie bez grupy kontrolnej – jak wzmocnić plan

Sześć dodatków do planu jednej grupy, co każdy daje i czego nie rozwiązuje, symulacja w R i gotowe zdania do metody i ograniczeń.

Czytaj →
Poradnik

Badanie ewaluacyjne w pracy dyplomowej

Model logiczny, kryteria i poziomy Kirkpatricka, wskaźniki, schemat przed–po z grupą porównawczą oraz ANCOVA i DiD w R na przykładzie szkolenia.

Czytaj →
Poradnik

Badanie przed i po – opis metody i wnioski

Gotowy podrozdział „Metoda” dla jednej grupy i grupy nierandomizowanej, symulacja regresji do średniej i zdania, które wolno napisać we wnioskach.

Czytaj →
Poradnik

Ewaluacja szkolenia w modelu Kirkpatricka

Cztery poziomy jako cztery pomiary: narzędzie, termin, schemat i analiza, krytyka modelu oraz korelacje między poziomami – z przykładem 120 osób w R.

Czytaj →
Poradnik

Obserwacja z listą kontrolną

Audyt przestrzegania procedur (np. higieny rąk): okazja jako jednostka, CI uwzględniający osoby, zgodność obserwatorów, Hawthorne i przed–po – przykład w R.

Czytaj →
Poradnik

ANCOVA w badaniu przed i po

ANOVA mieszana, różnice wyników, ANCOVA i model mieszany na jednych danych: moc w RCT, paradoks Lorda, założenia, średnie skorygowane i wzór raportu.

Czytaj →
Poradnik

Jak napisać pracę z pracy socjalnej

Problem społeczny, dostęp do ośrodków, anonimowość w małych zespołach, dane z systemów i ewaluacja programu – z gotowymi akapitami na fikcyjnych przykładach.

Czytaj →
Poradnik

Pilotaż wykonalności (feasibility)

Kryteria postępu, odsetki rekrutacji, retencji i adherencji z 95% CI, decyzja o badaniu głównym i raport CONSORT – bez testowania efektu, z kodem R.

Czytaj →
Poradnik

Rozdział metodologiczny – jak go napisać

Co napisać w każdym podrozdziale metody: hipotezy, zmienne, próba, narzędzia, procedura, etyka i plan analiz – z wzorami zdań i listą JARS.

Czytaj →

Oceniasz program w swojej placówce i nie wiesz, co wolno napisać?

Sprawdzimy plan ewaluacji i opis metody, policzymy analizę w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Bellg, A. J., Borrelli, B., Resnick, B., Hecht, J., Minicucci, D. S., Ory, M., Ogedegbe, G., Orwig, D., Ernst, D., Czajkowski, S., & Treatment Fidelity Workgroup of the NIH Behavior Change Consortium. (2004). Enhancing treatment fidelity in health behavior change studies: Best practices and recommendations from the NIH Behavior Change Consortium. Health Psychology, 23(5), 443–451. https://doi.org/10.1037/0278-6133.23.5.443
  2. Carroll, C., Patterson, M., Wood, S., Booth, A., Rick, J., & Balain, S. (2007). A conceptual framework for implementation fidelity. Implementation Science, 2(1), Article 40. https://doi.org/10.1186/1748-5908-2-40 ● Otwarty dostęp
  3. Des Jarlais, D. C., Lyles, C., Crepaz, N., & TREND Group. (2004). Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: The TREND statement. American Journal of Public Health, 94(3), 361–366. https://doi.org/10.2105/ajph.94.3.361 ● Otwarty dostęp: pełny tekst
  4. Durlak, J. A., & DuPre, E. P. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41(3–4), 327–350. https://doi.org/10.1007/s10464-008-9165-0
  5. Hoffmann, T. C., Glasziou, P. P., Boutron, I., Milne, R., Perera, R., Moher, D., Altman, D. G., Barbour, V., Macdonald, H., Johnston, M., Lamb, S. E., Dixon-Woods, M., McCulloch, P., Wyatt, J. C., Chan, A.-W., & Michie, S. (2014). Better reporting of interventions: Template for intervention description and replication (TIDieR) checklist and guide. BMJ, 348, Article g1687. https://doi.org/10.1136/bmj.g1687 ● Otwarty dostęp
  6. Horstman, M. J., & Godwin, K. M. (2025). Methodological progress note: Logic models. Journal of Hospital Medicine, 21(4), 409–412. https://doi.org/10.1002/jhm.70181 ● Otwarty dostęp
  7. Hróbjartsson, A., Thomsen, A. S. S., Emanuelsson, F., Tendal, B., Hilden, J., Boutron, I., Ravaud, P., & Brorson, S. (2013). Observer bias in randomized clinical trials with measurement scale outcomes: A systematic review of trials with both blinded and nonblinded assessors. Canadian Medical Association Journal, 185(4), E201–E211. https://doi.org/10.1503/cmaj.120744 ● Otwarty dostęp
  8. Munder, T., Brütsch, O., Leonhart, R., Gerger, H., & Barth, J. (2013). Researcher allegiance in psychotherapy outcome research: An overview of reviews. Clinical Psychology Review, 33(4), 501–511. https://doi.org/10.1016/j.cpr.2013.02.002
  9. Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.

Cytowania BibTeX

@article{bellg2004enhancing, author={Bellg, Albert J. and Borrelli, Belinda and Resnick, Barbara and Hecht, Jacki and Minicucci, Daryl Sharp and Ory, Marcia and Ogedegbe, Gbenga and Orwig, Denise and Ernst, Denise and Czajkowski, Susan and {Treatment Fidelity Workgroup of the NIH Behavior Change Consortium}}, title={{Enhancing treatment fidelity in health behavior change studies: Best practices and recommendations from the NIH Behavior Change Consortium}}, journal={Health Psychology}, year={2004}, volume={23}, number={5}, pages={443--451}, doi={10.1037/0278-6133.23.5.443}}
@article{carroll2007conceptual, author={Carroll, Christopher and Patterson, Malcolm and Wood, Stephen and Booth, Andrew and Rick, Jo and Balain, Shashi}, title={{A conceptual framework for implementation fidelity}}, journal={Implementation Science}, year={2007}, volume={2}, number={1}, eid={40}, doi={10.1186/1748-5908-2-40}}
@article{desjarlais2004improving, author={Des Jarlais, Don C. and Lyles, Cynthia and Crepaz, Nicole and {TREND Group}}, title={{Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: The TREND statement}}, journal={American Journal of Public Health}, year={2004}, volume={94}, number={3}, pages={361--366}, doi={10.2105/ajph.94.3.361}}
@article{durlak2008implementation, author={Durlak, Joseph A. and DuPre, Emily P.}, title={{Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation}}, journal={American Journal of Community Psychology}, year={2008}, volume={41}, number={3–4}, pages={327--350}, doi={10.1007/s10464-008-9165-0}}
@article{hoffmann2014better, author={Hoffmann, Tammy C. and Glasziou, Paul P. and Boutron, Isabelle and Milne, Ruairidh and Perera, Rafael and Moher, David and Altman, Douglas G. and Barbour, Virginia and Macdonald, Helen and Johnston, Marie and Lamb, Sarah E. and Dixon-Woods, Mary and McCulloch, Peter and Wyatt, Jeremy C. and Chan, An-Wen and Michie, Susan}, title={{Better reporting of interventions: Template for intervention description and replication (TIDieR) checklist and guide}}, journal={BMJ}, year={2014}, volume={348}, eid={g1687}, doi={10.1136/bmj.g1687}}
@article{horstman2025methodological, author={Horstman, Molly J. and Godwin, Kyler M.}, title={{Methodological progress note: Logic models}}, journal={Journal of Hospital Medicine}, year={2025}, volume={21}, number={4}, pages={409--412}, doi={10.1002/jhm.70181}}
@article{hrobjartsson2013observer, author={Hróbjartsson, Asbjørn and Thomsen, Ann Sofia Skou and Emanuelsson, Frida and Tendal, Britta and Hilden, Jørgen and Boutron, Isabelle and Ravaud, Philippe and Brorson, Stig}, title={{Observer bias in randomized clinical trials with measurement scale outcomes: A systematic review of trials with both blinded and nonblinded assessors}}, journal={Canadian Medical Association Journal}, year={2013}, volume={185}, number={4}, pages={E201--E211}, doi={10.1503/cmaj.120744}}
@article{munder2013researcher, author={Munder, Thomas and Br{\"u}tsch, Oliver and Leonhart, Rainer and Gerger, Heike and Barth, J{\"u}rgen}, title={{Researcher allegiance in psychotherapy outcome research: An overview of reviews}}, journal={Clinical Psychology Review}, year={2013}, volume={33}, number={4}, pages={501--511}, doi={10.1016/j.cpr.2013.02.002}}
@book{shadish2002experimental, author={Shadish, William R. and Cook, Thomas D. and Campbell, Donald T.}, title={{Experimental and quasi-experimental designs for generalized causal inference}}, year={2002}, publisher={Houghton Mifflin}}
R