Słownik metodologiczny · Projekt badania

Sprawdzenie manipulacji (manipulation check) – po co, gdzie i jak raportować

Sprawdzenie manipulacji pokazuje, czy warunek eksperymentalny wywołał to, co miał wywołać. Wyjaśniamy, gdzie je umieścić, co raportować i dlaczego nie należy na jego podstawie wykluczać osób.

Strona główna / Słownik / Sprawdzenie manipulacji

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Sprawdzenie manipulacji mierzy stan, który warunek eksperymentalny miał zmienić. Raportuj je liczbowo (średnie, test, wielkość efektu) i nie wykluczaj na jego podstawie uczestników bez wcześniej zapisanego uzasadnienia.

Co to jest sprawdzenie manipulacji?

Sprawdzenie manipulacji (ang. manipulation check) to pomiar, który pokazuje, czy manipulacja eksperymentalna wywołała zamierzony stan, np. czy zapowiedź publicznego wystąpienia rzeczywiście zdenerwowała uczestników. Nie myl go z pytaniem kontrolnym (attention check): ono sprawdza, czy osoba uważnie czyta polecenia, a nie czy manipulacja w eksperymencie zadziałała.

Jak to zrobić

  • Mierz stan, który manipulacja ma zmienić, a nie zmienną zależną. Przy indukcji smutku pytaj o nastrój, a nie o wynik zadania.
  • Przemyśl miejsce pomiaru. Pytanie zadane tuż po manipulacji może samo działać jak interwencja: wzmocnić, znieść albo zmienić jej efekt (Hauser i in., 2018). Rozważ pomiar po zmiennej zależnej, miarę behawioralną albo sprawdzenie manipulacji w badaniu pilotażowym.
  • Raportuj liczby, nie tylko „manipulacja się powiodła”. W przeglądzie 207 eksperymentów Ejelöv i Luke (2020) zauważyli, że autorzy rzadko oceniają ilościowo skuteczność manipulacji. Podaj średnie, test i wielkość efektu.

Przykład

Połowę ze 100 studentów poinformowano, że za chwilę wygłoszą przemówienie, a połowa czytała neutralny tekst. Następnie wszyscy ocenili zdenerwowanie na skali 1–7 (dane symulowane). W grupie stresu wyniosło ono M = 4.18 (SD = 1.51), w grupie kontrolnej M = 3.30 (SD = 1.31), t(98) = 3.11, p = .002, d = 0.62 (test t dla prób niezależnych).

Jak opisać w pracy

Manipulacja była skuteczna: osoby w warunku stresu oceniały swoje zdenerwowanie wyżej (M = 4.18, SD = 1.51) niż osoby w warunku kontrolnym (M = 3.30, SD = 1.31), t(98) = 3.11, p = .002, d = 0.62.

W rozdziale metodologicznym podaj treść pytania, skalę i moment pomiaru.

Na co uważać

  • Nie wykluczaj osób, które „nie zdały” sprawdzenia manipulacji, chyba że masz mocne, wcześniej zapisane uzasadnienie. Wykluczanie po przydziale do warunku może poważnie obciążyć oszacowanie efektu (Aronow i in., 2019). Analizuj wszystkich, a analizę bez tych osób pokaż najwyżej jako dodatkową.
  • Nieistotny wynik jednego pytania nie dowodzi, że manipulacja nie zadziałała – pomiar mógł być mało czuły.

Najczęstsze pytania

Czym różni się manipulation check od attention check?

Manipulation check sprawdza, czy warunek eksperymentalny wywołał zamierzony stan, np. stres. Attention check sprawdza, czy uczestnik uważnie czyta polecenia, niezależnie od warunku.

Gdzie umieścić pytanie sprawdzające manipulację?

Zwykle po manipulacji, ale pytanie może samo zmienić jej efekt. Bezpieczniej zadać je po pomiarze zmiennej zależnej, użyć miary behawioralnej albo sprawdzić manipulację w pilotażu.

Czy usuwać osoby, u których manipulacja nie zadziałała?

Nie bez wcześniej zapisanego uzasadnienia. Wykluczanie osób po przydziale do warunku narusza losowość i może obciążyć wynik. Analizę bez nich pokaż najwyżej jako dodatkową.

Powiązane hasła

Manipulacja eksperymentalnaPytanie kontrolne (attention check)Schemat eksperymentalnyBadanie pilotażoweDebriefing

Poradniki, w których użyjesz tego pojęcia

Poradnik

Rozdział metodologiczny – jak go napisać

Co napisać w każdym podrozdziale metody: hipotezy, zmienne, próba, narzędzia, procedura, etyka i plan analiz – z wzorami zdań i listą JARS.

Czytaj →Poradnik

Badanie pilotażowe: po co, ile osób, co sprawdzić

Pilotaż a pretest, ile osób zbadać, co sprawdzić w danych i dlaczego nie liczyć mocy z efektu z pilotażu. Z symulacją, kodem R i wzorem opisu.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Aronow, P. M., Baron, J., & Pinson, L. (2019). A note on dropping experimental subjects who fail a manipulation check. Political Analysis, 27(4), 572–589. https://doi.org/10.1017/pan.2019.5
  2. Ejelöv, E., & Luke, T. J. (2020). “Rarely safe to assume”: Evaluating the use and interpretation of manipulation checks in experimental social psychology. Journal of Experimental Social Psychology, 87, Article 103937. https://doi.org/10.1016/j.jesp.2019.103937 ● Otwarty dostęp: pełny tekst
  3. Hauser, D. J., Ellsworth, P. C., & Gonzalez, R. (2018). Are manipulation checks necessary? Frontiers in Psychology, 9, Article 998. https://doi.org/10.3389/fpsyg.2018.00998 ● Otwarty dostęp

Cytowania BibTeX

@article{aronow2019note, author={Aronow, Peter M. and Baron, Jonathon and Pinson, Lauren}, title={{A note on dropping experimental subjects who fail a manipulation check}}, journal={Political Analysis}, year={2019}, volume={27}, number={4}, pages={572--589}, doi={10.1017/pan.2019.5}}
@article{ejelov2020rarely, author={Ejelöv, Emma and Luke, Timothy J.}, title={{“Rarely safe to assume”: Evaluating the use and interpretation of manipulation checks in experimental social psychology}}, journal={Journal of Experimental Social Psychology}, year={2020}, volume={87}, eid={103937}, doi={10.1016/j.jesp.2019.103937}}
@article{hauser2018are, author={Hauser, David J. and Ellsworth, Phoebe C. and Gonzalez, Richard}, title={{Are manipulation checks necessary?}}, journal={Frontiers in Psychology}, year={2018}, volume={9}, eid={998}, doi={10.3389/fpsyg.2018.00998}}
R