Słownik metodologiczny · Open science i wnioskowanie

HARKing – czym jest stawianie hipotez po poznaniu wyników?

HARKing to przedstawianie hipotezy wymyślonej po obejrzeniu danych tak, jakby była zaplanowana. Wyjaśniamy jego rodzaje, pokazujemy w symulacji, jak zawyża liczbę fałszywych odkryć, i podajemy wzór uczciwego opisu analiz eksploracyjnych.

W skrócie: HARKing (ang. Hypothesizing After the Results are Known) to przedstawianie hipotezy sformułowanej po poznaniu wyników tak, jakby była postawiona przed badaniem (Kerr, 1998). Wymyślanie hipotez na podstawie danych samo w sobie nie jest błędem – błędem jest ukrycie, skąd się wzięły, bo wtedy test statystyczny traci sens, a liczba fałszywych odkryć rośnie. Chroni przed tym prerejestracja i jawne oddzielenie analiz konfirmacyjnych od eksploracyjnych.

Co to jest HARKing?

HARKing (ang. Hypothesizing After the Results are Known) to przedstawianie hipotezy sformułowanej po poznaniu wyników tak, jakby była postawiona przed badaniem. Termin wprowadził Kerr (1998), definiując HARKing jako opisywanie hipotezy post hoc – opartej na uzyskanych wynikach – w raporcie tak, jakby była hipotezą a priori. Kerr przytoczył też dane sugerujące, że niektóre formy tej praktyki są powszechne, choć zarazem powszechnie uznawane za niewłaściwe. Po polsku mówi się o „stawianiu hipotez po fakcie”.

Sedno problemu nie polega na tym, że badacz wymyśla nową hipotezę po obejrzeniu danych. To normalna część nauki – dane często podsuwają ciekawe pomysły. Problemem jest ukrycie, skąd hipoteza się wzięła. Czytelnik sądzi wtedy, że badanie sprawdziło przewidywanie, podczas gdy w rzeczywistości przewidywanie dopasowano do wyniku. Nosek i in. (2018) nazywają to pomyleniem predykcji (testowania przewidywań) z postdykcją (wyjaśniania wyników po fakcie).

HARKing należy do tej samej rodziny wątpliwych praktyk badawczych co p-hacking i bywa wymieniany wśród przyczyn kryzysu replikacyjnego w psychologii. W pracy dyplomowej zdarza się zwykle nie ze złej woli, lecz z przekonania, że „hipotezy muszą się potwierdzić”.

Rodzaje HARKingu

Rubin (2017) wyróżnia trzy formy HARKingu i pokazuje, że nie każda jest równie szkodliwa. Murphy i Aguinis (2019) dodają rozróżnienie oparte na tym, jak badacz szuka „swojego” wyniku. Zestawienie z przykładami z prac dyplomowych:

Rodzaje HARKingu z przykładami
FormaNa czym polegaPrzykład w pracy magisterskiej
Konstruowanie hipotez po fakcie (CHARKing)Hipoteza powstaje na podstawie wyników i trafia do wstępu jako przewidywanieNieplanowana korelacja ruminacji z jakością snu zostaje opisana jako „H3” wyprowadzona z teorii
Dobieranie hipotez z literatury po fakcie (RHARKing)Po poznaniu wyników badacz szuka w literaturze teorii, która je przewiduje, i przedstawia ją jako punkt wyjściaPo nieoczekiwanym wyniku w podgrupie kobiet do części teoretycznej dopisano podrozdział o różnicach płciowych
Pomijanie niepotwierdzonych hipotez (SHARKing)Hipotezy a priori, które się nie potwierdziły, znikają z pracyZ pięciu planowanych hipotez w pracy zostają trzy „udane”
Wybieranie wariantu (cherry-picking)Z kilku miar lub prób tego samego konstruktu raportuje się najkorzystniejsząStres mierzono dwiema skalami, w pracy opisano tylko tę, która dała istotny wynik
Przeszukiwanie danych (question trolling)Badacz sprawdza wiele dowolnych związków i najciekawszy opisuje jako przewidywanyKorelacje wszystkich 20 zmiennych z ankiety, a w pracy „hipoteza” o jedynym istotnym związku

W symulacjach Murphy’ego i Aguinisa (2019) wybieranie najkorzystniejszej miary lub próby tylko nieznacznie zawyżało szacowany efekt. Przeszukiwanie danych w poszukiwaniu dowolnych ciekawych wyników prowadziło natomiast do znacznego zawyżenia – zwłaszcza wtedy, gdy możliwych efektów było wiele.

Dlaczego HARKing szkodzi?

Test statystyczny zachowuje swoje właściwości tylko wtedy, gdy hipoteza była ustalona przed spojrzeniem na dane. Jeśli sprawdzasz wiele możliwości i opisujesz tę, która „wyszła”, wartość p traci swoje znaczenie: odsetek fałszywych odkryć (błędów I rodzaju) przestaje wynosić 5%. Simmons i in. (2011) pokazali w symulacjach i dwóch eksperymentach, że nieujawniona elastyczność w zbieraniu, analizie i raportowaniu danych radykalnie zwiększa odsetek wyników fałszywie pozytywnych. Przeszukiwanie danych i przedstawianie najlepszego wyniku jako przewidywanego to właśnie taka elastyczność.

Rysunek 1 pokazuje skalę zjawiska w prostej symulacji. Badacz ma 100 osób, jeden predyktor (np. wsparcie społeczne) i k zmiennych wynikowych, z których żadna naprawdę nie wiąże się z predyktorem.

Wykres odsetka badań z istotnym wynikiem, gdy prawdziwego efektu nie ma: przy jednej zaplanowanej hipotezie około 5%, a przy przeszukiwaniu k zmiennych i opisaniu najlepszego wyniku 22.1% dla 5 zmiennych, 40.1% dla 10 i 62.9% dla 20 zmiennych nieskorelowanych; dla zmiennych skorelowanych 20.7%, 34.8% i 54.6%
Rysunek 1. Odsetek badań, w których „potwierdzono” hipotezę, choć prawdziwego efektu nie było (N = 100, 5000 symulowanych badań dla każdej liczby zmiennych). Niebieska linia: jedna hipoteza zaplanowana z góry. Czerwona i szara linia: HARKing – sprawdzenie k zmiennych wynikowych i opisanie najlepszego wyniku jako przewidywanego. Obliczenia: R (dane symulowane).

Przy jednej zaplanowanej hipotezie fałszywe „odkrycie” zdarzyło się w 4.8% symulowanych badań, czyli zgodnie z założonym α = .05. Gdy badacz sprawdzał 10 zmiennych i opisywał najlepszą, „potwierdzona hipoteza” pojawiała się w 40.1% badań, a przy 20 zmiennych – w 62.9%. Gdy zmienne wynikowe były ze sobą umiarkowanie skorelowane (r = .30), odsetki były nieco niższe: 34.8% i 54.6%. Co ważne, zgłoszony efekt nigdy nie był bliski zera – przeciętnie wynosił |r| ≈ .23–.24, bo przy 100 osobach istotna jest dopiero korelacja o wartości bezwzględnej co najmniej .197. Literatura zbudowana z takich wyników zawiera efekty, których nie ma, i zawyżone wielkości efektów, a próby ich powtórzenia kończą się porażką (zob. replikowalność i efekt szuflady).

HARKing szkodzi też teorii. Hipoteza dopisana do wyniku zawsze się „potwierdza”, więc nie może zostać obalona – traci to, co czyni ją naukową (zob. falsyfikowalność). Rubin (2017) zwraca jednak uwagę, że szkodliwość zależy od formy i okoliczności. Na przykład hipoteza odnaleziona w literaturze po fakcie została opublikowana wcześniej, niezależnie od bieżących danych, więc w pewnym sensie nadal jest hipotezą a priori.

Jak zapobiegać: prerejestracja i jawny podział analiz

Najskuteczniejszym zabezpieczeniem jest prerejestracja, czyli zapisanie pytań badawczych i planu analiz, zanim poznasz wyniki. Nosek i in. (2018) podkreślają, że właśnie to pozwala odróżnić testowanie predykcji od postdykcji i zwiększa wiarygodność wyników. Prerejestracja nie zakazuje analiz nieplanowanych – sprawia tylko, że czytelnik wie, które analizy były zaplanowane.

W pracy dyplomowej możesz to zrobić bez specjalnych serwisów:

  • przed zebraniem danych zapisz hipotezy, zmienne, sposób ich pomiaru, planowane testy i kryteria wykluczeń – najlepiej jako szkic rozdziału metodologicznego wysłany promotorowi (data wiadomości jest dowodem kolejności);
  • jeśli to możliwe, złóż plan w publicznym rejestrze (np. OSF); to element szerszego ruchu open science;
  • w wynikach oddziel analizy konfirmacyjne (testujące hipotezy) od eksploracyjnych – takie rozróżnienie zaleca Gernsbacher (2018) jako podstawę przejrzystego artykułu empirycznego;
  • opisz wszystkie zaplanowane hipotezy, także te, które się nie potwierdziły;
  • jeśli wykonujesz wiele testów eksploracyjnych, rozważ korektę na porównania wielokrotne albo wyraźnie zaznacz, że wyniki są wstępne.

Jak formułować hipotezy, żeby dało się je uczciwie sprawdzić, opisujemy w poradniku pytania badawcze i hipotezy oraz w haśle hipoteza badawcza.

Przykład: ta sama sytuacja opisana na dwa sposoby

Studentka zaplanowała hipotezę: „Wyższe wsparcie społeczne wiąże się z niższym stresem akademickim”. Związek okazał się nieistotny. Podczas dodatkowych analiz zauważyła, że w podgrupie kobiet związek jest istotny, a u mężczyzn – nie. Tak może wyglądać opis HARKujący i opis uczciwy:

Porównanie opisu z HARKingiem i opisu uczciwego
Element pracyWersja z HARKingiemWersja uczciwa
Hipotezy we wstępie„H1: Płeć moderuje związek wsparcia ze stresem – u kobiet związek będzie silniejszy”„H1: Wyższe wsparcie społeczne wiąże się z niższym stresem” (hipoteza zapisana przed badaniem)
Część teoretycznaDopisany po analizach podrozdział o różnicach płciowych w korzystaniu ze wsparciaTeoria jak w planie; różnice płciowe omówione dopiero w dyskusji
Wyniki„Zgodnie z H1 interakcja okazała się istotna”; nieistotny związek ogólny pominiętyNajpierw wynik H1 (nieistotny), potem osobny podrozdział „Analizy eksploracyjne” z interakcją i informacją, ile testów wykonano
Dyskusja„Badanie potwierdziło, że płeć moderuje…”„Wynik eksploracyjny sugeruje, że… – wymaga sprawdzenia w nowym badaniu”

Wersja uczciwa nie jest „gorszą pracą”. Pokazuje rzetelny obraz badania i jasno mówi, co zostało sprawdzone, a co jest nową hipotezą do sprawdzenia. Sama analiza interakcji przypomina analizę moderacji – jeśli chcesz ją przetestować konfirmacyjnie, zaplanuj ją z góry w kolejnym badaniu.

Jak opisać analizy eksploracyjne w pracy

Analizy nieplanowane umieść w osobnym podrozdziale wyników, podaj, ile testów wykonano, i nie używaj sformułowań typu „zgodnie z hipotezą”. Gotowy akapit (uzupełnij nawiasy):

Analizy eksploracyjne. Poniższe analizy nie były zaplanowane przed zebraniem danych; przeprowadzono je po zapoznaniu się z wynikami testów hipotez. Sprawdzono [jakie związki lub różnice], wykonując łącznie [liczba] testów. [Opis wyniku z wartościami statystyk, wielkością efektu i przedziałem ufności]. Ze względu na eksploracyjny charakter tych analiz i liczbę wykonanych porównań wyniki należy traktować jako wstępne – wymagają one sprawdzenia w nowym, niezależnym badaniu z hipotezą sformułowaną przed zebraniem danych.

Niepotwierdzoną hipotezę opisz wprost, z pełnym wynikiem testu:

Hipoteza 1, zgodnie z którą wyższe wsparcie społeczne wiąże się z niższym poziomem stresu, nie znalazła potwierdzenia w danych: [statystyka testu, wartość p, wielkość efektu z 95% CI]. Wynik ten oznacza, że badanie nie dostarczyło dowodów na przewidywany związek; nie przesądza jednak o jego braku w populacji.

Więcej gotowych zdań – także dla wyników nieistotnych – znajdziesz w poradniku jak opisać wyniki w stylu APA.

Najczęstsze błędy i sygnały ostrzegawcze

  • Przepisywanie hipotez po analizie – zmiana treści, kierunku albo liczby hipotez po poznaniu wyników, bez informacji o tym w pracy (Kerr, 1998).
  • Znikające hipotezy – w planie było ich pięć, w pracy są trzy, wszystkie potwierdzone. Rubin (2017) zalicza pomijanie niepotwierdzonych hipotez do odrębnej formy HARKingu.
  • Hipotezy zbyt dopasowane do wyniku – bardzo szczegółowe przewidywania (konkretna podgrupa, konkretna skala) bez uzasadnienia teoretycznego we wcześniejszych badaniach.
  • „Zgodnie z hipotezą” przy wyniku z podgrupy – analiza podgrup, której nie było w planie, przedstawiona jako test hipotezy.
  • Mylenie eksploracji z nieuczciwością – analiza eksploracyjna jest wartościowa, jeśli jest jawnie oznaczona. Nie rezygnuj z niej; opisz ją osobno.
  • Brak daty planu – bez zapisanego wcześniej planu nie da się pokazać, które hipotezy były a priori. Wystarczy wiadomość do promotora albo prerejestracja.

Najczęstsze pytania

Co to jest HARKing?

To skrót od Hypothesizing After the Results are Known, czyli stawianie hipotez po poznaniu wyników i przedstawianie ich tak, jakby były zaplanowane przed badaniem. Pojęcie wprowadził Kerr (1998). W efekcie czytelnik sądzi, że badanie sprawdziło przewidywanie, choć przewidywanie dopasowano do wyniku.

Czym HARKing różni się od p-hackingu?

P-hacking to manipulowanie analizą (np. wykluczeniami, zmiennymi, momentem zakończenia zbierania danych), aż wynik stanie się istotny. HARKing dotyczy hipotez: dopasowania ich treści do uzyskanych wyników. Obie praktyki często idą w parze i obie zawyżają odsetek fałszywie pozytywnych wyników.

Czy w pracy magisterskiej można dodać hipotezę po analizie danych?

Tak, ale jako analizę eksploracyjną, a nie hipotezę. Opisz ją w osobnym podrozdziale, podaj, ile testów wykonano, i zaznacz, że wynik wymaga sprawdzenia w nowym badaniu. Nie dopisuj jej do listy hipotez we wstępie ani nie pisz „zgodnie z hipotezą”.

Czy HARKing to nieuczciwość naukowa?

Kerr (1998) opisuje go jako praktykę powszechną, ale powszechnie uznawaną za niewłaściwą. To nie fabrykowanie danych, lecz wprowadzanie czytelnika w błąd co do statusu hipotezy. Ten sam wynik opisany jawnie jako eksploracyjny jest w pełni uprawniony.

Jak prerejestracja chroni przed HARKingiem?

Prerejestracja to zapisanie hipotez i planu analiz przed poznaniem wyników. Dzięki niej można odróżnić testowanie przewidywań od wyjaśniania wyników po fakcie (Nosek i in., 2018). W pracy dyplomowej wystarczy datowany plan, np. szkic rozdziału metodologicznego wysłany promotorowi przed zebraniem danych.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Gernsbacher, M. A. (2018). Writing empirical articles: Transparency, reproducibility, clarity, and memorability. Advances in Methods and Practices in Psychological Science, 1(3), 403–414. https://doi.org/10.1177/2515245918754485 ● Otwarty dostęp
  2. Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
  3. Murphy, K. R., & Aguinis, H. (2019). HARKing: How badly can cherry-picking and question trolling produce bias in published results? Journal of Business and Psychology, 34(1), 1–17. https://doi.org/10.1007/s10869-017-9524-7
  4. Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114 ● Otwarty dostęp: pełny tekst
  5. Rubin, M. (2017). When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress. Review of General Psychology, 21(4), 308–320. https://doi.org/10.1037/gpr0000128 ● Otwarty dostęp
  6. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632

Cytowania BibTeX

@article{gernsbacher2018writing, author={Gernsbacher, Morton Ann}, title={{Writing empirical articles: Transparency, reproducibility, clarity, and memorability}}, journal={Advances in Methods and Practices in Psychological Science}, year={2018}, volume={1}, number={3}, pages={403--414}, doi={10.1177/2515245918754485}}
@article{kerr1998harking, author={Kerr, Norbert L.}, title={{HARKing: Hypothesizing after the results are known}}, journal={Personality and Social Psychology Review}, year={1998}, volume={2}, number={3}, pages={196--217}, doi={10.1207/s15327957pspr0203_4}}
@article{murphy2019harking, author={Murphy, Kevin R. and Aguinis, Herman}, title={{HARKing: How badly can cherry-picking and question trolling produce bias in published results?}}, journal={Journal of Business and Psychology}, year={2019}, volume={34}, number={1}, pages={1--17}, doi={10.1007/s10869-017-9524-7}}
@article{nosek2018preregistration, author={Nosek, Brian A. and Ebersole, Charles R. and DeHaven, Alexander C. and Mellor, David T.}, title={{The preregistration revolution}}, journal={Proceedings of the National Academy of Sciences}, year={2018}, volume={115}, number={11}, pages={2600--2606}, doi={10.1073/pnas.1708274114}}
@article{rubin2017when, author={Rubin, Mark}, title={{When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress}}, journal={Review of General Psychology}, year={2017}, volume={21}, number={4}, pages={308--320}, doi={10.1037/gpr0000128}}
@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}
R