Co to jest HARKing?
HARKing (ang. Hypothesizing After the Results are Known) to przedstawianie hipotezy sformułowanej po poznaniu wyników tak, jakby była postawiona przed badaniem. Termin wprowadził Kerr (1998), definiując HARKing jako opisywanie hipotezy post hoc – opartej na uzyskanych wynikach – w raporcie tak, jakby była hipotezą a priori. Kerr przytoczył też dane sugerujące, że niektóre formy tej praktyki są powszechne, choć zarazem powszechnie uznawane za niewłaściwe. Po polsku mówi się o „stawianiu hipotez po fakcie”.
Sedno problemu nie polega na tym, że badacz wymyśla nową hipotezę po obejrzeniu danych. To normalna część nauki – dane często podsuwają ciekawe pomysły. Problemem jest ukrycie, skąd hipoteza się wzięła. Czytelnik sądzi wtedy, że badanie sprawdziło przewidywanie, podczas gdy w rzeczywistości przewidywanie dopasowano do wyniku. Nosek i in. (2018) nazywają to pomyleniem predykcji (testowania przewidywań) z postdykcją (wyjaśniania wyników po fakcie).
HARKing należy do tej samej rodziny wątpliwych praktyk badawczych co p-hacking i bywa wymieniany wśród przyczyn kryzysu replikacyjnego w psychologii. W pracy dyplomowej zdarza się zwykle nie ze złej woli, lecz z przekonania, że „hipotezy muszą się potwierdzić”.
Rodzaje HARKingu
Rubin (2017) wyróżnia trzy formy HARKingu i pokazuje, że nie każda jest równie szkodliwa. Murphy i Aguinis (2019) dodają rozróżnienie oparte na tym, jak badacz szuka „swojego” wyniku. Zestawienie z przykładami z prac dyplomowych:
| Forma | Na czym polega | Przykład w pracy magisterskiej |
|---|---|---|
| Konstruowanie hipotez po fakcie (CHARKing) | Hipoteza powstaje na podstawie wyników i trafia do wstępu jako przewidywanie | Nieplanowana korelacja ruminacji z jakością snu zostaje opisana jako „H3” wyprowadzona z teorii |
| Dobieranie hipotez z literatury po fakcie (RHARKing) | Po poznaniu wyników badacz szuka w literaturze teorii, która je przewiduje, i przedstawia ją jako punkt wyjścia | Po nieoczekiwanym wyniku w podgrupie kobiet do części teoretycznej dopisano podrozdział o różnicach płciowych |
| Pomijanie niepotwierdzonych hipotez (SHARKing) | Hipotezy a priori, które się nie potwierdziły, znikają z pracy | Z pięciu planowanych hipotez w pracy zostają trzy „udane” |
| Wybieranie wariantu (cherry-picking) | Z kilku miar lub prób tego samego konstruktu raportuje się najkorzystniejszą | Stres mierzono dwiema skalami, w pracy opisano tylko tę, która dała istotny wynik |
| Przeszukiwanie danych (question trolling) | Badacz sprawdza wiele dowolnych związków i najciekawszy opisuje jako przewidywany | Korelacje wszystkich 20 zmiennych z ankiety, a w pracy „hipoteza” o jedynym istotnym związku |
W symulacjach Murphy’ego i Aguinisa (2019) wybieranie najkorzystniejszej miary lub próby tylko nieznacznie zawyżało szacowany efekt. Przeszukiwanie danych w poszukiwaniu dowolnych ciekawych wyników prowadziło natomiast do znacznego zawyżenia – zwłaszcza wtedy, gdy możliwych efektów było wiele.
Dlaczego HARKing szkodzi?
Test statystyczny zachowuje swoje właściwości tylko wtedy, gdy hipoteza była ustalona przed spojrzeniem na dane. Jeśli sprawdzasz wiele możliwości i opisujesz tę, która „wyszła”, wartość p traci swoje znaczenie: odsetek fałszywych odkryć (błędów I rodzaju) przestaje wynosić 5%. Simmons i in. (2011) pokazali w symulacjach i dwóch eksperymentach, że nieujawniona elastyczność w zbieraniu, analizie i raportowaniu danych radykalnie zwiększa odsetek wyników fałszywie pozytywnych. Przeszukiwanie danych i przedstawianie najlepszego wyniku jako przewidywanego to właśnie taka elastyczność.
Rysunek 1 pokazuje skalę zjawiska w prostej symulacji. Badacz ma 100 osób, jeden predyktor (np. wsparcie społeczne) i k zmiennych wynikowych, z których żadna naprawdę nie wiąże się z predyktorem.
Przy jednej zaplanowanej hipotezie fałszywe „odkrycie” zdarzyło się w 4.8% symulowanych badań, czyli zgodnie z założonym α = .05. Gdy badacz sprawdzał 10 zmiennych i opisywał najlepszą, „potwierdzona hipoteza” pojawiała się w 40.1% badań, a przy 20 zmiennych – w 62.9%. Gdy zmienne wynikowe były ze sobą umiarkowanie skorelowane (r = .30), odsetki były nieco niższe: 34.8% i 54.6%. Co ważne, zgłoszony efekt nigdy nie był bliski zera – przeciętnie wynosił |r| ≈ .23–.24, bo przy 100 osobach istotna jest dopiero korelacja o wartości bezwzględnej co najmniej .197. Literatura zbudowana z takich wyników zawiera efekty, których nie ma, i zawyżone wielkości efektów, a próby ich powtórzenia kończą się porażką (zob. replikowalność i efekt szuflady).
HARKing szkodzi też teorii. Hipoteza dopisana do wyniku zawsze się „potwierdza”, więc nie może zostać obalona – traci to, co czyni ją naukową (zob. falsyfikowalność). Rubin (2017) zwraca jednak uwagę, że szkodliwość zależy od formy i okoliczności. Na przykład hipoteza odnaleziona w literaturze po fakcie została opublikowana wcześniej, niezależnie od bieżących danych, więc w pewnym sensie nadal jest hipotezą a priori.
Jak zapobiegać: prerejestracja i jawny podział analiz
Najskuteczniejszym zabezpieczeniem jest prerejestracja, czyli zapisanie pytań badawczych i planu analiz, zanim poznasz wyniki. Nosek i in. (2018) podkreślają, że właśnie to pozwala odróżnić testowanie predykcji od postdykcji i zwiększa wiarygodność wyników. Prerejestracja nie zakazuje analiz nieplanowanych – sprawia tylko, że czytelnik wie, które analizy były zaplanowane.
W pracy dyplomowej możesz to zrobić bez specjalnych serwisów:
- przed zebraniem danych zapisz hipotezy, zmienne, sposób ich pomiaru, planowane testy i kryteria wykluczeń – najlepiej jako szkic rozdziału metodologicznego wysłany promotorowi (data wiadomości jest dowodem kolejności);
- jeśli to możliwe, złóż plan w publicznym rejestrze (np. OSF); to element szerszego ruchu open science;
- w wynikach oddziel analizy konfirmacyjne (testujące hipotezy) od eksploracyjnych – takie rozróżnienie zaleca Gernsbacher (2018) jako podstawę przejrzystego artykułu empirycznego;
- opisz wszystkie zaplanowane hipotezy, także te, które się nie potwierdziły;
- jeśli wykonujesz wiele testów eksploracyjnych, rozważ korektę na porównania wielokrotne albo wyraźnie zaznacz, że wyniki są wstępne.
Jak formułować hipotezy, żeby dało się je uczciwie sprawdzić, opisujemy w poradniku pytania badawcze i hipotezy oraz w haśle hipoteza badawcza.
Przykład: ta sama sytuacja opisana na dwa sposoby
Studentka zaplanowała hipotezę: „Wyższe wsparcie społeczne wiąże się z niższym stresem akademickim”. Związek okazał się nieistotny. Podczas dodatkowych analiz zauważyła, że w podgrupie kobiet związek jest istotny, a u mężczyzn – nie. Tak może wyglądać opis HARKujący i opis uczciwy:
| Element pracy | Wersja z HARKingiem | Wersja uczciwa |
|---|---|---|
| Hipotezy we wstępie | „H1: Płeć moderuje związek wsparcia ze stresem – u kobiet związek będzie silniejszy” | „H1: Wyższe wsparcie społeczne wiąże się z niższym stresem” (hipoteza zapisana przed badaniem) |
| Część teoretyczna | Dopisany po analizach podrozdział o różnicach płciowych w korzystaniu ze wsparcia | Teoria jak w planie; różnice płciowe omówione dopiero w dyskusji |
| Wyniki | „Zgodnie z H1 interakcja okazała się istotna”; nieistotny związek ogólny pominięty | Najpierw wynik H1 (nieistotny), potem osobny podrozdział „Analizy eksploracyjne” z interakcją i informacją, ile testów wykonano |
| Dyskusja | „Badanie potwierdziło, że płeć moderuje…” | „Wynik eksploracyjny sugeruje, że… – wymaga sprawdzenia w nowym badaniu” |
Wersja uczciwa nie jest „gorszą pracą”. Pokazuje rzetelny obraz badania i jasno mówi, co zostało sprawdzone, a co jest nową hipotezą do sprawdzenia. Sama analiza interakcji przypomina analizę moderacji – jeśli chcesz ją przetestować konfirmacyjnie, zaplanuj ją z góry w kolejnym badaniu.
Jak opisać analizy eksploracyjne w pracy
Analizy nieplanowane umieść w osobnym podrozdziale wyników, podaj, ile testów wykonano, i nie używaj sformułowań typu „zgodnie z hipotezą”. Gotowy akapit (uzupełnij nawiasy):
Niepotwierdzoną hipotezę opisz wprost, z pełnym wynikiem testu:
Więcej gotowych zdań – także dla wyników nieistotnych – znajdziesz w poradniku jak opisać wyniki w stylu APA.
Najczęstsze błędy i sygnały ostrzegawcze
- Przepisywanie hipotez po analizie – zmiana treści, kierunku albo liczby hipotez po poznaniu wyników, bez informacji o tym w pracy (Kerr, 1998).
- Znikające hipotezy – w planie było ich pięć, w pracy są trzy, wszystkie potwierdzone. Rubin (2017) zalicza pomijanie niepotwierdzonych hipotez do odrębnej formy HARKingu.
- Hipotezy zbyt dopasowane do wyniku – bardzo szczegółowe przewidywania (konkretna podgrupa, konkretna skala) bez uzasadnienia teoretycznego we wcześniejszych badaniach.
- „Zgodnie z hipotezą” przy wyniku z podgrupy – analiza podgrup, której nie było w planie, przedstawiona jako test hipotezy.
- Mylenie eksploracji z nieuczciwością – analiza eksploracyjna jest wartościowa, jeśli jest jawnie oznaczona. Nie rezygnuj z niej; opisz ją osobno.
- Brak daty planu – bez zapisanego wcześniej planu nie da się pokazać, które hipotezy były a priori. Wystarczy wiadomość do promotora albo prerejestracja.
Najczęstsze pytania
Co to jest HARKing?
To skrót od Hypothesizing After the Results are Known, czyli stawianie hipotez po poznaniu wyników i przedstawianie ich tak, jakby były zaplanowane przed badaniem. Pojęcie wprowadził Kerr (1998). W efekcie czytelnik sądzi, że badanie sprawdziło przewidywanie, choć przewidywanie dopasowano do wyniku.
Czym HARKing różni się od p-hackingu?
P-hacking to manipulowanie analizą (np. wykluczeniami, zmiennymi, momentem zakończenia zbierania danych), aż wynik stanie się istotny. HARKing dotyczy hipotez: dopasowania ich treści do uzyskanych wyników. Obie praktyki często idą w parze i obie zawyżają odsetek fałszywie pozytywnych wyników.
Czy w pracy magisterskiej można dodać hipotezę po analizie danych?
Tak, ale jako analizę eksploracyjną, a nie hipotezę. Opisz ją w osobnym podrozdziale, podaj, ile testów wykonano, i zaznacz, że wynik wymaga sprawdzenia w nowym badaniu. Nie dopisuj jej do listy hipotez we wstępie ani nie pisz „zgodnie z hipotezą”.
Czy HARKing to nieuczciwość naukowa?
Kerr (1998) opisuje go jako praktykę powszechną, ale powszechnie uznawaną za niewłaściwą. To nie fabrykowanie danych, lecz wprowadzanie czytelnika w błąd co do statusu hipotezy. Ten sam wynik opisany jawnie jako eksploracyjny jest w pełni uprawniony.
Jak prerejestracja chroni przed HARKingiem?
Prerejestracja to zapisanie hipotez i planu analiz przed poznaniem wyników. Dzięki niej można odróżnić testowanie przewidywań od wyjaśniania wyników po fakcie (Nosek i in., 2018). W pracy dyplomowej wystarczy datowany plan, np. szkic rozdziału metodologicznego wysłany promotorowi przed zebraniem danych.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Pytania badawcze i hipotezy: jak przejść od teorii do analizy
Jak formułować pytania badawcze i hipotezy? Od teorii i operacjonalizacji przez kierunek efektu po plan analizy i prerejestrację.
Czytaj →PoradnikRozdział metodologiczny – jak go napisać
Co napisać w każdym podrozdziale metody: hipotezy, zmienne, próba, narzędzia, procedura, etyka i plan analiz – z wzorami zdań i listą JARS.
Czytaj →PoradnikJak opisać wyniki w stylu APA – gotowe zdania
18 gotowych zdań APA – od testu t po mediację i moderację – z liczbami z jednego badania i kodem R, który pozwala sprawdzić każdą wartość.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Gernsbacher, M. A. (2018). Writing empirical articles: Transparency, reproducibility, clarity, and memorability. Advances in Methods and Practices in Psychological Science, 1(3), 403–414. https://doi.org/10.1177/2515245918754485 ● Otwarty dostęp
- Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
- Murphy, K. R., & Aguinis, H. (2019). HARKing: How badly can cherry-picking and question trolling produce bias in published results? Journal of Business and Psychology, 34(1), 1–17. https://doi.org/10.1007/s10869-017-9524-7
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114 ● Otwarty dostęp: pełny tekst
- Rubin, M. (2017). When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress. Review of General Psychology, 21(4), 308–320. https://doi.org/10.1037/gpr0000128 ● Otwarty dostęp
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Cytowania BibTeX
@article{gernsbacher2018writing, author={Gernsbacher, Morton Ann}, title={{Writing empirical articles: Transparency, reproducibility, clarity, and memorability}}, journal={Advances in Methods and Practices in Psychological Science}, year={2018}, volume={1}, number={3}, pages={403--414}, doi={10.1177/2515245918754485}}@article{kerr1998harking, author={Kerr, Norbert L.}, title={{HARKing: Hypothesizing after the results are known}}, journal={Personality and Social Psychology Review}, year={1998}, volume={2}, number={3}, pages={196--217}, doi={10.1207/s15327957pspr0203_4}}@article{murphy2019harking, author={Murphy, Kevin R. and Aguinis, Herman}, title={{HARKing: How badly can cherry-picking and question trolling produce bias in published results?}}, journal={Journal of Business and Psychology}, year={2019}, volume={34}, number={1}, pages={1--17}, doi={10.1007/s10869-017-9524-7}}@article{nosek2018preregistration, author={Nosek, Brian A. and Ebersole, Charles R. and DeHaven, Alexander C. and Mellor, David T.}, title={{The preregistration revolution}}, journal={Proceedings of the National Academy of Sciences}, year={2018}, volume={115}, number={11}, pages={2600--2606}, doi={10.1073/pnas.1708274114}}@article{rubin2017when, author={Rubin, Mark}, title={{When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress}}, journal={Review of General Psychology}, year={2017}, volume={21}, number={4}, pages={308--320}, doi={10.1037/gpr0000128}}@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}