Prace dyplomowe · Dyskusja wyników

Jak napisać dyskusję wyników w pracy magisterskiej – wzory zdań i ograniczenia

Co napisać w każdej części dyskusji – od streszczenia wyników, przez interpretację na tle literatury, wyniki nieistotne i konkretne ograniczenia, po granice uogólniania i wnioski. Z gotowymi zdaniami do skopiowania, tabelą „źle i dobrze” i listą kontrolną.

Strona główna / Blog / Dyskusja wyników

Autor: · Opublikowano:

W skrócie: Dyskusja wyjaśnia, co znaczą Twoje wyniki – nie powtarza ich. Zacznij od odpowiedzi na pytanie badawcze i informacji, które hipotezy się potwierdziły, potem porównaj wyniki z badaniami z części teoretycznej, rozważ alternatywne wyjaśnienia, opisz konkretne ograniczenia z ich konsekwencjami, granice uogólniania, implikacje, dalsze badania i krótkie wnioski. Wyniki nieistotne opisuj tak samo uczciwie jak istotne, a w badaniu korelacyjnym nie używaj języka przyczynowego.

Po co jest dyskusja i czym różni się od wyników

Rozdział z wynikami mówi, co wyszło. Dyskusja odpowiada na pytanie, co to znaczy: czy hipotezy się potwierdziły, jak wyniki mają się do wcześniejszych badań, na ile można im ufać i czego dowodzą, a czego nie. Hess (2004) ujmuje to krótko: zadaniem dyskusji jest wyjaśnić czytelnikowi znaczenie wyników, a w jej centrum powinny pozostać dane z badania. Nie jest to więc miejsce na ogólne rozważania o temacie pracy.

W pracach dyplomowych dyskusja bywa najsłabszym rozdziałem: powtarza liczby z wyników, dokłada drugi przegląd literatury i kończy się ogólnikami w rodzaju „mała próba”. Docherty i Smith (1999) opisali te same problemy w artykułach naukowych: zamiast spokojnej oceny dowodów autorzy „sprzedają” swoje badanie – eksponują mocne strony bardziej niż słabe, wybiórczo powtarzają wyniki i przeceniają ich znaczenie oraz uogólnialność. Dlatego zaproponowali stały porządek dyskusji, na którym opiera się ten poradnik.

Dla każdej części podajemy gotowe zdania do skopiowania (przyciski „Kopiuj opis”). Przykładem jest to samo badanie, które opisujemy we wpisach rozdział metodologiczny pracy magisterskiej i jak opisać wyniki w stylu APA: 180 osób studiujących losowo przydzielono do grupy kontrolnej, czterotygodniowego treningu relaksacji albo treningu uważności, a przed treningiem i po nim mierzono stres. Wszystkie trzy wpisy możesz czytać jako kolejne rozdziały jednej pracy (dane symulowane, analizy w R).

Wyniki przykładowego badania i to, co trzeba o nich napisać w dyskusji
Hipoteza lub analizaWynik (rozdział z wynikami)Zadanie dla dyskusji
H1: po treningu uważności stres będzie niższy niż w grupie kontrolnejPotwierdzona: różnica 0.72 punktu na skali 1–5, d = 0.79Porównać z literaturą, rozważyć alternatywne wyjaśnienia (np. oczekiwania uczestników)
H2: po treningu uważności stres będzie niższy niż po treningu relaksacjiPotwierdzona: różnica 0.39 punktu, d = 0.47, p = .039Podkreślić, że to porównanie z aktywną grupą kontrolną, a efekt jest mniejszy
H3: samoskuteczność pośredniczy w związku wsparcia społecznego ze stresemIstotny efekt pośredni w danych z pierwszego pomiaruOpisać jako układ związków zgodny z modelem, a nie jako dowiedziony mechanizm
Relaksacja a grupa kontrolna (porównanie dodatkowe)Różnica nieistotna, p = .109Nie pisać „relaksacja nie działa”; omówić przedział ufności i czułość badania
Interakcja warunku i płci (analiza nieplanowana)Istotna, p = .028Przedstawić jako wynik eksploracyjny, który wymaga replikacji

Struktura dyskusji – osiem elementów

Docherty i Smith (1999) proponują, by dyskusja zaczynała się od przypomnienia głównego wyniku, a potem omawiała mocne i słabe strony badania – z równą uwagą dla obu – także na tle innych badań, zwłaszcza tam, gdzie wyniki się różnią. Dalej przychodzi znaczenie badania (możliwe mechanizmy i implikacje), a na końcu pytania bez odpowiedzi i kierunki dalszych badań. W pracy dyplomowej wygodnie jest rozpisać ten schemat na osiem elementów, dodając deklarację granic uogólniania, o którą apelują Simons i in. (2017). Ich kolejność pokazuje rysunek 1.

Schemat ośmiu elementów dyskusji: najważniejsze wyniki, interpretacja na tle literatury, alternatywne wyjaśnienia, ograniczenia, uogólnialność, implikacje praktyczne, kierunki dalszych badań i wnioski, pogrupowane w pytania: co wyszło, co to znaczy, gdzie są granice, co z tego wynika i jaka jest odpowiedź
Rysunek 1. Struktura dyskusji wyników. Szerokość pól pokazuje, jak zmienia się zakres rozważań: od własnych wyników, przez literaturę i granice wniosków, po implikacje i krótką odpowiedź na pytanie badawcze. Rysunek przygotowano w R (ggplot2).

Kolejność możesz dostosować do wymagań uczelni (niektóre każą wydzielić „Ograniczenia” albo „Wnioski”), byle żaden element nie zniknął. Jeśli masz kilka hipotez, elementy 1–3 omów dla każdej hipotezy po kolei (w tej samej kolejności co w rozdziale z wynikami), a elementy 4–8 napisz raz, dla całego badania.

1. Streszczenie najważniejszych wyników

Pierwszy akapit dyskusji powinien dać odpowiedź komuś, kto przeczyta tylko jego. Zacznij od głównego wyniku – według Docherty’ego i Smitha (1999) najlepiej w jednym zdaniu – i powiedz wprost, które hipotezy się potwierdziły, a które nie. Nie przepisuj statystyk: wystarczy kierunek i wielkość efektu (słowami lub jedną liczbą) z odesłaniem do podrozdziału z wynikami.

Oddziel też wyniki potwierdzające od eksploracyjnych. Standardy JARS-Quant dzielą hipotezy, analizy i wnioski na pierwszorzędowe, drugorzędowe i eksploracyjne (Appelbaum i in., 2018), a Gernsbacher (2018) zaleca, by analizy konfirmacyjne wyraźnie odróżniać od eksploracyjnych. W dyskusji oznacza to, że wynik analizy, której nie planowałeś, nie staje się „potwierdzeniem” – jest wskazówką do sprawdzenia w kolejnym badaniu.

Celem badania było sprawdzenie, czy czterotygodniowy trening uważności obniża stres akademicki u osób studiujących. Wyniki potwierdziły obie hipotezy dotyczące treningu: po czterech tygodniach osoby trenujące uważność deklarowały niższy stres niż osoby z grupy kontrolnej (H1) i niż osoby trenujące relaksację (H2), choć przewaga nad relaksacją była mniejsza (zob. podrozdział 4.2). Potwierdziła się również hipoteza H3: wyższe wsparcie społeczne wiązało się z niższym stresem, a część tego związku przebiegała statystycznie przez samoskuteczność. Analiza eksploracyjna wskazała ponadto, że przewaga treningu uważności mogła dotyczyć głównie kobiet; ten wynik wymaga potwierdzenia w kolejnych badaniach.
Celem badania było sprawdzenie, czy [zmienna niezależna lub predyktor] wiąże się z [zmienna zależna] w grupie [populacja]. Wyniki potwierdziły hipotezę H1: [jedno zdanie o kierunku i wielkości efektu, bez pełnych statystyk]. Hipoteza H2 nie znalazła potwierdzenia: [jedno zdanie o tym, co wyszło]. W analizach eksploracyjnych zaobserwowano ponadto [wynik], który należy traktować jako wstępny i wymagający replikacji.

2. Interpretacja na tle hipotez i literatury

Teraz omów każdą hipotezę osobno: co przewidywałeś, co wyszło i jak ten wynik ma się do teorii oraz badań, z których wyprowadziłeś hipotezę – czyli przede wszystkim do prac opisanych w części teoretycznej. Jak zbudować tę część pracy, piszemy w poradniku jak napisać przegląd literatury, a o związku hipotez z teorią – w tekście jaka jest relacja między hipotezą a teorią.

Przy wynikach zgodnych z literaturą nie poprzestawaj na zdaniu „wynik jest zgodny z badaniami X”. Napisz, w czym jest zgodny (kierunek, wielkość efektu, populacja) i co Twoje badanie dodaje, np. inny schemat albo aktywną grupę kontrolną. Przy wynikach rozbieżnych Docherty i Smith (1999) radzą zachować powściągliwość: rozważ możliwe przyczyny różnic (próba, narzędzia, schemat, czas pomiaru), ale jeśli ich nie znasz, nie udawaj, że znasz, i nie zakładaj, że to Twój wynik jest prawdziwy, a cudzy – błędny.

Mechanizm, który mógł stać za wynikiem, opisuj w trybie przypuszczającym i tylko wtedy, gdy wynika z teorii. Jeśli go nie mierzyłeś, zaznacz to wprost.

Uzyskany wynik jest zgodny z [teoria lub model] oraz z wynikami [autorzy, rok], którzy w grupie [opis próby] również zaobserwowali niższy poziom stresu po treningu uważności. Wielkość efektu w niniejszym badaniu (d = 0.79 względem grupy kontrolnej) była [podobna do / większa niż / mniejsza niż] w tamtych badaniach ([wartość]). Nowym elementem jest porównanie z aktywną grupą kontrolną: przewaga nad treningiem relaksacji była wyraźnie mniejsza (d = 0.47), co sugeruje, że część efektu może wynikać z samego udziału w regularnych zajęciach.
Wynik ten różni się od rezultatów [autorzy, rok], którzy nie stwierdzili [opis]. Rozbieżność może wynikać z różnic w [próbie, np. osoby pracujące a osoby studiujące / czasie trwania treningu / narzędziu pomiaru / schemacie badania]. Na podstawie dostępnych danych nie można jednak rozstrzygnąć, które z tych wyjaśnień jest trafne; wymagałoby to badania, w którym [czynnik] byłby systematycznie zmieniany.
Jednym z możliwych wyjaśnień jest [mechanizm] opisany w [teoria, autorzy, rok]: [jedno zdanie o mechanizmie]. W niniejszym badaniu nie mierzono jednak [zmienna pośrednicząca], dlatego jest to hipoteza do sprawdzenia w kolejnych badaniach, a nie wniosek z uzyskanych danych.

3. Alternatywne wyjaśnienia

Zanim uznasz, że wynik potwierdza Twoją hipotezę, zapytaj, co jeszcze mogło go wytworzyć. Ta część pokazuje, że rozumiesz trafność wewnętrzną swojego badania. Typowe konkurencyjne wyjaśnienia zebraliśmy w tabeli.

Typowe alternatywne wyjaśnienia wyników i sposób pisania o nich
Alternatywne wyjaśnienieKiedy jest szczególnie prawdopodobneJak o nim napisać
Zmienna zakłócającaSchemat korelacyjny lub quasi-eksperymentalny, grupy różniące się na starcieWymień konkretną zmienną i napisz, czy ją kontrolowano
Odwrotny kierunek zależnościWszystkie zmienne zmierzone w jednym momencie (schemat przekrojowy)„Równie dobrze [Y] może wpływać na [X]”
Oczekiwania uczestników i badaczaBrak zaślepienia, zmienne mierzone samoopisemOpisz, kto wiedział o przydziale do warunków i jak to mogło przesunąć wyniki
Aprobata społecznaPytania drażliwe, kwestionariusze samoopisoweWskaż, w którą stronę mogła przesunąć odpowiedzi
Selekcja i utrata osób badanychDobór wygodny, rezygnacje między pomiaramiNapisz, kto zrezygnował i czy różnił się od pozostałych
Przypadek (błąd I rodzaju)Wiele testów, wynik bliski progu istotności, mała próbaNapisz, ile testów wykonano i czy zastosowano korektę

W przykładowym badaniu najpoważniejszym konkurencyjnym wyjaśnieniem są oczekiwania uczestników. Aktywna grupa kontrolna (relaksacja) zmniejsza ten problem, ale go nie usuwa:

Uczestnicy wiedzieli, do jakiego warunku zostali przydzieleni, a stres mierzono kwestionariuszem samoopisowym, dlatego część efektu mogła wynikać z oczekiwań osób uczestniczących w treningu. Za tym, że nie jest to jedyne wyjaśnienie, przemawia przewaga treningu uważności nad aktywną grupą kontrolną (trening relaksacji), w której oczekiwania poprawy były prawdopodobnie podobne. Rozstrzygnięcie wymagałoby jednak pomiaru oczekiwań uczestników albo wskaźnika stresu niezależnego od samoopisu.
Ponieważ wsparcie społeczne i stres zmierzono w tym samym momencie, uzyskany związek nie przesądza o kierunku zależności. Możliwe jest zarówno to, że wsparcie chroni przed stresem, jak i to, że osoby przeżywające silny stres rzadziej szukają wsparcia lub oceniają je gorzej. Wyjaśnieniem może być też zmienna, której nie mierzono, np. [neurotyczność / sytuacja materialna], wiążąca się z obiema zmiennymi.

Wyniki nieistotne i nieoczekiwane – jak pisać uczciwie

Wynik nieistotny to nie dowód braku efektu

Wynik nieistotny opisz równie starannie jak istotny. Greenland i in. (2016) przypominają, że wartość p większa od .05 nie pozwala stwierdzić, że efektu nie ma – często pokazuje tylko, że dane nie są w stanie rozróżnić wielu konkurencyjnych hipotez, co widać od razu po szerokości przedziału ufności. Dlatego w dyskusji:

  • nie pisz „prawie istotny” ani „tendencja do istotności” – zasady opisu takich wyników i listę sformułowań, których trzeba unikać, znajdziesz w częściach „Jak opisać wynik nieistotny” i „Czego nie pisać” poradnika o wynikach w stylu APA;
  • omów przedział ufności – jakie wartości efektu są zgodne z danymi;
  • napisz, jaki efekt badanie mogło wykryć, czyli dla jakiej wielkości efektu test miał np. 80% mocy. Nie licz „mocy post hoc” z uzyskanego efektu – według Greenlanda i in. (2016) to tylko przekształcenie wartości p;
  • jeśli chcesz stwierdzić brak efektu, potrzebujesz innego testu – testu równoważności z ustaloną z góry najmniejszą interesującą wielkością efektu (Lakens i in., 2018) albo czynnika Bayesa.

W przykładowym badaniu trening relaksacji nie różnił się istotnie od grupy kontrolnej: różnica średnich wyniosła −0.32 punktu, 95% CI [−0.70, 0.05], p = .109 (test Tukeya), co odpowiada d = 0.37. Tymczasem przy 60 osobach w grupie porównanie dwóch grup ma 80% mocy dopiero dla efektu d = 0.52 (α = .05, test dwustronny). Wynik jest więc nierozstrzygnięty: przedział obejmuje zarówno brak różnicy, jak i różnicę podobną do tej, która dzieliła trening uważności od relaksacji.

Nie potwierdzono różnicy w poziomie stresu między treningiem relaksacji a grupą kontrolną. Wyniku tego nie należy jednak interpretować jako dowodu, że trening relaksacji jest nieskuteczny. Przedział ufności dla różnicy średnich (od −0.70 do 0.05 punktu) obejmuje zarówno brak różnicy, jak i różnicę zbliżoną do przewagi treningu uważności nad relaksacją, a przy 60 osobach w grupie badanie miało 80% mocy dopiero dla efektu d = 0.52, większego niż uzyskany (d = 0.37). Rozstrzygnięcie, czy trening relaksacji obniża stres w tej grupie, wymaga badania na większej próbie.
Nie stwierdzono istotnego [związku / różnicy] między [X] a [Y]. Wynik ten nie oznacza, że [związku / różnicy] nie ma: 95% przedział ufności [od … do …] obejmuje zarówno brak efektu, jak i efekty [małe / umiarkowane], a przy liczebności [n] badanie miało 80% mocy dopiero dla efektu [wielkość]. Możliwe wyjaśnienia to [zbyt mała próba / niska rzetelność pomiaru / efekt mniejszy, niż zakładano]. Brak efektu o praktycznym znaczeniu można by wykazać testem równoważności.

Wynik nieoczekiwany albo przeciwny do hipotezy

Nieoczekiwany wynik kusi, by po fakcie dopisać do niego teorię. Kerr (1998) nazywa przedstawianie hipotezy sformułowanej po poznaniu wyników tak, jakby powstała przed badaniem, HARKingiem, a Rubin (2017) opisuje jeszcze dwie jego odmiany: dobieranie hipotez z literatury po fakcie i pomijanie hipotez, które się nie potwierdziły. W dyskusji zrób odwrotnie: zostaw hipotezy w brzmieniu z rozdziału metodologicznego, napisz wprost, że wynik był nieoczekiwany, i przenieś ostrożne wyjaśnienia do kierunków dalszych badań. Wynik przeciwny do hipotezy opisz tak samo: napisz, że hipoteza się nie potwierdziła, podaj możliwe przyczyny (np. specyfikę próby, sposób pomiaru, efekt sufitu) i nie przeformułowuj jej po fakcie.

W przykładowym badaniu analiza, której nie planowano, wykazała istotną interakcję warunku i płci, F(2, 174) = 3.66, p = .028, η²p = .04: warunek różnicował poziom stresu u kobiet, ale nie u mężczyzn. W grupie uważności było jednak tylko 21 mężczyzn, a analizę wykonano bez wcześniejszej hipotezy, więc to hipoteza do sprawdzenia, a nie odkrycie.

Nieoczekiwanym wynikiem analiz eksploracyjnych była interakcja warunku i płci: trening uważności wiązał się z niższym stresem u kobiet, natomiast u mężczyzn różnice między warunkami były nieistotne. Ponieważ nie formułowano wcześniej hipotezy dotyczącej płci, a w grupie treningu uważności było tylko 21 mężczyzn, wyniku tego nie należy traktować jako potwierdzonego. Może on wynikać z [możliwe wyjaśnienie, np. różnic w regularności wykonywania ćwiczeń], ale równie dobrze może być przypadkowy. Warto sprawdzić go w badaniu zaplanowanym z myślą o porównaniu kobiet i mężczyzn, z liczebnością ustaloną analizą mocy.

Język przyczynowy: co wolno napisać przy danym schemacie

Częsty błąd w dyskusji to zdanie, które obiecuje więcej, niż pozwala schemat badania. Czasowniki „wpływa”, „powoduje”, „prowadzi do” są uprawnione wtedy, gdy manipulowałeś zmienną i losowo przydzielałeś osoby do warunków – i nawet wtedy tylko w granicach trafności wewnętrznej i w badanej populacji.

Schemat badania a dopuszczalne sformułowania przyczynowe
Schemat badaniaCo możesz stwierdzićPrzykładowe sformułowaniaUnikaj
Eksperyment z losowym przydziałemManipulacja wywołała różnicę – w tej próbie i tych warunkach„trening obniżył deklarowany stres”, „po treningu stres był niższy niż w grupie kontrolnej”Uogólnień na wszystkie grupy i formy treningu
Quasi-eksperymentGrupy różniły się po interwencji, ale ich równoważność na starcie jest niepewna„w grupie… stwierdzono niższy…”, „wynik jest zgodny z hipotezą o wpływie…”„udowodniono wpływ”
Korelacyjny (jeden pomiar)Zmienne współwystępują„wiązał się z”, „osoby z wyższym X miały niższy Y”„wpływa”, „powoduje”, „determinuje”, „skutkuje”
PodłużnyX poprzedzał zmianę Y„przewidywał późniejszy”, „poprzedzał”„powodował” bez kontroli zmiennych zakłócających
Mediacja na danych z jednego pomiaruUkład związków jest zgodny z modelem pośredniczenia„istotny efekt pośredni przez…”, „wyniki są zgodne z modelem, w którym…”„mechanizmem jest…”, „X wpływa na Y poprzez M”

Mediacja zasługuje na osobne ostrzeżenie. Rohrer i in. (2022) pokazują, że standardowe analizy mediacji i moderacji w modelach ścieżkowych prowadzą do trafnych wniosków przyczynowych tylko w ograniczonych warunkach, a odwracanie strzałek czy porównywanie dopasowania modeli nie rozstrzyga, który model jest właściwy. W przykładowym badaniu efekt pośredni samoskuteczności (ab = −0.151, 95% CI [−0.218, −0.093]) policzono na danych z jednego pomiaru, więc trzeba go opisać ostrożnie (zob. też analiza mediacji krok po kroku).

Zgodnie z hipotezą H3 wyższe wsparcie społeczne wiązało się z niższym stresem, a istotny efekt pośredni wskazuje, że część tego związku przebiegała statystycznie przez samoskuteczność. Ponieważ wszystkie trzy zmienne zmierzono jednocześnie, wynik jest zgodny z modelem, w którym wsparcie wzmacnia samoskuteczność, ale go nie dowodzi: dane pasują też do innych układów zależności, np. wpływu stresu na ocenę własnych możliwości i otrzymywanego wsparcia. Sprawdzenie mechanizmu wymagałoby pomiaru zmiennych w kilku punktach czasowych albo manipulacji samoskutecznością.

4. Ograniczenia: konkretne, a nie z listy

Ograniczenia to część, którą recenzent czyta najuważniej. Docherty i Smith (1999) zauważają, że jeśli czytelnik sam znajdzie słabość, której autorzy nie omówili, jego zaufanie do pracy może się zachwiać. Puhan i in. (2012) dodają, że zbyt mało artykułów otwarcie omawia, jak ograniczenia mogły wpłynąć na wyniki, a ograniczenia pominięte przez autorów recenzenci mogą uznać za przeoczone. Z kolei Ross i Bibler Zaidi (2019) krytykują ogólnikowe opisy ograniczeń i wymienianie ograniczeń zbędnych lub nieistotnych, a w zamian proponują, by każde ograniczenie:

  1. nazwać i opisać – czego dokładnie dotyczy;
  2. wyjaśnić jego konsekwencje – jak mogło wpłynąć na wyniki i w którą stronę;
  3. wskazać alternatywne podejście – jak można by tego uniknąć;
  4. opisać, co zrobiono, by je złagodzić – np. kontrola zmiennej, aktywna grupa kontrolna, analiza wrażliwości.

Dzięki temu czytelnik ani nie przeceni, ani nie zbagatelizuje wyników. Wybierz ograniczenia, które realnie zmieniają interpretację, i uporządkuj je od najważniejszego. Tabela pokazuje, jak zamienić ogólnik w konkret.

Ograniczenia badania: wersja ogólnikowa, konkretna i jej konsekwencje
OgólnikWersja konkretnaCo z niej wynika
„Próba nie była reprezentatywna.”Osoby studiujące jednej uczelni, rekrutowane przez media społecznościowe (dobór wygodny); zgłaszały się osoby zainteresowane treningiemEfekt dotyczy raczej osób zmotywowanych do udziału; w całej populacji osób studiujących może być mniejszy
„Próba była za mała.”Badanie miało 80% mocy dla efektu f = 0.25 w ANOVA, ale porównania par grup – dopiero dla d = 0.52Brak różnicy między relaksacją a kontrolą jest nierozstrzygnięty; oszacowania efektów mogą być zawyżone
„Badanie opierało się na samoopisie.”Stres mierzono kwestionariuszem samoopisowym, a uczestnicy znali swój warunekCzęść różnicy może wynikać z oczekiwań; potrzebny wskaźnik niezależny od samoopisu
„Narzędzia mogły być nietrafne.”Jakość snu mierzono jednym pytaniem (1–5), którego rzetelności nie da się oszacowaćWynik dotyczący snu jest mniej pewny niż wynik dotyczący stresu (α = .85, ω = .86)
„Badanie było krótkie.”Stres mierzono tylko bezpośrednio po czterech tygodniach treninguNie wiadomo, czy efekt utrzymuje się po zakończeniu zajęć
„Wykonano dużo analiz.”Oprócz trzech hipotez wykonano [liczba] analiz eksploracyjnych bez korekty na wielokrotne porównaniaCzęść istotnych wyników eksploracyjnych może być fałszywie dodatnia

Button i in. (2013) pokazują, że niska moc zmniejsza nie tylko szansę wykrycia prawdziwego efektu, ale też prawdopodobieństwo, że wynik istotny odzwierciedla prawdziwy efekt, i prowadzi do zawyżonych oszacowań wielkości efektu. Jak uzasadnić liczebność już na etapie planowania, piszemy w tekście dobór liczebności próby.

Pierwszym ograniczeniem jest sposób doboru próby. W badaniu wzięły udział osoby studiujące [nazwa uczelni], rekrutowane przez ogłoszenia w mediach społecznościowych (dobór wygodny), a udział w treningu był dobrowolny. Mogły się więc zgłosić osoby bardziej zainteresowane radzeniem sobie ze stresem niż przeciętna osoba studiująca, co mogło zawyżyć efekty treningu. Wyniki można odnosić przede wszystkim do osób studiujących, które same zgłaszają się na tego typu zajęcia; w innych grupach efekt może być mniejszy.
Drugim ograniczeniem jest wielkość próby. Liczebność ustalono tak, by wykryć efekt f = 0.25 w analizie wariancji z mocą 80%, jednak porównania par grup były mniej czułe: przy 60 osobach w grupie test dla dwóch grup miał 80% mocy dopiero dla efektu d = 0.52. Brak istotnej różnicy między treningiem relaksacji a grupą kontrolną należy więc traktować jako wynik nierozstrzygnięty, a nie jako dowód braku efektu. Ponadto w badaniach o niskiej mocy istotne wyniki często zawyżają wielkość efektu, więc oszacowanie przewagi treningu uważności może być optymistyczne.
Trzecie ograniczenie dotyczy pomiaru. Stres mierzono wyłącznie kwestionariuszem samoopisowym, a uczestnicy wiedzieli, w jakim treningu biorą udział. Część różnicy między grupami mogła więc wynikać z oczekiwań uczestników albo z chęci zaprezentowania się w korzystnym świetle. Problem ten zmniejszono, stosując aktywną grupę kontrolną i zapewniając poufność odpowiedzi; w kolejnych badaniach warto dodać wskaźnik niezależny od samoopisu [np. ocenę osoby nieznającej przydziału do grup].
Ograniczeniem jest również pomiar jakości snu jednym pytaniem. Rzetelności takiego pomiaru nie da się oszacować, a skala odpowiedzi od 1 do 5 słabo różnicuje osoby o podobnej jakości snu. Wyniki dotyczące snu należy więc traktować jako mniej pewne niż wyniki dotyczące stresu, który mierzono skalą o dobrej spójności wewnętrznej w badanej próbie (α = .85, ω = .86).

Mocne strony – krótko i bez reklamy

Docherty i Smith (1999) zalecają równą uwagę dla mocnych i słabych stron. Mocne strony opisz rzeczowo, jednym akapitem, i tylko takie, które wzmacniają wnioski – na przykład losowy przydział do warunków, aktywną grupę kontrolną, analizę mocy przed badaniem, zapisany wcześniej plan analiz (zob. prerejestracja badań) albo narzędzia o sprawdzonej rzetelności.

Do mocnych stron badania należą losowy przydział uczestników do warunków, zastosowanie aktywnej grupy kontrolnej, ustalenie liczebności próby za pomocą analizy mocy przed rozpoczęciem badania oraz pomiar stresu skalą o dobrej rzetelności w badanej próbie (α = .85, ω = .86). Hipotezy i plan analiz zapisano przed zebraniem danych, a analizy nieplanowane oznaczono jako eksploracyjne.

5. Uogólnialność wyników i deklaracja COG

Ograniczenia mówią, na ile można ufać wynikom w Twojej próbie, a uogólnialność – do kogo i do jakich sytuacji wolno je odnieść. Simons i in. (2017) proponują, by każda praca empiryczna zawierała w dyskusji deklarację ograniczeń uogólnialności (ang. constraints on generality, COG), która określa i uzasadnia populacje osób, sytuacji i bodźców, do których mają się odnosić wyniki. Zamiast zdania, że próba „nie była reprezentatywna”, piszesz, dla kogo wyniki powinny się powtórzyć, a dla kogo brakuje danych.

Przy doborze wygodnym lub celowym wyniki można uogólniać tylko na (sub)populację, z której pochodzi próba (Andrade, 2021). Deklarację COG najłatwiej napisać, odpowiadając na cztery pytania: kogo dotyczą wyniki (cechy osób), w jakich warunkach (miejsce, czas, forma badania), na jakich materiałach (narzędzia, forma interwencji) i czego nie wiadomo.

Ograniczenia uogólnialności. Wyniki dotyczą osób studiujących stacjonarnie w wieku 19–26 lat, które dobrowolnie zgłosiły się do udziału w czterotygodniowym treningu prowadzonym w formie [spotkań grupowych na uczelni]. Można oczekiwać podobnego efektu u osób studiujących na innych uczelniach i kierunkach, jeśli trening będzie prowadzony w tej samej formie. Brak danych, które pozwalałyby uogólniać wyniki na osoby niezainteresowane treningiem, na osoby, które w ostatnim roku uczestniczyły w podobnych zajęciach (wykluczone z badania), na inne formy treningu [np. samodzielne ćwiczenia online] ani na dłuższy okres po zakończeniu zajęć. Nie ma powodów, by sądzić, że wyniki zależą od innych cech próby lub procedury niż opisane powyżej.

6. Implikacje praktyczne

Implikacje odpowiadają na pytanie „i co z tego?”. Formułuj je proporcjonalnie do siły dowodów: jedno badanie na próbie wygodnej uzasadnia ostrożną rekomendację albo pilotażowe wdrożenie, a nie zmianę programu studiów. Docherty i Smith (1999) radzą wręcz napisać, czego wyniki nie oznaczają, żeby powstrzymać czytelnika przed zbyt daleko idącymi wnioskami. Wynik istotny statystycznie nie musi też mieć znaczenia praktycznego – oceniaj go po wielkości efektu (zob. wielkość efektu – interpretacja).

Wyniki sugerują, że czterotygodniowy trening uważności może być wartościowym elementem wsparcia psychologicznego oferowanego osobom studiującym. Ponieważ jego przewaga nad relaksacją była mniejsza niż nad brakiem zajęć, dane nie uzasadniają zastępowania innych form wsparcia treningiem uważności. Przed szerszym wdrożeniem warto sprawdzić efekty programu w pilotażu obejmującym osoby z różnych kierunków i lat studiów.

7. Kierunki dalszych badań

Propozycje dalszych badań powinny wynikać z Twoich ograniczeń i nieoczekiwanych wyników, a nie być rytualnym zdaniem „warto przeprowadzić dalsze badania na większej próbie”. Docherty i Smith (1999) zauważają, że właśnie w tej części autorzy najłatwiej popadają w spekulacje, dlatego zalecają powściągliwość. Opisz konkretny projekt: kogo zbadać, jakim schematem i co by to rozstrzygnęło. Wyniki eksploracyjne przedstaw jako hipotezy do sprawdzenia w badaniu z zapisanym wcześniej planem, co sprzyja replikowalności.

Kolejne badania powinny sprawdzić trwałość efektu, mierząc stres kilka miesięcy po zakończeniu treningu, najlepiej w czasie sesji. Nieoczekiwaną interakcję z płcią warto zweryfikować w badaniu zaplanowanym z myślą o porównaniu kobiet i mężczyzn, z liczebnością ustaloną analizą mocy i z hipotezą zapisaną przed zebraniem danych. Rozstrzygnięcie, czy trening relaksacji obniża stres, wymaga większej próby albo testu równoważności. Wreszcie, aby sprawdzić rolę samoskuteczności jako mechanizmu, należałoby mierzyć wsparcie, samoskuteczność i stres w kilku punktach czasowych.

8. Wnioski – zakończenie dyskusji

Na końcu odpowiedz krótko na pytanie badawcze – w dwóch–czterech zdaniach, bez nowych informacji, liczb i cytowań. Jeśli uczelnia wymaga osobnego rozdziału „Wnioski”, stosuj tę samą zasadę: wnioski muszą wynikać z wyników i uwzględniać najważniejsze ograniczenia.

Czterotygodniowy trening uważności obniżał deklarowany poziom stresu akademickiego w porównaniu z brakiem treningu i – w mniejszym stopniu – z treningiem relaksacji. Wyniki dotyczą osób studiujących, które same zgłosiły się do udziału, i pomiaru bezpośrednio po zakończeniu zajęć. Trwałość efektu, jego zależność od płci oraz rola samoskuteczności wymagają sprawdzenia w kolejnych badaniach.

Źle i dobrze – zdania z dyskusji

Błędne zdania z dyskusji wyników i ich poprawione wersje
ŹleDlaczegoDobrze
„Trening uważności okazał się skuteczny, F(2, 177) = 10.09, p < .001, η² = .10, a porównania post hoc wykazały…”Przepisywanie statystyk z rozdziału z wynikami„Zgodnie z H1 osoby po treningu uważności deklarowały niższy stres niż osoby z grupy kontrolnej (zob. podrozdział 4.2).”
„Udowodniono, że wsparcie społeczne obniża stres.”Schemat korelacyjny; jedno badanie niczego nie dowodzi„Wyższe wsparcie społeczne wiązało się z niższym stresem.”
„Różnica między relaksacją a kontrolą wykazała tendencję do istotności.”Wynik nieistotny nie „zmierza” do istotności„Różnica nie była istotna; przedział ufności obejmuje zarówno brak różnicy, jak i efekt umiarkowany.”
„Ograniczeniem badania była mała próba i ankietowy charakter.”Ogólnik bez konsekwencji„Przy 60 osobach w grupie porównania par miały 80% mocy dopiero dla d = 0.52, dlatego…”
„Dodatkowa analiza (niepokazana w wynikach) wykazała, że efekt dotyczył tylko kobiet.”Nowy wynik w dyskusjiAnalizę dodaj do wyników jako eksploracyjną, a w dyskusji tylko ją omów
„Badanie przyniosło przełomowe wnioski dla polityki uczelni.”Przecenianie znaczenia„Wyniki uzasadniają pilotażowe wdrożenie programu i jego dalszą ocenę.”
„Zgodnie z teorią X [autor, rok]…” – teoria pojawia się w pracy pierwszy razInterpretacja oparta na literaturze, której nie było w części teoretycznejKluczowe teorie i badania przedstaw w części teoretycznej, a w dyskusji porównuj z nimi wyniki
„Samoskuteczność jest mechanizmem, przez który wsparcie obniża stres.”Mediacja na danych z jednego pomiaru nie dowodzi mechanizmu„Wyniki są zgodne z modelem pośredniczenia samoskuteczności, ale go nie dowodzą.”

Najczęstsze błędy w dyskusji

  • Powtarzanie wyników zamiast interpretacji. Dyskusja, która przepisuje statystyki, jest dłuższa i mniej czytelna. Docherty i Smith (1999) uważają, że stała struktura pomaga ograniczyć zarówno długość dyskusji, jak i wybiórcze powtarzanie wyników.
  • Nowe wyniki w dyskusji. Każda liczba, na której opierasz wniosek, musi się znaleźć w rozdziale z wynikami. Dodatkową analizę dopisz tam jako eksploracyjną.
  • Nadmierne uogólnianie – wnioski o „wszystkich studentach” albo „wszystkich ludziach” na podstawie próby wygodnej. Granice uogólniania opisz w deklaracji COG.
  • Literatura, której nie było w części teoretycznej. Dyskusja ma wracać do teorii i badań, z których wyprowadziłeś hipotezy. Nowe źródło możesz przywołać, gdy pomaga wyjaśnić nieoczekiwany wynik, ale zaznacz, że to wyjaśnienie po fakcie.
  • Język przyczynowy w badaniu korelacyjnym – „wpływa”, „powoduje”, „determinuje” tam, gdzie zmienne tylko współwystępują (zob. też korelacja pozorna).
  • Pomijanie hipotez, które się nie potwierdziły, albo przeformułowywanie ich po fakcie – to formy HARKingu opisane przez Rubina (2017).
  • Ograniczenia bez konsekwencji – lista ogólników albo przeciwnie: przepraszający ton, który przekreśla całe badanie.
  • Spekulacje bez oparcia w danych i brak odpowiedzi na pytanie badawcze na końcu dyskusji.

Lista kontrolna przed oddaniem dyskusji

  • Pierwszy akapit odpowiada na pytanie badawcze i mówi, które hipotezy się potwierdziły.
  • Każda hipoteza – także niepotwierdzona – jest omówiona w tej samej kolejności co w wynikach.
  • W dyskusji nie ma nowych wyników ani statystyk przepisanych z rozdziału z wynikami.
  • Wyniki porównano z badaniami z części teoretycznej; rozbieżności omówiono bez udawania pewności.
  • Rozważono co najmniej jedno alternatywne wyjaśnienie głównego wyniku.
  • Wyniki nieistotne opisano z przedziałem ufności i informacją o czułości badania, a eksploracyjne – jako eksploracyjne.
  • Język przyczynowy odpowiada schematowi badania.
  • Każde ograniczenie ma opis, konsekwencję dla wyników i informację, co zrobiono, by je zmniejszyć.
  • Jest deklaracja granic uogólniania, a implikacje są proporcjonalne do siły dowodów.
  • Kierunki dalszych badań są konkretne, a zakończenie zawiera krótkie wnioski bez nowych informacji.

Jeśli przy pisaniu dyskusji korzystasz z narzędzi sztucznej inteligencji, ujawnij to zgodnie z zasadami swojej uczelni – wzory znajdziesz we wpisie jak opisać użycie AI w pracy dyplomowej. Plan badania i opis wyników tego samego przykładu rozpisują poradniki o rozdziale metodologicznym i o wynikach w stylu APA.

Najczęstsze pytania

Co powinna zawierać dyskusja wyników w pracy magisterskiej?

Streszczenie najważniejszych wyników w odniesieniu do hipotez, ich interpretację na tle teorii i wcześniejszych badań, alternatywne wyjaśnienia, konkretne ograniczenia z ich konsekwencjami, granice uogólniania, implikacje praktyczne, kierunki dalszych badań i krótkie wnioski. Nie przepisuje się w niej statystyk z rozdziału z wynikami.

Czym różni się dyskusja od rozdziału z wynikami?

Wyniki podają, co wyszło: statystyki opisowe, wyniki testów i wielkości efektu. Dyskusja wyjaśnia, co to znaczy: czy hipotezy się potwierdziły, jak wyniki mają się do literatury, na ile można im ufać i jakie płyną z nich wnioski. W dyskusji nie wprowadza się nowych wyników.

Jak napisać ograniczenia badania w pracy magisterskiej?

Wybierz ograniczenia, które realnie wpływają na interpretację, i każde opisz w czterech krokach: na czym polega, jak mogło wpłynąć na wyniki (w którą stronę), jak można by go uniknąć i co zrobiono, by je złagodzić. Zamiast „próba była mała” napisz na przykład, dla jakiej wielkości efektu badanie miało 80% mocy i co z tego wynika.

Jak opisać w dyskusji wynik nieistotny statystycznie?

Nie pisz, że efektu nie ma, ani że wynik „zmierzał do istotności”. Omów przedział ufności – jakie wartości efektu są zgodne z danymi – i napisz, jaki efekt badanie mogło wykryć. Brak efektu o praktycznym znaczeniu można wykazać tylko testem równoważności albo czynnikiem Bayesa.

Czy w dyskusji można cytować źródła, których nie było we wstępie?

Główne porównania powinny dotyczyć teorii i badań przedstawionych w części teoretycznej, bo z nich wynikały hipotezy. Nowe źródło możesz przywołać, gdy pomaga wyjaśnić nieoczekiwany wynik, ale zaznacz, że to wyjaśnienie po fakcie, i nie przedstawiaj wyniku tak, jakby był przewidywany.

Jak zakończyć dyskusję w pracy magisterskiej?

Krótkimi wnioskami: dwa–cztery zdania, które odpowiadają na pytanie badawcze i uwzględniają najważniejsze ograniczenia. Na końcu nie wprowadzaj nowych informacji, liczb ani cytowań. Jeśli uczelnia wymaga osobnego rozdziału „Wnioski”, stosuj w nim tę samą zasadę.

Powiązane hasła

Hipoteza badawczaWartość p (p-value)Przedział ufnościWielkość efektu (zob. siła efektu)Moc testuHARKingSchemat korelacyjnyReprezentatywność próbyTrafność wewnętrzna badaniaZmienna zakłócająca

Przeczytaj też

Poradnik

Jak opisać wyniki w stylu APA – gotowe zdania

18 gotowych zdań APA – od testu t po mediację i moderację – z liczbami z jednego badania i kodem R, który pozwala sprawdzić każdą wartość.

Czytaj →Poradnik

Rozdział metodologiczny – jak go napisać

Co napisać w każdym podrozdziale metody: hipotezy, zmienne, próba, narzędzia, procedura, etyka i plan analiz – z wzorami zdań i listą JARS.

Czytaj →Poradnik

Jak napisać przegląd literatury – z AI i bez

Rodzaje przeglądów, zapytania z operatorami Boole’a, selekcja, tabela ekstrakcji i macierz pojęć – oraz to, w czym AI pomaga, a w czym szkodzi.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Andrade, C. (2021). The inconvenient truth about convenience and purposive samples. Indian Journal of Psychological Medicine, 43(1), 86–88. https://doi.org/10.1177/0253717620977000 ● Otwarty dostęp
  2. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. https://doi.org/10.1037/amp0000191 ● Otwarty dostęp
  3. Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475 ● Otwarty dostęp
  4. Docherty, M., & Smith, R. (1999). The case for structuring the discussion of scientific papers. BMJ, 318(7193), 1224–1225. https://doi.org/10.1136/bmj.318.7193.1224 ● Otwarty dostęp: pełny tekst
  5. Gernsbacher, M. A. (2018). Writing empirical articles: Transparency, reproducibility, clarity, and memorability. Advances in Methods and Practices in Psychological Science, 1(3), 403–414. https://doi.org/10.1177/2515245918754485 ● Otwarty dostęp
  6. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3 ● Otwarty dostęp
  7. Hess, D. R. (2004). How to write an effective discussion. Respiratory Care, 49(10), 1238–1241. https://doi.org/10.4187/respcare.04491238
  8. Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
  9. Lakens, D., Scheel, A. M., & Isager, P. M. (2018). Equivalence testing for psychological research: A tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. https://doi.org/10.1177/2515245918770963 ● Otwarty dostęp
  10. Puhan, M. A., Akl, E. A., Bryant, D., Xie, F., Apolone, G., & ter Riet, G. (2012). Discussing study limitations in reports of biomedical studies – the need for more transparency. Health and Quality of Life Outcomes, 10(1), Article 23. https://doi.org/10.1186/1477-7525-10-23 ● Otwarty dostęp
  11. Rohrer, J. M., Hünermund, P., Arslan, R. C., & Elson, M. (2022). That’s a lot to process! Pitfalls of popular path models. Advances in Methods and Practices in Psychological Science, 5(2), Article 25152459221095827. https://doi.org/10.1177/25152459221095827 ● Otwarty dostęp
  12. Ross, P. T., & Bibler Zaidi, N. L. (2019). Limited by our limitations. Perspectives on Medical Education, 8(4), 261–264. https://doi.org/10.1007/s40037-019-00530-x ● Otwarty dostęp
  13. Rubin, M. (2017). When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress. Review of General Psychology, 21(4), 308–320. https://doi.org/10.1037/gpr0000128 ● Otwarty dostęp
  14. Simons, D. J., Shoda, Y., & Lindsay, D. S. (2017). Constraints on generality (COG): A proposed addition to all empirical papers. Perspectives on Psychological Science, 12(6), 1123–1128. https://doi.org/10.1177/1745691617708630 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{andrade2021inconvenient, author={Andrade, Chittaranjan}, title={{The inconvenient truth about convenience and purposive samples}}, journal={Indian Journal of Psychological Medicine}, year={2021}, volume={43}, number={1}, pages={86--88}, doi={10.1177/0253717620977000}}
@article{appelbaum2018journal, author={Appelbaum, Mark and Cooper, Harris and Kline, Rex B. and Mayo-Wilson, Evan and Nezu, Arthur M. and Rao, Stephen M.}, title={{Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report}}, journal={American Psychologist}, year={2018}, volume={73}, number={1}, pages={3--25}, doi={10.1037/amp0000191}}
@article{button2013power, author={Button, Katherine S. and Ioannidis, John P. A. and Mokrysz, Claire and Nosek, Brian A. and Flint, Jonathan and Robinson, Emma S. J. and Munafò, Marcus R.}, title={{Power failure: Why small sample size undermines the reliability of neuroscience}}, journal={Nature Reviews Neuroscience}, year={2013}, volume={14}, number={5}, pages={365--376}, doi={10.1038/nrn3475}}
@article{docherty1999case, author={Docherty, Michael and Smith, Richard}, title={{The case for structuring the discussion of scientific papers}}, journal={BMJ}, year={1999}, volume={318}, number={7193}, pages={1224--1225}, doi={10.1136/bmj.318.7193.1224}}
@article{gernsbacher2018writing, author={Gernsbacher, Morton Ann}, title={{Writing empirical articles: Transparency, reproducibility, clarity, and memorability}}, journal={Advances in Methods and Practices in Psychological Science}, year={2018}, volume={1}, number={3}, pages={403--414}, doi={10.1177/2515245918754485}}
@article{greenland2016statistical, author={Greenland, Sander and Senn, Stephen J. and Rothman, Kenneth J. and Carlin, John B. and Poole, Charles and Goodman, Steven N. and Altman, Douglas G.}, title={{Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations}}, journal={European Journal of Epidemiology}, year={2016}, volume={31}, number={4}, pages={337--350}, doi={10.1007/s10654-016-0149-3}}
@article{hess2004how, author={Hess, Dean R.}, title={{How to write an effective discussion}}, journal={Respiratory Care}, year={2004}, volume={49}, number={10}, pages={1238--1241}, doi={10.4187/respcare.04491238}}
@article{kerr1998harking, author={Kerr, Norbert L.}, title={{HARKing: Hypothesizing after the results are known}}, journal={Personality and Social Psychology Review}, year={1998}, volume={2}, number={3}, pages={196--217}, doi={10.1207/s15327957pspr0203_4}}
@article{lakens2018equivalence, author={Lakens, Daniël and Scheel, Anne M. and Isager, Peder M.}, title={{Equivalence testing for psychological research: A tutorial}}, journal={Advances in Methods and Practices in Psychological Science}, year={2018}, volume={1}, number={2}, pages={259--269}, doi={10.1177/2515245918770963}}
@article{puhan2012discussing, author={Puhan, Milo A. and Akl, Elie A. and Bryant, Dianne and Xie, Feng and Apolone, Giovanni and ter Riet, Gerben}, title={{Discussing study limitations in reports of biomedical studies – the need for more transparency}}, journal={Health and Quality of Life Outcomes}, year={2012}, volume={10}, number={1}, eid={23}, doi={10.1186/1477-7525-10-23}}
@article{rohrer2022process, author={Rohrer, Julia M. and Hünermund, Paul and Arslan, Ruben C. and Elson, Malte}, title={{That’s a lot to process! Pitfalls of popular path models}}, journal={Advances in Methods and Practices in Psychological Science}, year={2022}, volume={5}, number={2}, eid={25152459221095827}, doi={10.1177/25152459221095827}}
@article{ross2019limited, author={Ross, Paula T. and Bibler Zaidi, Nikki L.}, title={{Limited by our limitations}}, journal={Perspectives on Medical Education}, year={2019}, volume={8}, number={4}, pages={261--264}, doi={10.1007/s40037-019-00530-x}}
@article{rubin2017when, author={Rubin, Mark}, title={{When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress}}, journal={Review of General Psychology}, year={2017}, volume={21}, number={4}, pages={308--320}, doi={10.1037/gpr0000128}}
@article{simons2017constraints, author={Simons, Daniel J. and Shoda, Yuichi and Lindsay, D. Stephen}, title={{Constraints on generality (COG): A proposed addition to all empirical papers}}, journal={Perspectives on Psychological Science}, year={2017}, volume={12}, number={6}, pages={1123--1128}, doi={10.1177/1745691617708630}}
R