Kalkulatory · Kontrola wyników

Kalkulator spójności wyników – GRIM, p ze statystyki, odsetki i przedziały

Sprawdź, czy średnia jest możliwa, czy p zgadza się ze statystyką, czy odsetki sumują się z liczebnościami i czy przedział ufności wynika ze średniej i SD. Kalkulator uwzględnia zaokrąglenia, a obliczenia wykonuje w przeglądarce.

Strona główna / Blog / Kalkulator spójności wyników
W skrócie: Kontrola spójności sprawdza, czy podane liczby mogą być jednocześnie prawdziwe, biorąc pod uwagę zaokrąglenia. Kalkulator ma cztery karty: test GRIM dla średnich z danych całkowitych (Brown i Heathers, 2017), p przeliczone ze statystyki w stylu statcheck (Nuijten i in., 2016), sumy liczebności z odsetkami oraz przedział ufności t dla średniej. Niezgodność to sygnał do sprawdzenia, a nie dowód błędu. Najpierw zajrzyj do wydruku.

Kalkulator spójności wyników

Cztery kontrole: GRIM, p ze statystyki, sumy i przedział ufności

Wybierz kartę i wpisz liczby tak, jak są zapisane w pracy lub artykule. Liczba miejsc po przecinku ma znaczenie, bo z niej wynika dopuszczalny zakres zaokrąglenia. Przycisk „Wstaw przykład z błędem” pokazuje, jak wygląda niezgodność.

Kalkulator wymaga włączonej obsługi JavaScriptu. Wynik dla wartości domyślnych opisujemy w przykładzie poniżej.

Notatka z kontroli

Notatka pojawi się tutaj po obliczeniu.

Obliczenia wykonuje Twoja przeglądarka. Wpisane liczby nie są nigdzie wysyłane ani zapisywane.

Niezgodność to sygnał, a nie dowód błędu. Kalkulator pokazuje, że podane liczby nie mogą być jednocześnie prawdziwe przy założonych regułach. Nie mówi, która z nich jest zła ani dlaczego. Najczęściej winne są literówka, inne n po usunięciu braków albo inna metoda niż ta, którą sprawdzasz. Wyniku nie traktuj jako zarzutu wobec autorów.

Jak używać kalkulatora

Kalkulator przydaje się na ostatnim etapie pracy, gdy masz gotowe tabele i zdania wyników, a także przy czytaniu cudzych artykułów. Całą procedurę, z kolejnością kontroli i poprawkami, opisuje wpis o kontroli spójności liczb przed oddaniem pracy. Tu sprawdzisz pojedyncze liczby bez pisania kodu.

  1. GRIM. Wpisz średnią, n, liczbę pozycji skali i liczbę miejsc po przecinku. Karta odpowiada na pytanie, czy suma całkowitych odpowiedzi mogła dać tę średnią. Zasadę testu GRIM wyjaśnia hasło w słowniku. Gdy średnia pochodzi z jednego pytania albo z wyniku sumarycznego, wpisz k = 1. Gdy to średnia z kilku pozycji skali Likerta, podaj ich liczbę.
  2. p ze statystyki. Wybierz statystykę, wpisz jej wartość i stopnie swobody oraz zgłoszoną wartość p. Dla r podaj df, czyli N − 2, tak jak w zapisie r(151). Ułamkowe df z testu Welcha są dozwolone. Jeśli praca podaje „p < .001”, ustaw odpowiedni znak.
  3. Sumy i odsetki. Wpisz N i liczebności kategorii, a jeśli są w tabeli, także odsetki, w tej samej kolejności. Braki opisane w nocie wpisz w osobnym polu: mianownikiem będzie wtedy N minus braki. Dla pytań wielokrotnego wyboru ustaw odpowiedni rodzaj pytania, bo suma może przekraczać 100%.
  4. Przedział ufności. Wpisz M, SD, n, granice i poziom ufności. Sprawdzany jest przedział t dla jednej średniej, opisany w haśle przedział ufności.

Po każdym sprawdzeniu pod kartami aktualizuje się notatka z wszystkich czterech kontroli. Skopiuj ją do swojego pliku z uwagami albo do listu do promotora. Jeśli potrzebujesz samej wartości p ze statystyki, wygodniejszy będzie kalkulator wartości p. Przedział ufności liczony od zera, także dla proporcji i korelacji, znajdziesz w kalkulatorze przedziału ufności.

Reguły i wzory

Zaokrąglenie. Każda karta traktuje wpisaną liczbę jako zaokrągloną. Jeśli liczba ma m miejsc po przecinku, prawdziwa wartość może się od niej różnić najwyżej o połowę ostatniego miejsca:

h = 0.5 · 10−m

GRIM. Suma S odpowiedzi n osób na k pozycji jest liczbą całkowitą, więc średnia może być równa tylko S / (n · k). Średnia jest możliwa, gdy istnieje całkowite S spełniające warunek:

| S / (n · k) − M | ≤ h

Kalkulator sprawdza to na liczbach całkowitych, więc nie myli się przy wartościach na granicy zaokrąglenia, a takie przypadki uznaje za możliwe. Gdy n · k ≥ 10d, gdzie d to liczba miejsc po przecinku, odstęp między możliwymi średnimi jest nie większy niż ostatnie miejsce, więc każda wartość jest możliwa. Przy dwóch miejscach po przecinku granica wypada przy n · k = 100 (Brown i Heathers, 2017).

p ze statystyki. Zakres statystyki to wartość ± h. Dla t i z zakres liczony jest dla wartości bezwzględnej, a p jako dwa ogony rozkładu (albo jeden, po wyborze testu jednostronnego). Dla F i χ² jest to prawy ogon. Korelację r zamieniamy na t wzorem:

t = r · √df / √(1 − r²)

Zgłoszone p jest zgodne, gdy jego zakres zaokrąglenia nachodzi na zakres przeliczonego p. Zapis „p < .001” jest spójny, gdy cały przeliczony zakres leży poniżej .001. Jeśli poniżej leży tylko jego część, dostajesz wynik „na granicy”. Podobnie przelicza wartości p program statcheck, opisany w haśle statcheck i SPRITE (Nuijten i in., 2016). Kalkulator nie korzysta z jego kodu. Reguły są zapisane od nowa.

Sumy. Odsetek jest zgodny, gdy | 100 · n / mianownik − odsetek | ≤ h. Suma K odsetków może różnić się od 100 co najwyżej o sumę połówek ostatnich miejsc, przy jednym miejscu po przecinku o K · 0.05. Jeśli odsetek się nie zgadza, kalkulator szuka n, które by go dawało, i mianownika, przy którym ten odsetek by pasował.

Przedział ufności. Granice to M ± t · SD / √n, z t dla df = n − 1, gdzie SD / √n to błąd standardowy. Każda granica jest sprawdzana na zakresie, który wynika z zaokrągleń M, SD i jej samej.

Przykład

Wartości domyślne pochodzą z fikcyjnego rozdziału o wypaleniu pielęgniarek z wpisu o kontroli spójności (dane symulowane). Przy wartościach domyślnych wszystkie karty są zielone. Przycisk „Wstaw przykład z błędem” wstawia liczby z wersji z błędami. Wyniki w tabeli policzono w R kodem pokazanym niżej.

Wyniki czterech kontroli dla wersji poprawnej i wersji z błędem
KartaWersja poprawnaWersja z błędemCo pokazuje kalkulator
GRIMM = 3.61, n = 18, k = 1M = 3.62niemożliwa; najbliższe 3.61 (65 / 18) i 3.67 (66 / 18)
p ze statystykit(151) = 2.33, p = .021p = .011przeliczone p od .0209 do .0214; połowa to .0104–.0107, więc podpowiedź o teście jednostronnym
Sumy i odsetki25, 83, 45 z N = 153; 16.3, 54.2, 29.4% (suma 99.9)50.9% zamiast 54.2%suma 96.6% poza dopuszczalnym 100 ± 0.15; 83 przy 50.9% pasuje do mianownika 163
Przedział ufnościM = 3.33, SD = 0.64, n = 93, [3.20, 3.46][3.10, 3.46]przeliczony przedział [3.20, 3.46]; dolna granica się nie zgadza

Zwróć uwagę na trzeci wiersz. Suma poprawnych odsetków wynosi 99.9, a nie 100, i kalkulator uznaje to za zgodne. Podpowiedź „pasuje mianownik 163” wskazuje typowe źródło błędu: odsetek policzony od wszystkich zebranych ankiet, a nie od analizowanych. Skąd bierze się taka różnica, pokazuje diagram przepływu respondentów.

Przykład reprodukowalny

Te same kontrole w bazowym R

Kod odtwarza reguły kalkulatora i liczby z tabeli powyżej. Na końcu symulacja sprawdza, ile literówek w średniej wykrywa GRIM przy różnych n.

Cztery kontrole i symulacja literówek

Dane wejściowe: liczby z fikcyjnego rozdziału (pielęgniarki, N = 153) oraz symulowane odpowiedzi 1–5, set.seed(2711), 20 000 powtórzeń dla każdego n.

Co odczytać: wyniki czterech kontroli oraz odsetek wykrytych literówek w ostatniej tabeli.

R
# Kontrola spójności wyników: te same reguły co w kalkulatorze, bazowy R
# Liczby z fikcyjnego rozdziału pracy (pielęgniarki, N = 153). Dane nie są prawdziwe.
miejsca <- function(s) ifelse(grepl(".", s, fixed = TRUE), nchar(sub(".*\\.", "", s)), 0)

# (a) GRIM: czy jakaś suma całkowita S daje po zaokrągleniu podaną średnią?
grim <- function(M, n, k = 1, d = miejsca(M)) {
  x <- as.numeric(M); G <- n * k
  S <- round(x * G) + (-2:2)
  S[abs(S / G - x) <= 0.5 / 10^d + 1e-11]          # puste = średnia niemożliwa
}
grim_opis <- function(M, n, k = 1, d = miejsca(M)) {
  S <- grim(M, n, k, d); G <- n * k; x <- as.numeric(M)
  if (G >= 10^d) return(sprintf("M = %s, n·k = %d: brak mocy", M, G))
  if (length(S)) return(sprintf("M = %s, n·k = %d: możliwa (%d/%d = %.3f)", M, G, S[1], G, S[1] / G))
  sprintf("M = %s, n·k = %d: niemożliwa; najbliższe %.2f (%d/%d) i %.2f (%d/%d)", M, G,
          floor(x * G) / G, floor(x * G), G, ceiling(x * G) / G, ceiling(x * G), G)
}
cat(grim_opis("3.61", 18), grim_opis("3.62", 18), grim_opis("3.57", 135), sep = "\n")

# (b) p ze statystyki: zakres p wynikający z zaokrąglenia statystyki
zakres_p <- function(stat, df) {
  h <- 0.5 * 10^(-miejsca(stat)); a <- abs(as.numeric(stat))
  2 * pt(c(a + h, a - h), df, lower.tail = FALSE)
}
p_t <- zakres_p("2.33", 151)
cat(sprintf("\nt(151) = 2.33: p od %.4f do %.4f; dla 2.33: %.4f\n", p_t[1], p_t[2], 2 * pt(-2.33, 151)))
cat(sprintf("połowa przeliczonego p: od %.4f do %.4f (zgłoszono .011)\n", p_t[1] / 2, p_t[2] / 2))

# (c) sumy: odsetki z liczebności, dopuszczalna suma odsetków
n <- c(25, 83, 45); N <- 153
z_pracy <- c(16.3, 50.9, 29.4)
poprawne <- round(100 * n / N, 1)
print(data.frame(n, z_pracy, przeliczony = poprawne,
                 zgodny = abs(100 * n / N - z_pracy) <= 0.05 + 1e-9))
cat(sprintf("Suma n = %d; suma odsetków: %.1f (z pracy), %.1f (poprawnie); dopuszczalne 100 ± %.2f\n",
            sum(n), sum(z_pracy), sum(poprawne), 3 * 0.05))
cat(sprintf("83 przy 50.9%% pasuje do mianownika: %s\n",
            paste((150:170)[abs(100 * 83 / (150:170) - 50.9) <= 0.05], collapse = ", ")))

# (d) przedział ufności t dla średniej
ci <- function(M, SD, n, poziom = .95) M + c(-1, 1) * qt(1 - (1 - poziom) / 2, n - 1) * SD / sqrt(n)
cat(sprintf("\nM = 3.33, SD = 0.64, n = 93: 95%% CI [%.2f, %.2f] (w pracy [3.10, 3.46])\n",
            ci(3.33, 0.64, 93)[1], ci(3.33, 0.64, 93)[2]))

# Ile literówek wykrywa GRIM? Symulacja: pytanie 1–5, zmiana ostatniej cyfry średniej
set.seed(2711)
literowki <- function(n, powt = 20000) {
  wykryte <- replicate(powt, {
    y <- sample(1:5, n, replace = TRUE, prob = c(.1, .2, .3, .25, .15))
    zmiana <- sample(c(-9:-1, 1:9), 1) / 100
    m <- round(mean(y), 2) + zmiana
    length(grim(sprintf("%.2f", m), n, 1, 2)) == 0
  })
  c(n = n, odsetek_wykrytych = round(100 * mean(wykryte), 1))
}
print(t(sapply(c(10, 18, 30, 50, 75, 99, 100, 150), literowki)))
Wynik
M = 3.61, n·k = 18: możliwa (65/18 = 3.611)
M = 3.62, n·k = 18: niemożliwa; najbliższe 3.61 (65/18) i 3.67 (66/18)
M = 3.57, n·k = 135: brak mocy

t(151) = 2.33: p od 0.0209 do 0.0214; dla 2.33: 0.0211
połowa przeliczonego p: od 0.0104 do 0.0107 (zgłoszono .011)
   n z_pracy przeliczony zgodny
1 25    16.3        16.3   TRUE
2 83    50.9        54.2  FALSE
3 45    29.4        29.4   TRUE
Suma n = 153; suma odsetków: 96.6 (z pracy), 99.9 (poprawnie); dopuszczalne 100 ± 0.15
83 przy 50.9% pasuje do mianownika: 163

M = 3.33, SD = 0.64, n = 93: 95% CI [3.20, 3.46] (w pracy [3.10, 3.46])
       n odsetek_wykrytych
[1,]  10             100.0
[2,]  18              89.2
[3,]  30              78.0
[4,]  50              55.5
[5,]  75              26.0
[6,]  99               0.0
[7,] 100               0.0
[8,] 150               0.0

Bibliografia oprogramowania

Wynik pochodzi z uruchomienia pokazanego kodu w R 4.5.3 (funkcje z pakietów base i stats). Kalkulator na stronie sprawdzono na 174 przypadkach testowych z wartościami z R (funkcje pt, pnorm, pchisq, pf, qt, qnorm oraz niezależna implementacja kontroli). Największa różnica między JavaScriptem a R wyniosła 4 × 10−14.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Jak czytać wynik

Zgodność nie oznacza, że liczba jest prawdziwa. Oznacza tylko, że wpisane liczby mogą iść w parze. Błąd spójny, np. wiersz przepisany w całości z innej analizy, przejdzie każdą kontrolę. Niezgodność z kolei to powód, żeby wrócić do wydruku:

Co sprawdzić po wyniku niezgodnym w każdej karcie
SygnałCo sprawdzić najpierw
GRIM: średnia niemożliwaczy n nie jest podane przed usunięciem braków, czy k to rzeczywista liczba pozycji, czy nie ma literówki w ostatniej cyfrze
p: połowa przeliczonej wartościczy program nie podał p jednostronnego; pomaga hasło test jednostronny i dwustronny
p: błąd decyzji (po dwóch stronach .05)czy statystyka, df i p pochodzą z tej samej analizy; to najpoważniejszy sygnał, bo zmienia wniosek
Sumy: różnica w Nczy braki są opisane; jeśli tak, wpisz je w polu „Opisane braki” (zob. braki danych w ankiecie i tabela charakterystyki próby)
CI: zły przedziałczy nie pomylono SD z SE, czy przedział nie jest liczony z rozkładu z albo z innego poziomu ufności

Skala problemu jest znana z badań nad literaturą. Bakker i Wicherts (2011) w 281 artykułach znaleźli około 18% niespójnie podanych wyników. Nuijten i in. (2016) pokazali, że połowa artykułów stosujących testy istotności zawierała co najmniej jedną wartość p niezgodną ze statystyką, a co ósmy artykuł taką, która mogła zmienić wniosek. Brown i Heathers (2017) sprawdzili średnie w 71 artykułach, w których dało się zastosować GRIM. Około połowa zawierała co najmniej jedną niespójną średnią. Te liczby dotyczą publikacji w psychologii i nie mówią, jak często błędy zdarzają się w pracach dyplomowych. Pokazują jednak, że taka kontrola ma sens.

Jeśli sprawdzasz własną pracę, popraw liczby w całym tekście, a nie tylko w miejscu sygnału. Tych samych wartości szukaj w streszczeniu i dyskusji. Układ zdań wyników opisuje wpis jak opisać wyniki w stylu APA, a zapis przedziałów – przedziały ufności w pracy. Gdy sprawdzasz cudzy artykuł, najpierw poproś autorów o wyjaśnienie albo dane, o czym piszemy we wpisie o reanalizie cudzych danych.

Ograniczenia

  • GRIM tylko dla danych całkowitych. Test wymaga odpowiedzi w liczbach całkowitych (Brown i Heathers, 2017). Nie działa dla czasu reakcji, wieku w latach z ułamkami, wyników ważonych, średnich z imputacji ani średnich po usunięciu części odpowiedzi na pojedyncze pozycje, bo wtedy n nie jest stałe.
  • GRIM traci moc, gdy rośnie n · k. W symulacji z kodu powyżej (jedno pytanie 1–5, losowa zmiana ostatniej cyfry średniej) wykrył 100.0% literówek przy n = 10, 89.2% przy n = 18, 55.5% przy n = 50 i 26.0% przy n = 75. Przy n = 100 i n = 150 nie wykrył żadnej. Ostrzeżenie pojawia się na karcie GRIM.
  • p po poprawkach. Po poprawkach na wielokrotne porównania zgłoszone p nie wynika z samej statystyki, a karta zgłosi niezgodność. Karta nie sprawdza też stopni swobody – porównaj je z N ręcznie, tak jak w kontroli 5 we wpisie o spójności.
  • Test jednostronny. Podpowiedź o połowie p działa dla t, z i r. Dla F(1, df) i χ² z jednym df połowa p też może oznaczać test kierunkowy, ale karta tego nie zgłasza.
  • Tylko przedział t dla jednej średniej. Przedziały dla proporcji, ilorazu szans, korelacji i przedziały bootstrapowe są asymetryczne albo liczone inaczej. Tego nie sprawdzisz w tej karcie. Odwrotną kontrolę, czyli p z przedziału dla oszacowania, opisują Altman i Bland (2011).
  • Inne konwencje zaokrąglania. Jeśli program obciął liczbę zamiast ją zaokrąglić, mała różnica może dać sygnał. Sprawdź wtedy wydruk. Możliwe rozkłady odpowiedzi odtwarza metoda SPRITE (Heathers i in., 2018), a pierwsze cyfry liczb w dużych zbiorach bada prawo Benforda. Aplikacja statcheck wyszukuje wyniki w tekście automatycznie (Nuijten i Polanin, 2020). Kalkulator nie zastępuje tych narzędzi.

Zapis w uwagach do pracy

Kontroli spójności zwykle nie opisuje się w rozdziale metodologicznym własnej pracy. Notatka przydaje się w liście do promotora albo w odpowiedzi na recenzję, której sposób omawia wpis recenzja pracy magisterskiej – część badawcza, oraz przy poprawkach promotora w rozdziale wyników. Wzór dla przykładu z tej strony:

Przed oddaniem pracy sprawdzono spójność liczb w rozdziale wyników: średnie z odpowiedzi całkowitych testem GRIM (Brown i Heathers, 2017), wartości p ze statystyk i stopni swobody, sumy liczebności i odsetki oraz przedziały ufności dla średnich. Kontrola wskazała niezgodność t(151) = 2.33, p = .011 (przeliczone p = .021, podana wartość odpowiadała testowi jednostronnemu). Poprawiono zapis na p = .021 w rozdziale wyników i w streszczeniu.

Jeśli niezgodności dotyczą wielu tabel albo nie wiesz, która liczba jest prawidłowa, wróć do danych. Pomocą w tym zakresie jest oferta dla studentów.

Najczęstsze pytania

Kiedy test GRIM nie daje żadnej informacji?

Gdy iloczyn n · k jest co najmniej tak duży jak 10d, gdzie d to liczba miejsc po przecinku. Przy dwóch miejscach to n · k ≥ 100 i każda średnia jest wtedy możliwa. Wynik „możliwa” niczego wtedy nie potwierdza. Kalkulator pokazuje w takim przypadku ostrzeżenie.

Dlaczego wartość p z mojej pracy wychodzi inna, choć liczyłem dobrze?

Statystyka w tekście jest zaokrąglona, więc przeliczone p trzeba traktować jako zakres, a nie jedną liczbę. Kalkulator uwzględnia ten zakres. Jeśli zgłoszone p nadal leży poza nim, sprawdź, czy nie jest jednostronne (wynosi około połowy przeliczonego), czy nie pochodzi po poprawce albo z innej analizy.

Czy odsetki w tabeli muszą sumować się dokładnie do 100%?

Nie. Każdy odsetek zaokrąglony do jednego miejsca może się różnić o 0.05 punktu, więc przy trzech kategoriach suma może wynosić od 99.85 do 100.15. Nie zmieniaj ręcznie jednej kategorii, tylko dodaj notę o zaokrągleniach. Wyjątek to pytania wielokrotnego wyboru, gdzie suma może przekroczyć 100%.

Czy niezgodność w GRIM oznacza fałszowanie danych?

Nie. Częstsze wyjaśnienia to literówka, inne n po usunięciu braków, wynik ważony albo pozycje nieskładające się z liczb całkowitych. Kalkulator pokazuje tylko, że liczby nie mogą iść w parze przy przyjętych założeniach. Zanim cokolwiek zgłosisz, poproś autorów o wyjaśnienie albo dane.

Jak sprawdzić, czy przedział ufności pasuje do średniej i SD?

Wpisz M, SD, n, granice i poziom ufności w karcie „Przedział ufności”. Kalkulator liczy przedział t i porównuje każdą granicę z zakresem zaokrągleń. Podpowiada też, gdy przedział pasuje do rozkładu z, innego poziomu ufności albo gdy zamiast SD wpisano błąd standardowy.

Powiązane hasła

Przeczytaj też

Chcesz, żeby ktoś sprawdził liczby w Twojej pracy przed oddaniem?

Przejdziemy rozdział wyników i tabele, przeliczymy wartości p, odsetki i przedziały ufności, a każdą niezgodność wyjaśnimy tak, żebyś potrafił(a) ją poprawić i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Altman, D. G., & Bland, J. M. (2011). How to obtain the P value from a confidence interval. BMJ, 343, Article d2304. https://doi.org/10.1136/bmj.d2304 ● Otwarty dostęp
  2. Bakker, M., & Wicherts, J. M. (2011). The (mis)reporting of statistical results in psychology journals. Behavior Research Methods, 43(3), 666–678. https://doi.org/10.3758/s13428-011-0089-5 ● Otwarty dostęp
  3. Brown, N. J. L., & Heathers, J. A. J. (2017). The GRIM test: A simple technique detects numerous anomalies in the reporting of results in psychology. Social Psychological and Personality Science, 8(4), 363–369. https://doi.org/10.1177/1948550616673876 ● Otwarty dostęp: pełny tekst
  4. Heathers, J. A. J., Anaya, J., van der Zee, T., & Brown, N. J. L. (2018). Recovering data from summary statistics: Sample Parameter Reconstruction via Iterative TEchniques (SPRITE) [Preprint]. PeerJ Preprints. https://doi.org/10.7287/peerj.preprints.26968v1 ● Otwarty dostęp
  5. Nuijten, M. B., & Polanin, J. R. (2020). “statcheck”: Automatically detect statistical reporting inconsistencies to increase reproducibility of meta-analyses. Research Synthesis Methods, 11(5), 574–579. https://doi.org/10.1002/jrsm.1408 ● Otwarty dostęp
  6. Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. (2016). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 48(4), 1205–1226. https://doi.org/10.3758/s13428-015-0664-2 ● Otwarty dostęp

Cytowania BibTeX

@article{altman2011obtain, author={Altman, Douglas G. and Bland, J. Martin}, title={{How to obtain the P value from a confidence interval}}, journal={BMJ}, year={2011}, volume={343}, eid={d2304}, doi={10.1136/bmj.d2304}}
@article{bakker2011misreporting, author={Bakker, Marjan and Wicherts, Jelte M.}, title={{The (mis)reporting of statistical results in psychology journals}}, journal={Behavior Research Methods}, year={2011}, volume={43}, number={3}, pages={666--678}, doi={10.3758/s13428-011-0089-5}}
@article{brown2017grim, author={Brown, Nicholas J. L. and Heathers, James A. J.}, title={{The GRIM test: A simple technique detects numerous anomalies in the reporting of results in psychology}}, journal={Social Psychological and Personality Science}, year={2017}, volume={8}, number={4}, pages={363--369}, doi={10.1177/1948550616673876}}
@misc{heathers2018recovering, author={Heathers, James A. J. and Anaya, Jordan and van der Zee, Tim and Brown, Nicholas J. L.}, title={{Recovering data from summary statistics: Sample Parameter Reconstruction via Iterative TEchniques (SPRITE)}}, howpublished={PeerJ Preprints}, year={2018}, doi={10.7287/peerj.preprints.26968v1}}
@article{nuijten2020statcheck, author={Nuijten, Michèle B. and Polanin, Joshua R.}, title={{“statcheck”: Automatically detect statistical reporting inconsistencies to increase reproducibility of meta-analyses}}, journal={Research Synthesis Methods}, year={2020}, volume={11}, number={5}, pages={574--579}, doi={10.1002/jrsm.1408}}
@article{nuijten2016prevalence, author={Nuijten, Michèle B. and Hartgerink, Chris H. J. and van Assen, Marcel A. L. M. and Epskamp, Sacha and Wicherts, Jelte M.}, title={{The prevalence of statistical reporting errors in psychology (1985–2013)}}, journal={Behavior Research Methods}, year={2016}, volume={48}, number={4}, pages={1205--1226}, doi={10.3758/s13428-015-0664-2}}
R