Kalkulator spójności wyników
Cztery kontrole: GRIM, p ze statystyki, sumy i przedział ufności
Wybierz kartę i wpisz liczby tak, jak są zapisane w pracy lub artykule. Liczba miejsc po przecinku ma znaczenie, bo z niej wynika dopuszczalny zakres zaokrąglenia. Przycisk „Wstaw przykład z błędem” pokazuje, jak wygląda niezgodność.
Kalkulator wymaga włączonej obsługi JavaScriptu. Wynik dla wartości domyślnych opisujemy w przykładzie poniżej.
Wynik pojawi się tutaj.
Wynik pojawi się tutaj.
Wynik pojawi się tutaj.
Notatka z kontroli
Obliczenia wykonuje Twoja przeglądarka. Wpisane liczby nie są nigdzie wysyłane ani zapisywane.
Jak używać kalkulatora
Kalkulator przydaje się na ostatnim etapie pracy, gdy masz gotowe tabele i zdania wyników, a także przy czytaniu cudzych artykułów. Całą procedurę, z kolejnością kontroli i poprawkami, opisuje wpis o kontroli spójności liczb przed oddaniem pracy. Tu sprawdzisz pojedyncze liczby bez pisania kodu.
- GRIM. Wpisz średnią, n, liczbę pozycji skali i liczbę miejsc po przecinku. Karta odpowiada na pytanie, czy suma całkowitych odpowiedzi mogła dać tę średnią. Zasadę testu GRIM wyjaśnia hasło w słowniku. Gdy średnia pochodzi z jednego pytania albo z wyniku sumarycznego, wpisz k = 1. Gdy to średnia z kilku pozycji skali Likerta, podaj ich liczbę.
- p ze statystyki. Wybierz statystykę, wpisz jej wartość i stopnie swobody oraz zgłoszoną wartość p. Dla r podaj df, czyli N − 2, tak jak w zapisie r(151). Ułamkowe df z testu Welcha są dozwolone. Jeśli praca podaje „p < .001”, ustaw odpowiedni znak.
- Sumy i odsetki. Wpisz N i liczebności kategorii, a jeśli są w tabeli, także odsetki, w tej samej kolejności. Braki opisane w nocie wpisz w osobnym polu: mianownikiem będzie wtedy N minus braki. Dla pytań wielokrotnego wyboru ustaw odpowiedni rodzaj pytania, bo suma może przekraczać 100%.
- Przedział ufności. Wpisz M, SD, n, granice i poziom ufności. Sprawdzany jest przedział t dla jednej średniej, opisany w haśle przedział ufności.
Po każdym sprawdzeniu pod kartami aktualizuje się notatka z wszystkich czterech kontroli. Skopiuj ją do swojego pliku z uwagami albo do listu do promotora. Jeśli potrzebujesz samej wartości p ze statystyki, wygodniejszy będzie kalkulator wartości p. Przedział ufności liczony od zera, także dla proporcji i korelacji, znajdziesz w kalkulatorze przedziału ufności.
Reguły i wzory
Zaokrąglenie. Każda karta traktuje wpisaną liczbę jako zaokrągloną. Jeśli liczba ma m miejsc po przecinku, prawdziwa wartość może się od niej różnić najwyżej o połowę ostatniego miejsca:
GRIM. Suma S odpowiedzi n osób na k pozycji jest liczbą całkowitą, więc średnia może być równa tylko S / (n · k). Średnia jest możliwa, gdy istnieje całkowite S spełniające warunek:
Kalkulator sprawdza to na liczbach całkowitych, więc nie myli się przy wartościach na granicy zaokrąglenia, a takie przypadki uznaje za możliwe. Gdy n · k ≥ 10d, gdzie d to liczba miejsc po przecinku, odstęp między możliwymi średnimi jest nie większy niż ostatnie miejsce, więc każda wartość jest możliwa. Przy dwóch miejscach po przecinku granica wypada przy n · k = 100 (Brown i Heathers, 2017).
p ze statystyki. Zakres statystyki to wartość ± h. Dla t i z zakres liczony jest dla wartości bezwzględnej, a p jako dwa ogony rozkładu (albo jeden, po wyborze testu jednostronnego). Dla F i χ² jest to prawy ogon. Korelację r zamieniamy na t wzorem:
Zgłoszone p jest zgodne, gdy jego zakres zaokrąglenia nachodzi na zakres przeliczonego p. Zapis „p < .001” jest spójny, gdy cały przeliczony zakres leży poniżej .001. Jeśli poniżej leży tylko jego część, dostajesz wynik „na granicy”. Podobnie przelicza wartości p program statcheck, opisany w haśle statcheck i SPRITE (Nuijten i in., 2016). Kalkulator nie korzysta z jego kodu. Reguły są zapisane od nowa.
Sumy. Odsetek jest zgodny, gdy | 100 · n / mianownik − odsetek | ≤ h. Suma K odsetków może różnić się od 100 co najwyżej o sumę połówek ostatnich miejsc, przy jednym miejscu po przecinku o K · 0.05. Jeśli odsetek się nie zgadza, kalkulator szuka n, które by go dawało, i mianownika, przy którym ten odsetek by pasował.
Przedział ufności. Granice to M ± t · SD / √n, z t dla df = n − 1, gdzie SD / √n to błąd standardowy. Każda granica jest sprawdzana na zakresie, który wynika z zaokrągleń M, SD i jej samej.
Przykład
Wartości domyślne pochodzą z fikcyjnego rozdziału o wypaleniu pielęgniarek z wpisu o kontroli spójności (dane symulowane). Przy wartościach domyślnych wszystkie karty są zielone. Przycisk „Wstaw przykład z błędem” wstawia liczby z wersji z błędami. Wyniki w tabeli policzono w R kodem pokazanym niżej.
| Karta | Wersja poprawna | Wersja z błędem | Co pokazuje kalkulator |
|---|---|---|---|
| GRIM | M = 3.61, n = 18, k = 1 | M = 3.62 | niemożliwa; najbliższe 3.61 (65 / 18) i 3.67 (66 / 18) |
| p ze statystyki | t(151) = 2.33, p = .021 | p = .011 | przeliczone p od .0209 do .0214; połowa to .0104–.0107, więc podpowiedź o teście jednostronnym |
| Sumy i odsetki | 25, 83, 45 z N = 153; 16.3, 54.2, 29.4% (suma 99.9) | 50.9% zamiast 54.2% | suma 96.6% poza dopuszczalnym 100 ± 0.15; 83 przy 50.9% pasuje do mianownika 163 |
| Przedział ufności | M = 3.33, SD = 0.64, n = 93, [3.20, 3.46] | [3.10, 3.46] | przeliczony przedział [3.20, 3.46]; dolna granica się nie zgadza |
Zwróć uwagę na trzeci wiersz. Suma poprawnych odsetków wynosi 99.9, a nie 100, i kalkulator uznaje to za zgodne. Podpowiedź „pasuje mianownik 163” wskazuje typowe źródło błędu: odsetek policzony od wszystkich zebranych ankiet, a nie od analizowanych. Skąd bierze się taka różnica, pokazuje diagram przepływu respondentów.
Te same kontrole w bazowym R
Kod odtwarza reguły kalkulatora i liczby z tabeli powyżej. Na końcu symulacja sprawdza, ile literówek w średniej wykrywa GRIM przy różnych n.
Cztery kontrole i symulacja literówek
R
# Kontrola spójności wyników: te same reguły co w kalkulatorze, bazowy R
# Liczby z fikcyjnego rozdziału pracy (pielęgniarki, N = 153). Dane nie są prawdziwe.
miejsca <- function(s) ifelse(grepl(".", s, fixed = TRUE), nchar(sub(".*\\.", "", s)), 0)
# (a) GRIM: czy jakaś suma całkowita S daje po zaokrągleniu podaną średnią?
grim <- function(M, n, k = 1, d = miejsca(M)) {
x <- as.numeric(M); G <- n * k
S <- round(x * G) + (-2:2)
S[abs(S / G - x) <= 0.5 / 10^d + 1e-11] # puste = średnia niemożliwa
}
grim_opis <- function(M, n, k = 1, d = miejsca(M)) {
S <- grim(M, n, k, d); G <- n * k; x <- as.numeric(M)
if (G >= 10^d) return(sprintf("M = %s, n·k = %d: brak mocy", M, G))
if (length(S)) return(sprintf("M = %s, n·k = %d: możliwa (%d/%d = %.3f)", M, G, S[1], G, S[1] / G))
sprintf("M = %s, n·k = %d: niemożliwa; najbliższe %.2f (%d/%d) i %.2f (%d/%d)", M, G,
floor(x * G) / G, floor(x * G), G, ceiling(x * G) / G, ceiling(x * G), G)
}
cat(grim_opis("3.61", 18), grim_opis("3.62", 18), grim_opis("3.57", 135), sep = "\n")
# (b) p ze statystyki: zakres p wynikający z zaokrąglenia statystyki
zakres_p <- function(stat, df) {
h <- 0.5 * 10^(-miejsca(stat)); a <- abs(as.numeric(stat))
2 * pt(c(a + h, a - h), df, lower.tail = FALSE)
}
p_t <- zakres_p("2.33", 151)
cat(sprintf("\nt(151) = 2.33: p od %.4f do %.4f; dla 2.33: %.4f\n", p_t[1], p_t[2], 2 * pt(-2.33, 151)))
cat(sprintf("połowa przeliczonego p: od %.4f do %.4f (zgłoszono .011)\n", p_t[1] / 2, p_t[2] / 2))
# (c) sumy: odsetki z liczebności, dopuszczalna suma odsetków
n <- c(25, 83, 45); N <- 153
z_pracy <- c(16.3, 50.9, 29.4)
poprawne <- round(100 * n / N, 1)
print(data.frame(n, z_pracy, przeliczony = poprawne,
zgodny = abs(100 * n / N - z_pracy) <= 0.05 + 1e-9))
cat(sprintf("Suma n = %d; suma odsetków: %.1f (z pracy), %.1f (poprawnie); dopuszczalne 100 ± %.2f\n",
sum(n), sum(z_pracy), sum(poprawne), 3 * 0.05))
cat(sprintf("83 przy 50.9%% pasuje do mianownika: %s\n",
paste((150:170)[abs(100 * 83 / (150:170) - 50.9) <= 0.05], collapse = ", ")))
# (d) przedział ufności t dla średniej
ci <- function(M, SD, n, poziom = .95) M + c(-1, 1) * qt(1 - (1 - poziom) / 2, n - 1) * SD / sqrt(n)
cat(sprintf("\nM = 3.33, SD = 0.64, n = 93: 95%% CI [%.2f, %.2f] (w pracy [3.10, 3.46])\n",
ci(3.33, 0.64, 93)[1], ci(3.33, 0.64, 93)[2]))
# Ile literówek wykrywa GRIM? Symulacja: pytanie 1–5, zmiana ostatniej cyfry średniej
set.seed(2711)
literowki <- function(n, powt = 20000) {
wykryte <- replicate(powt, {
y <- sample(1:5, n, replace = TRUE, prob = c(.1, .2, .3, .25, .15))
zmiana <- sample(c(-9:-1, 1:9), 1) / 100
m <- round(mean(y), 2) + zmiana
length(grim(sprintf("%.2f", m), n, 1, 2)) == 0
})
c(n = n, odsetek_wykrytych = round(100 * mean(wykryte), 1))
}
print(t(sapply(c(10, 18, 30, 50, 75, 99, 100, 150), literowki)))Wynik
M = 3.61, n·k = 18: możliwa (65/18 = 3.611)
M = 3.62, n·k = 18: niemożliwa; najbliższe 3.61 (65/18) i 3.67 (66/18)
M = 3.57, n·k = 135: brak mocy
t(151) = 2.33: p od 0.0209 do 0.0214; dla 2.33: 0.0211
połowa przeliczonego p: od 0.0104 do 0.0107 (zgłoszono .011)
n z_pracy przeliczony zgodny
1 25 16.3 16.3 TRUE
2 83 50.9 54.2 FALSE
3 45 29.4 29.4 TRUE
Suma n = 153; suma odsetków: 96.6 (z pracy), 99.9 (poprawnie); dopuszczalne 100 ± 0.15
83 przy 50.9% pasuje do mianownika: 163
M = 3.33, SD = 0.64, n = 93: 95% CI [3.20, 3.46] (w pracy [3.10, 3.46])
n odsetek_wykrytych
[1,] 10 100.0
[2,] 18 89.2
[3,] 30 78.0
[4,] 50 55.5
[5,] 75 26.0
[6,] 99 0.0
[7,] 100 0.0
[8,] 150 0.0Bibliografia oprogramowania
Wynik pochodzi z uruchomienia pokazanego kodu w R 4.5.3 (funkcje z pakietów base i stats). Kalkulator na stronie sprawdzono na 174 przypadkach testowych z wartościami z R (funkcje pt, pnorm, pchisq, pf, qt, qnorm oraz niezależna implementacja kontroli). Największa różnica między JavaScriptem a R wyniosła 4 × 10−14.
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
Jak czytać wynik
Zgodność nie oznacza, że liczba jest prawdziwa. Oznacza tylko, że wpisane liczby mogą iść w parze. Błąd spójny, np. wiersz przepisany w całości z innej analizy, przejdzie każdą kontrolę. Niezgodność z kolei to powód, żeby wrócić do wydruku:
| Sygnał | Co sprawdzić najpierw |
|---|---|
| GRIM: średnia niemożliwa | czy n nie jest podane przed usunięciem braków, czy k to rzeczywista liczba pozycji, czy nie ma literówki w ostatniej cyfrze |
| p: połowa przeliczonej wartości | czy program nie podał p jednostronnego; pomaga hasło test jednostronny i dwustronny |
| p: błąd decyzji (po dwóch stronach .05) | czy statystyka, df i p pochodzą z tej samej analizy; to najpoważniejszy sygnał, bo zmienia wniosek |
| Sumy: różnica w N | czy braki są opisane; jeśli tak, wpisz je w polu „Opisane braki” (zob. braki danych w ankiecie i tabela charakterystyki próby) |
| CI: zły przedział | czy nie pomylono SD z SE, czy przedział nie jest liczony z rozkładu z albo z innego poziomu ufności |
Skala problemu jest znana z badań nad literaturą. Bakker i Wicherts (2011) w 281 artykułach znaleźli około 18% niespójnie podanych wyników. Nuijten i in. (2016) pokazali, że połowa artykułów stosujących testy istotności zawierała co najmniej jedną wartość p niezgodną ze statystyką, a co ósmy artykuł taką, która mogła zmienić wniosek. Brown i Heathers (2017) sprawdzili średnie w 71 artykułach, w których dało się zastosować GRIM. Około połowa zawierała co najmniej jedną niespójną średnią. Te liczby dotyczą publikacji w psychologii i nie mówią, jak często błędy zdarzają się w pracach dyplomowych. Pokazują jednak, że taka kontrola ma sens.
Jeśli sprawdzasz własną pracę, popraw liczby w całym tekście, a nie tylko w miejscu sygnału. Tych samych wartości szukaj w streszczeniu i dyskusji. Układ zdań wyników opisuje wpis jak opisać wyniki w stylu APA, a zapis przedziałów – przedziały ufności w pracy. Gdy sprawdzasz cudzy artykuł, najpierw poproś autorów o wyjaśnienie albo dane, o czym piszemy we wpisie o reanalizie cudzych danych.
Ograniczenia
- GRIM tylko dla danych całkowitych. Test wymaga odpowiedzi w liczbach całkowitych (Brown i Heathers, 2017). Nie działa dla czasu reakcji, wieku w latach z ułamkami, wyników ważonych, średnich z imputacji ani średnich po usunięciu części odpowiedzi na pojedyncze pozycje, bo wtedy n nie jest stałe.
- GRIM traci moc, gdy rośnie n · k. W symulacji z kodu powyżej (jedno pytanie 1–5, losowa zmiana ostatniej cyfry średniej) wykrył 100.0% literówek przy n = 10, 89.2% przy n = 18, 55.5% przy n = 50 i 26.0% przy n = 75. Przy n = 100 i n = 150 nie wykrył żadnej. Ostrzeżenie pojawia się na karcie GRIM.
- p po poprawkach. Po poprawkach na wielokrotne porównania zgłoszone p nie wynika z samej statystyki, a karta zgłosi niezgodność. Karta nie sprawdza też stopni swobody – porównaj je z N ręcznie, tak jak w kontroli 5 we wpisie o spójności.
- Test jednostronny. Podpowiedź o połowie p działa dla t, z i r. Dla F(1, df) i χ² z jednym df połowa p też może oznaczać test kierunkowy, ale karta tego nie zgłasza.
- Tylko przedział t dla jednej średniej. Przedziały dla proporcji, ilorazu szans, korelacji i przedziały bootstrapowe są asymetryczne albo liczone inaczej. Tego nie sprawdzisz w tej karcie. Odwrotną kontrolę, czyli p z przedziału dla oszacowania, opisują Altman i Bland (2011).
- Inne konwencje zaokrąglania. Jeśli program obciął liczbę zamiast ją zaokrąglić, mała różnica może dać sygnał. Sprawdź wtedy wydruk. Możliwe rozkłady odpowiedzi odtwarza metoda SPRITE (Heathers i in., 2018), a pierwsze cyfry liczb w dużych zbiorach bada prawo Benforda. Aplikacja statcheck wyszukuje wyniki w tekście automatycznie (Nuijten i Polanin, 2020). Kalkulator nie zastępuje tych narzędzi.
Zapis w uwagach do pracy
Kontroli spójności zwykle nie opisuje się w rozdziale metodologicznym własnej pracy. Notatka przydaje się w liście do promotora albo w odpowiedzi na recenzję, której sposób omawia wpis recenzja pracy magisterskiej – część badawcza, oraz przy poprawkach promotora w rozdziale wyników. Wzór dla przykładu z tej strony:
Jeśli niezgodności dotyczą wielu tabel albo nie wiesz, która liczba jest prawidłowa, wróć do danych. Pomocą w tym zakresie jest oferta dla studentów.
Najczęstsze pytania
Kiedy test GRIM nie daje żadnej informacji?
Gdy iloczyn n · k jest co najmniej tak duży jak 10d, gdzie d to liczba miejsc po przecinku. Przy dwóch miejscach to n · k ≥ 100 i każda średnia jest wtedy możliwa. Wynik „możliwa” niczego wtedy nie potwierdza. Kalkulator pokazuje w takim przypadku ostrzeżenie.
Dlaczego wartość p z mojej pracy wychodzi inna, choć liczyłem dobrze?
Statystyka w tekście jest zaokrąglona, więc przeliczone p trzeba traktować jako zakres, a nie jedną liczbę. Kalkulator uwzględnia ten zakres. Jeśli zgłoszone p nadal leży poza nim, sprawdź, czy nie jest jednostronne (wynosi około połowy przeliczonego), czy nie pochodzi po poprawce albo z innej analizy.
Czy odsetki w tabeli muszą sumować się dokładnie do 100%?
Nie. Każdy odsetek zaokrąglony do jednego miejsca może się różnić o 0.05 punktu, więc przy trzech kategoriach suma może wynosić od 99.85 do 100.15. Nie zmieniaj ręcznie jednej kategorii, tylko dodaj notę o zaokrągleniach. Wyjątek to pytania wielokrotnego wyboru, gdzie suma może przekroczyć 100%.
Czy niezgodność w GRIM oznacza fałszowanie danych?
Nie. Częstsze wyjaśnienia to literówka, inne n po usunięciu braków, wynik ważony albo pozycje nieskładające się z liczb całkowitych. Kalkulator pokazuje tylko, że liczby nie mogą iść w parze przy przyjętych założeniach. Zanim cokolwiek zgłosisz, poproś autorów o wyjaśnienie albo dane.
Jak sprawdzić, czy przedział ufności pasuje do średniej i SD?
Wpisz M, SD, n, granice i poziom ufności w karcie „Przedział ufności”. Kalkulator liczy przedział t i porównuje każdą granicę z zakresem zaokrągleń. Podpowiada też, gdy przedział pasuje do rozkładu z, innego poziomu ufności albo gdy zamiast SD wpisano błąd standardowy.
Powiązane hasła
Przeczytaj też
Kontrola spójności liczb przed oddaniem pracy
Osiem kontroli: N i sumy w tabelach, procenty, p a statystyka testu, df, przedziały ufności, GRIM i te same liczby w całej pracy – z kodem w R.
Czytaj →PoradnikKalkulator wartości p
Dokładne p z z, t, χ², F i r, jedno- i dwustronnie, z wartością krytyczną dla α, przykładem w R i gotowym zapisem APA.
Czytaj →PoradnikKalkulator przedziału ufności
Średnia (t), proporcja (Wilson i Wald), korelacja (Fisher) i różnica średnich (Welch): kalkulator online, wzory, przykład w R i zapis APA.
Czytaj →Chcesz, żeby ktoś sprawdził liczby w Twojej pracy przed oddaniem?
Przejdziemy rozdział wyników i tabele, przeliczymy wartości p, odsetki i przedziały ufności, a każdą niezgodność wyjaśnimy tak, żebyś potrafił(a) ją poprawić i obronić.
Oferta dla studentówWyceń analizęBibliografia i dalsza literatura naukowa (APA 7)
- Altman, D. G., & Bland, J. M. (2011). How to obtain the P value from a confidence interval. BMJ, 343, Article d2304. https://doi.org/10.1136/bmj.d2304 ● Otwarty dostęp
- Bakker, M., & Wicherts, J. M. (2011). The (mis)reporting of statistical results in psychology journals. Behavior Research Methods, 43(3), 666–678. https://doi.org/10.3758/s13428-011-0089-5 ● Otwarty dostęp
- Brown, N. J. L., & Heathers, J. A. J. (2017). The GRIM test: A simple technique detects numerous anomalies in the reporting of results in psychology. Social Psychological and Personality Science, 8(4), 363–369. https://doi.org/10.1177/1948550616673876 ● Otwarty dostęp: pełny tekst
- Heathers, J. A. J., Anaya, J., van der Zee, T., & Brown, N. J. L. (2018). Recovering data from summary statistics: Sample Parameter Reconstruction via Iterative TEchniques (SPRITE) [Preprint]. PeerJ Preprints. https://doi.org/10.7287/peerj.preprints.26968v1 ● Otwarty dostęp
- Nuijten, M. B., & Polanin, J. R. (2020). “statcheck”: Automatically detect statistical reporting inconsistencies to increase reproducibility of meta-analyses. Research Synthesis Methods, 11(5), 574–579. https://doi.org/10.1002/jrsm.1408 ● Otwarty dostęp
- Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. (2016). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 48(4), 1205–1226. https://doi.org/10.3758/s13428-015-0664-2 ● Otwarty dostęp
Cytowania BibTeX
@article{altman2011obtain, author={Altman, Douglas G. and Bland, J. Martin}, title={{How to obtain the P value from a confidence interval}}, journal={BMJ}, year={2011}, volume={343}, eid={d2304}, doi={10.1136/bmj.d2304}}@article{bakker2011misreporting, author={Bakker, Marjan and Wicherts, Jelte M.}, title={{The (mis)reporting of statistical results in psychology journals}}, journal={Behavior Research Methods}, year={2011}, volume={43}, number={3}, pages={666--678}, doi={10.3758/s13428-011-0089-5}}@article{brown2017grim, author={Brown, Nicholas J. L. and Heathers, James A. J.}, title={{The GRIM test: A simple technique detects numerous anomalies in the reporting of results in psychology}}, journal={Social Psychological and Personality Science}, year={2017}, volume={8}, number={4}, pages={363--369}, doi={10.1177/1948550616673876}}@misc{heathers2018recovering, author={Heathers, James A. J. and Anaya, Jordan and van der Zee, Tim and Brown, Nicholas J. L.}, title={{Recovering data from summary statistics: Sample Parameter Reconstruction via Iterative TEchniques (SPRITE)}}, howpublished={PeerJ Preprints}, year={2018}, doi={10.7287/peerj.preprints.26968v1}}@article{nuijten2020statcheck, author={Nuijten, Michèle B. and Polanin, Joshua R.}, title={{“statcheck”: Automatically detect statistical reporting inconsistencies to increase reproducibility of meta-analyses}}, journal={Research Synthesis Methods}, year={2020}, volume={11}, number={5}, pages={574--579}, doi={10.1002/jrsm.1408}}@article{nuijten2016prevalence, author={Nuijten, Michèle B. and Hartgerink, Chris H. J. and van Assen, Marcel A. L. M. and Epskamp, Sacha and Wicherts, Jelte M.}, title={{The prevalence of statistical reporting errors in psychology (1985–2013)}}, journal={Behavior Research Methods}, year={2016}, volume={48}, number={4}, pages={1205--1226}, doi={10.3758/s13428-015-0664-2}}