Słownik metodologiczny · Projekt badania

Efekt uczenia się (practice effect) – skąd poprawa przy drugim teście?

Drugi raz ten sam test zwykle wychodzi lepiej, nawet gdy nic się nie zmieniło. Pokazujemy, jak oddzielić efekt uczenia się od efektu interwencji i jak to opisać w pracy.

Strona główna / Słownik / Efekt uczenia się
W skrócie: Efekt uczenia się to poprawa wyniku przy powtórnym wykonaniu testu, niezależna od zmiany mierzonej cechy. Kontroluj go grupą kontrolną, która też rozwiązuje test dwa razy, wersjami równoległymi albo pomiarem zapoznawczym przed pomiarem wyjściowym.

Co to jest efekt uczenia się?

Efekt uczenia się (ang. practice effect, też retest effect) to poprawa wyniku przy ponownym wykonaniu tego samego testu, która nie wynika ze zmiany mierzonej cechy. Badany pamięta pozycje, wypracował strategię, zna procedurę i mniej się stresuje. Calamia i in. (2012) w metaanalizach testów neuropsychologicznych pokazali, że wielkość tego efektu zależy m.in. od użycia wersji alternatywnych, wieku i diagnozy badanych oraz odstępu między pomiarami. Efekt dotyczy testów wiedzy, testów poznawczych i testów funkcjonalnych, np. czasu marszu albo zakresu ruchu w fizjoterapii (zob. statystyka dla fizjoterapeuty).

Jak go kontrolować

  • Grupa kontrolna. Osoby bez interwencji też rozwiązują test dwa razy. Ich przyrost szacuje efekt uczenia się, a grupa kontrolna chroni też przed regresją do średniej.
  • Wersje równoległe. Hausknecht i in. (2007) stwierdzili, że w testach zdolności poznawczych przyrost był większy przy identycznej wersji testu niż przy wersji alternatywnej. Wersje muszą być jednak naprawdę równoważne.
  • Pomiar zapoznawczy. Jedno lub kilka wykonań próbnych przed pomiarem wyjściowym. Goldberg i in. (2015) wymieniają je obok zadań odpornych na zapamiętywanie i dobrze dopasowanych wersji alternatywnych.
  • Kolejność warunków. W schematach wewnątrzobiektowych pomaga kontrbalansowanie.

Przykład

Test wiedzy 0–40 pkt rozwiązało dwa razy po 40 osób z grupy szkolenia i z grupy kontrolnej (dane symulowane). W grupie kontrolnej wynik wzrósł średnio o 2.58 pkt, t(39) = 4.25, p < .001, choć nikt jej nie szkolił. W grupie szkolenia przyrost wyniósł 6.45 pkt, więc około 40% tego „efektu” dałoby samo powtórzenie testu. Szkolenie przewyższyło kontrolę o 3.88 pkt, 95% CI [2.22, 5.53]. W schemacie pretest–posttest bez grupy kontrolnej te dwa składniki zlałyby się w jeden.

Jak opisać w pracy

Aby oszacować efekt uczenia się, grupa kontrolna rozwiązała ten sam test dwukrotnie. Jej wynik wzrósł średnio o 2.58 pkt (SD = 3.83), t(39) = 4.25, p < .001. Przyrost w grupie szkolenia (M = 6.45, SD = 3.59) był większy o 3.88 pkt, t(77.67) = 4.67, p < .001, 95% CI [2.22, 5.53].

Na co uważać

  • Przyrost po interwencji bez grupy kontrolnej to suma efektu interwencji, uczenia się i przypadku. Nie przypisuj go w całości interwencji.
  • Przy rzetelności test–retest efekt uczenia się przesuwa średnią w drugim pomiarze. Sprawdź różnicę średnich, a nie tylko korelację.
  • Efekt nie musi znikać po jednym powtórzeniu. Przy kilku pomiarach, np. w badaniu wiedzy przed szkoleniem i po nim, planuj kontrolę od początku.
Przykład reprodukowalny

Efekt uczenia się w R

Kod symuluje dwa pomiary testu wiedzy w grupie szkolenia i w grupie kontrolnej, a potem porównuje przyrosty.

Przyrost w grupie kontrolnej jako oszacowanie efektu uczenia się

Dane wejściowe: wyniki testu wiedzy 0–40 pkt przed i po, 40 osób w każdej grupie (dane symulowane, set.seed(151)).

Co odczytać: średnie przyrosty, test t dla przyrostu w grupie kontrolnej i test Welcha dla różnicy przyrostów.

R
set.seed(151)
n <- 40                                                   # osób w każdej grupie, test wiedzy 0–40 pkt
pre_s  <- round(rnorm(n, 22, 5)); post_s <- pmin(40, round(pre_s + rnorm(n, 7, 4)))  # szkolenie
pre_k  <- round(rnorm(n, 22, 5)); post_k <- pmin(40, round(pre_k + rnorm(n, 3, 4)))  # kontrola: tylko powtórzony test
przyrost_s <- post_s - pre_s; przyrost_k <- post_k - pre_k
round(c(szkolenie = mean(przyrost_s), kontrola = mean(przyrost_k), roznica = mean(przyrost_s) - mean(przyrost_k)), 2)
t.test(post_k, pre_k, paired = TRUE)                      # czy sama kontrola „poprawiła się”?
t.test(przyrost_s, przyrost_k)                            # przyrost w szkoleniu ponad efekt uczenia się
Wynik w R
szkolenie  kontrola   roznica 
     6.45      2.58      3.88 

	Paired t-test

data:  post_k and pre_k
t = 4.2533, df = 39, p-value = 0.0001275
alternative hypothesis: true mean difference is not equal to 0
95 percent confidence interval:
 1.350441 3.799559
sample estimates:
mean difference 
          2.575 


	Welch Two Sample t-test

data:  przyrost_s and przyrost_k
t = 4.6709, df = 77.671, p-value = 1.236e-05
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 2.223263 5.526737
sample estimates:
mean of x mean of y 
    6.450     2.575

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietów base i stats). W pracy podaj wersję R, której faktycznie użyto (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Najczęstsze pytania

Jak sprawdzić, czy w moim badaniu wystąpił efekt uczenia się?

Najprościej w grupie kontrolnej bez interwencji, która rozwiązuje test tyle samo razy. Jej średni przyrost między pomiarami szacuje efekt uczenia się.

Czy wersje równoległe testu całkowicie usuwają efekt uczenia się?

Nie. Zmniejszają wpływ pamięci konkretnych pozycji, ale badany nadal zna procedurę i ma wypracowaną strategię. Wersje muszą też mieć równoważne średnie i rzetelność.

Po co robić pomiar zapoznawczy przed pomiarem wyjściowym?

Największa poprawa pojawia się zwykle między pierwszym a drugim wykonaniem. Próbne wykonanie przed pomiarem wyjściowym przesuwa ten skok poza analizowany okres.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Calamia, M., Markon, K., & Tranel, D. (2012). Scoring higher the second time around: Meta-analyses of practice effects in neuropsychological assessment. The Clinical Neuropsychologist, 26(4), 543–570. https://doi.org/10.1080/13854046.2012.680913
  2. Goldberg, T. E., Harvey, P. D., Wesnes, K. A., Snyder, P. J., & Schneider, L. S. (2015). Practice effects due to serial cognitive assessment: Implications for preclinical Alzheimer’s disease randomized controlled trials. Alzheimer’s & Dementia: Diagnosis, Assessment & Disease Monitoring, 1(1), 103–111. https://doi.org/10.1016/j.dadm.2014.11.003 ● Otwarty dostęp
  3. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373–385. https://doi.org/10.1037/0021-9010.92.2.373

Cytowania BibTeX

@article{calamia2012scoring, author={Calamia, Matthew and Markon, Kristian and Tranel, Daniel}, title={{Scoring higher the second time around: Meta-analyses of practice effects in neuropsychological assessment}}, journal={The Clinical Neuropsychologist}, year={2012}, volume={26}, number={4}, pages={543--570}, doi={10.1080/13854046.2012.680913}}
@article{goldberg2015practice, author={Goldberg, Terry E. and Harvey, Philip D. and Wesnes, Keith A. and Snyder, Peter J. and Schneider, Lon S.}, title={{Practice effects due to serial cognitive assessment: Implications for preclinical Alzheimer’s disease randomized controlled trials}}, journal={Alzheimer’s \& Dementia: Diagnosis, Assessment \& Disease Monitoring}, year={2015}, volume={1}, number={1}, pages={103--111}, doi={10.1016/j.dadm.2014.11.003}}
@article{hausknecht2007retesting, author={Hausknecht, John P. and Halpert, Jane A. and Di Paolo, Nicole T. and Moriarty Gerrard, Meghan O.}, title={{Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability}}, journal={Journal of Applied Psychology}, year={2007}, volume={92}, number={2}, pages={373--385}, doi={10.1037/0021-9010.92.2.373}}
R