Słownik metodologiczny · Psychometria

Trafność prognostyczna – czy test przewiduje przyszły wynik?

Trafność prognostyczna mówi, czy wynik testu przewiduje kryterium zmierzone później. Pokazujemy, jak zaplanować badanie, przykład z rekrutacji na studia, opis do pracy i najczęstsze pułapki.

Strona główna / Słownik / Trafność prognostyczna

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Trafność prognostyczna (predykcyjna) to stopień, w jakim wynik testu przewiduje kryterium zmierzone później, np. oceny po roku studiów. Jest odmianą trafności kryterialnej; jej miarą jest zwykle korelacja testu z kryterium, czyli współczynnik trafności.

Co to jest trafność prognostyczna?

Trafność prognostyczna (ang. predictive validity, też trafność predykcyjna) to stopień, w jakim wynik testu przewiduje wynik w kryterium zmierzonym później: ocenę po semestrze, efektywność w pracy po roku, nawrót objawów po leczeniu. Jest jedną z dwóch odmian trafności kryterialnej. Cronbach i Meehl (1955) odróżnili ją od trafności równoczesnej właśnie czasem: jeśli kryterium zbiera się jakiś czas po teście, badasz trafność prognostyczną, a jeśli w tym samym czasie – trafność diagnostyczną (równoczesną). Współczesne Standards (American Educational Research Association i in., 2014) traktują oba badania jako dowody oparte na związkach z innymi zmiennymi.

Jak ją zbadać

  1. Wybierz kryterium, którego dotyczy decyzja, i zmierz je niezależnie od testu.
  2. Ustal odstęp czasu wynikający z zastosowania testu, np. rekrutacja → ocena okresowa.
  3. Zbierz wynik testu przed decyzją i nie pokazuj go osobom oceniającym kryterium.
  4. Policz współczynnik trafności: korelację testu z kryterium z 95% przedziałem ufności, a przy kryterium binarnym regresję logistyczną lub krzywą ROC.

Przykład

Uczelnia sprawdza, czy test rozumowania przewiduje średnią ocen po pierwszym roku. Test rozwiązują wszyscy kandydaci we wrześniu, a średnią pobiera się w czerwcu. Część osób odpada w ciągu roku, więc raport musi podać, ile osób miało oba pomiary i czy te, które odpadły, różniły się wynikiem testu (utrata uczestników).

Jak opisać w pracy

Trafność prognostyczną oceniono, korelując wynik [nazwa testu] z [kryterium] zmierzonym po [odstęp czasu] (n = [liczba] osób z obydwoma pomiarami; [liczba] osób nie ukończyło badania). Współczynnik trafności wyniósł r = [wartość], 95% CI [[dolna], [górna]]. Osoby oceniające kryterium nie znały wyników testu.

Na co uważać

  • Ograniczenie zakresu. Jeśli kryterium znasz tylko dla osób przyjętych na podstawie testu, korelacja w tej grupie zaniża trafność.
  • Skażenie kryterium. Oceniający, którzy znają wynik testu, mogą się nim kierować.
  • Korelacja to nie przyrost. Wysoki współczynnik nie mówi, czy test przewiduje coś ponad wcześniejsze oceny – to sprawdza trafność przyrostowa.

Miejsce trafności prognostycznej wśród innych dowodów pokazuje wpis Rodzaje trafności – mapa dowodów trafności narzędzia.

Najczęstsze pytania

Jaki odstęp czasu między testem a kryterium jest potrzebny w badaniu trafności prognostycznej?

Taki, jaki wynika z zastosowania testu. Jeśli test ma przewidywać wyniki po pierwszym roku studiów, kryterium mierzysz po roku. Krótszy odstęp zbliża badanie do trafności diagnostycznej.

Czy trafność prognostyczną da się zbadać w pracy magisterskiej?

Rzadko, bo wymaga dwóch pomiarów w odstępie i niezależnego kryterium. Jeśli masz dostęp do danych z późniejszego okresu, np. ocen, jest to możliwe – opisz wtedy ubytek próby.

Dlaczego trafność prognostyczna w grupie osób przyjętych bywa niska?

Bo kryterium znasz tylko dla osób wybranych na podstawie testu. Zakres wyników jest wtedy zawężony, a korelacja w tej grupie zaniża związek, który wystąpiłby wśród wszystkich kandydatów.

Powiązane hasła

Trafność kryterialnaTrafność diagnostyczna (równoczesna)Trafność przyrostowaTrafność (psychometria)Krzywa ROC

Poradniki, w których użyjesz tego pojęcia

Poradnik

Rodzaje trafności – mapa dowodów

Tradycyjne nazwy trafności na mapie pięciu źródeł dowodów (Standards, 2014): jak zebrać dowód, jaka analiza, jak opisać w pracy i które 2–3 rodzaje dowodów zaplanować.

Czytaj →Poradnik

Jak zbudować i zwalidować skalę psychometryczną?

Od definicji konstruktu i tworzenia pozycji po pilotaż, EFA, CFA, rzetelność, trafność teoretyczną, różnicową i niezmienniczość.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. https://www.testingstandards.net/open-access-files.html ● Otwarty dostęp
  2. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@book{aera2014standards, author={{American Educational Research Association} and {American Psychological Association} and {National Council on Measurement in Education}}, title={{Standards for educational and psychological testing}}, year={2014}, publisher={American Educational Research Association}, url={https://www.testingstandards.net/open-access-files.html}}
@article{cronbach1955construct, author={Cronbach, Lee J. and Meehl, Paul E.}, title={{Construct validity in psychological tests}}, journal={Psychological Bulletin}, year={1955}, volume={52}, number={4}, pages={281--302}, doi={10.1037/h0040957}}
R