Słownik metodologiczny · Psychometria

Trafność przyrostowa – czy nowa miara wnosi coś ponad istniejące?

Trafność przyrostowa sprawdza, czy nowa skala lub test przewiduje kryterium lepiej niż miary, które już mamy. Pokazujemy regresję hierarchiczną i ΔR², przykład z R, opis do pracy i pułapki.

Strona główna / Słownik / Trafność przyrostowa

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Trafność przyrostowa to stopień, w jakim miara wyjaśnia lub przewiduje zjawisko ponad to, co wyjaśniają już istniejące miary. Zwykle sprawdza się ją w regresji hierarchicznej jako przyrost ΔR² po dodaniu nowej miary.

Co to jest trafność przyrostowa?

Trafność przyrostowa (ang. incremental validity) to stopień, w jakim miara wyjaśnia lub przewiduje badane zjawisko lepiej niż miary, którymi już dysponujemy (Haynes i Lench, 2003). Pytanie nie brzmi „czy nowa skala koreluje z kryterium?”, tylko „czy wnosi coś ponad to, co już wiemy?”. Ma to znaczenie przy nowej skali podobnej do istniejących i przy dokładaniu testu do diagnozy. Haynes i Lench (2003) dodają, że wynik zależy od wybranego kryterium, miar porównawczych i próby, więc ocena trafności przyrostowej jest zawsze warunkowa.

Jak ją sprawdzić

Standardem jest regresja hierarchiczna. W kroku 1 wprowadzasz istniejące predyktory, w kroku 2 nową miarę i sprawdzasz przyrost ΔR² z testem F. Hunsley i Meyer (2003) zwracają uwagę, że wynik zależy od kolejności wprowadzania predyktorów i od tego, jak zinterpretujesz wielkość przyrostu. Kolejność ustal więc przed analizą, na podstawie pytania badawczego.

Przykład

W symulacji w R (n = 200, set.seed(4021)) nowa skala korelowała z kryterium r = .45, a z istniejącą miarą r = .58. Sama istniejąca miara wyjaśniała R² = .31 wariancji kryterium. Po dodaniu nowej skali R² wzrosło do .34: ΔR² = .023, F(1, 197) = 6.93, p = .009. Korelacja z kryterium była wyraźna, ale przyrost – skromny.

Jak opisać w pracy

Trafność przyrostową [nazwa skali] oceniono w regresji hierarchicznej z [kryterium] jako zmienną zależną. W kroku 1 wprowadzono [istniejące predyktory] (R² = [wartość]), a w kroku 2 [nazwa skali], co zwiększyło odsetek wyjaśnionej wariancji o ΔR² = [wartość], F([df1], [df2]) = [wartość], p = [wartość].

Na co uważać

  • Nierzetelne predyktory kontrolne. Westfall i Yarkoni (2016) pokazali, że pominięcie błędu pomiaru zmiennych kontrolnych prowadzi do bardzo częstych fałszywych wniosków o przyrostowej trafności konstruktu. Podaj rzetelność wszystkich predyktorów.
  • Istotność to nie znaczenie. W dużej próbie nawet minimalny ΔR² jest istotny – oceń, czy przyrost uzasadnia czas badania.
  • Mylenie z trafnością prognostyczną. Ta mówi, czy wynik przewiduje kryterium, a przyrostowa – czy przewiduje je ponad inne miary.

Pełną analizę z wagami względnymi opisuje wpis Trafność przyrostowa – czy nowa skala wnosi coś ponad istniejące, technikę – Regresja hierarchiczna krok po kroku, a pozostałe dowody – mapa rodzajów trafności.

Najczęstsze pytania

Jaki przyrost ΔR² świadczy o trafności przyrostowej?

Nie ma uniwersalnego progu. Poza istotnością oceń, czy przyrost jest praktycznie ważny w Twojej dziedzinie i czy uzasadnia koszt dodatkowego pomiaru, np. czas wypełniania skali.

W jakiej kolejności wprowadzać predyktory, badając trafność przyrostową?

Najpierw istniejące, tańsze lub uznane miary, potem nową miarę. Kolejność ustal przed analizą, bo zmienia ona wynik (Hunsley i Meyer, 2003).

Czy wysoka korelacja nowej skali z kryterium dowodzi trafności przyrostowej?

Nie. Skala może silnie korelować z kryterium, a mimo to wnosić niewiele, jeśli ta sama informacja jest już w istniejących miarach. Trzeba sprawdzić przyrost ponad nie.

Powiązane hasła

Regresja hierarchicznaTrafność prognostycznaTrafność kryterialnaRzetelność (psychometria)Trafność zbieżna

Poradniki, w których użyjesz tego pojęcia

Poradnik

Trafność przyrostowa nowej skali

ΔR² z bootstrapowym CI, wagi względne i analiza dominacji, pozorny przyrost przy nierzetelnych miarach kontrolnych, przykład w R i wzór opisu.

Czytaj →Poradnik

Regresja hierarchiczna krok po kroku

Plan bloków, wspólna próba dla wszystkich kroków, ΔR² i test F zmiany, f², interakcja w ostatnim kroku i tabela APA – z pełnym przykładem w R.

Czytaj →Poradnik

Rodzaje trafności – mapa dowodów

Tradycyjne nazwy trafności na mapie pięciu źródeł dowodów (Standards, 2014): jak zebrać dowód, jaka analiza, jak opisać w pracy i które 2–3 rodzaje dowodów zaplanować.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Haynes, S. N., & Lench, H. C. (2003). Incremental validity of new clinical assessment measures. Psychological Assessment, 15(4), 456–466. https://doi.org/10.1037/1040-3590.15.4.456
  2. Hunsley, J., & Meyer, G. J. (2003). The incremental validity of psychological testing and assessment: Conceptual, methodological, and statistical issues. Psychological Assessment, 15(4), 446–455. https://doi.org/10.1037/1040-3590.15.4.446
  3. Westfall, J., & Yarkoni, T. (2016). Statistically controlling for confounding constructs is harder than you think. PLOS ONE, 11(3), Article e0152719. https://doi.org/10.1371/journal.pone.0152719 ● Otwarty dostęp

Cytowania BibTeX

@article{haynes2003incremental, author={Haynes, Stephen N. and Lench, Heather C.}, title={{Incremental validity of new clinical assessment measures}}, journal={Psychological Assessment}, year={2003}, volume={15}, number={4}, pages={456--466}, doi={10.1037/1040-3590.15.4.456}}
@article{hunsley2003incremental, author={Hunsley, John and Meyer, Gregory J.}, title={{The incremental validity of psychological testing and assessment: Conceptual, methodological, and statistical issues}}, journal={Psychological Assessment}, year={2003}, volume={15}, number={4}, pages={446--455}, doi={10.1037/1040-3590.15.4.446}}
@article{westfall2016statistically, author={Westfall, Jacob and Yarkoni, Tal}, title={{Statistically controlling for confounding constructs is harder than you think}}, journal={PLOS ONE}, year={2016}, volume={11}, number={3}, eid={e0152719}, doi={10.1371/journal.pone.0152719}}
R