Prace dyplomowe · Psychometria

Rodzaje trafności – mapa dowodów trafności narzędzia

Treściowa, kryterialna, zbieżna, różnicowa, przyrostowa, ekologiczna… Porządkujemy rodzaje trafności według pięciu źródeł dowodów ze Standards (2014): jak zebrać każdy dowód, jaką analizą go sprawdzić, jak opisać go w pracy i które 2–3 rodzaje dowodów realnie zaplanować w pracy dyplomowej.

Strona główna / Blog / Rodzaje trafności
W skrócie: Rodzaje trafności to w rzeczywistości rodzaje dowodów na rzecz jednej interpretacji wyniku. Standards for Educational and Psychological Testing (2014) porządkują je w pięć źródeł: treść testu, procesy odpowiadania, strukturę wewnętrzną, związki z innymi zmiennymi i konsekwencje użycia. Trafność treściowa należy do treści, czynnikowa i rzetelność do struktury, a zbieżna, różnicowa, kryterialna, grupy znane, przyrostowa, ekologiczna i sieć nomologiczna do związków z innymi zmiennymi. Trafność fasadowa nie jest dowodem. W pracy dyplomowej zaplanuj 2–3 rodzaje dowodów dopasowane do tego, jak będziesz interpretować wynik, i zapisz przewidywania przed zebraniem danych.

Po co mapa rodzajów trafności

W podręcznikach i pracach dyplomowych pojawia się kilkanaście nazw: trafność treściowa, fasadowa, kryterialna, prognostyczna, diagnostyczna, teoretyczna, zbieżna, różnicowa, przyrostowa, ekologiczna, do tego sieć nomologiczna, metoda grup znanych i macierz MTMM. Łatwo odnieść wrażenie, że to osobne „trafności”, które trzeba po kolei „zaliczyć”. Tak nie jest.

Współcześnie trafność to stopień, w jakim dowody empiryczne wspierają interpretację wyników do zamierzonego użycia, a nie statystyczna właściwość testu (Hawkins i in., 2018). Kane (2013) dodaje, że walidujesz konkretną interpretację lub użycie wyniku, a im ambitniejsze twierdzenie, tym więcej dowodów potrzeba. Tradycyjne nazwy opisują więc rodzaje dowodów, a nie rodzaje trafności. Definicję i historię pojęcia znajdziesz w haśle trafność w psychometrii, a całą drogę budowy narzędzia w poradniku jak zbudować i zwalidować skalę psychometryczną.

Ten wpis jest mapą. Pokazuje, gdzie każda nazwa trafia w układzie pięciu źródeł dowodów, jak zebrać dany dowód, jaką analizą go sprawdzić i jak opisać go w pracy. Szczegóły są w osobnych hasłach i poradnikach, do których prowadzą linki.

Pięć źródeł dowodów według Standards

Punktem odniesienia są Standards for Educational and Psychological Testing (American Educational Research Association i in., 2014). Według omówienia Hawkinsa i in. (2018) wyróżniają one pięć źródeł dowodów trafności:

  1. Treść testu – związek tematów, sformułowań i formatu pozycji z konstruktem, a także sposób badania i punktowania.
  2. Procesy odpowiadania – procesy poznawcze i sposób rozumienia pozycji przez badanych i użytkowników wyników, porównane z zamierzoną interpretacją.
  3. Struktura wewnętrzna – czy wzajemne związki pozycji odpowiadają konstruktowi, na którym opiera się interpretacja.
  4. Związki z innymi zmiennymi – czy wzorzec związków wyniku ze zmiennymi zewnętrznymi jest taki, jakiego wymaga teoria.
  5. Konsekwencje użycia – zamierzone i niezamierzone skutki stosowania wyników.

Cook i Beckman (2006) streszczają to praktycznie: do struktury wewnętrznej należą rzetelność i struktura czynnikowa, a rzetelne wyniki są warunkiem koniecznym, ale niewystarczającym trafnej interpretacji. Messick (1995) opisał wcześniej podobny układ jako sześć aspektów jednej trafności teoretycznej, z osobnym aspektem uogólnialności. Hawkins i in. (2018) omawiają uogólnianie trafności w ramach związków z innymi zmiennymi.

Mapa: u góry pole z zasadą, że waliduje się interpretację wyniku do określonego użycia; pod nim pięć kolumn źródeł dowodów według Standards z 2014 roku. W kolumnie treści: trafność treściowa oraz CVI i CVR. W kolumnie procesów odpowiadania: wywiad poznawczy. W kolumnie struktury wewnętrznej: trafność czynnikowa, rzetelność oraz inwariancja pomiaru i DIF. W kolumnie związków z innymi zmiennymi: trafność zbieżna, różnicowa, macierz MTMM, sieć nomologiczna, trafność kryterialna diagnostyczna i prognostyczna, metoda grup znanych, trafność przyrostowa i ekologiczna. W kolumnie konsekwencji: skutki zamierzone i niezamierzone. Pola wypełnione oznaczają dowody zwykle w zasięgu pracy dyplomowej, pola przerywane – dowody wymagające osobnego lub dłuższego badania. Pod spodem trafność fasadowa w czerwonej ramce jako element poza mapą
Rysunek 1. Tradycyjne nazwy trafności przypisane do pięciu źródeł dowodów (American Educational Research Association i in., 2014; Hawkins i in., 2018; Messick, 1995). Ocena, co jest „w zasięgu pracy dyplomowej”, jest orientacyjna. Schemat własny.

Tradycyjne nazwy na mapie

Klasyczny podział Cronbacha i Meehla (1955) obejmował cztery typy: trafność predykcyjną, równoczesną, treściową i teoretyczną. Dwie pierwsze opierają się na kryterium i różnią się tym, czy kryterium mierzy się później, czy w tym samym czasie co test. Dzisiejsze nazwy trafiają na mapę tak:

Trafność teoretyczna nie jest szóstą kolumną. W ujęciu jednolitym to parasol nad wszystkimi dowodami (Messick, 1995). Poza mapą zostaje trafność fasadowa: mówi o akceptowalności narzędzia, a nie o tym, co mierzy wynik. W naukach o zdrowiu spotkasz też terminologię COSMIN. Mokkink i in. (2010) opisują międzynarodowy konsensus co do taksonomii i definicji właściwości pomiarowych narzędzi, w którym dużo dyskusji dotyczyło miejsca responsywności. Jeśli piszesz pracę z pielęgniarstwa lub fizjoterapii, sprawdź, której terminologii używa Twoja dziedzina, i trzymaj się jednej.

Dowód → jak zebrać → analiza → jak opisać

Tabela zbiera wszystkie rodzaje dowodów w jednym miejscu. Kolumna „jak opisać” mówi, jakie informacje musi zawierać zdanie w rozdziale metodologicznym lub w wynikach.

Tabela 1. Rodzaje dowodów trafności: sposób zebrania, analiza i opis w pracy
Dowód (źródło)Jak zebraćAnalizaJak opisać w pracy
Trafność treściowa (treść)panel ekspertów ocenia każdą pozycję względem pisemnej definicji konstruktuI-CVI, S-CVI, CVRkto oceniał i z jakimi kwalifikacjami, skala ocen, wskaźniki dla pozycji i skali, co zmieniono
Wywiad poznawczy (procesy odpowiadania)rozmowy z osobami z grupy docelowej: głośne myślenie, pytania o rozumienie pozycjijakościowe kodowanie problemów; tabela „problem → poprawka”liczba osób i rund, typy problemów, zmienione pozycje
Trafność czynnikowa (struktura)próba główna; model zapisany przed analiząCFA (dla odpowiedzi porządkowych estymator WLSMV), EFA przy nowej skali; omegamodel, estymator, CFI, TLI, RMSEA z CI, SRMR, zakres ładunków, omega
Inwariancja pomiaru, DIF (struktura)dwie grupy lub dwa pomiary, każda podgrupa odpowiednio licznawielogrupowa CFA: poziom konfiguralny, metryczny, skalarny; testy DIFosiągnięty poziom i co z niego wynika dla porównań średnich
Trafność zbieżna i różnicowa (związki)w tym samym badaniu skale konstruktów bliskich i odległychkorelacje z 95% CI; w SEM AVE i HTMTprzewidywany i uzyskany kierunek i siła związku, rozbieżności
Macierz MTMM (związki)co najmniej dwie cechy mierzone co najmniej dwiema metodami, np. samoopis i ocena bliskiej osobykryteria Campbella i Fiske'a, CFA-MTMMukład cech i metod, porównanie korelacji w macierzy
Trafność diagnostyczna (związki)kryterium w tym samym czasie, np. niezależna diagnoza klinicznakorelacja z kryterium; krzywa ROC, AUC, czułość i swoistośćkryterium i kto je ustalał, AUC z CI, punkt odcięcia i sposób jego wyboru
Trafność prognostyczna (związki)kryterium mierzone później, np. po semestrzekorelacja lub regresja z kryteriumodstęp czasu, ubytek próby, współczynnik trafności z CI
Metoda grup znanych (związki)grupy, które według teorii różnią się konstruktemd z CI dla hipotezy kierunkowej, ROC jako uzupełnieniejak wyłoniono grupy, hipoteza, d [95% CI], czym jeszcze różnią się grupy
Trafność przyrostowa (związki)nowa skala, istniejące predyktory i kryterium w jednym badaniuΔR² w regresji hierarchicznejkolejność bloków, ΔR² z testem lub CI, rzetelność predyktorów kontrolnych
Sieć nomologiczna (związki)kilka konstruktów wskazanych przez teorięzestaw przewidywań; wzorzec korelacji lub model SEMtabela „przewidywanie – wynik – ocena”
Trafność ekologiczna (związki)kryterium z codziennych warunków: obserwacja, dzienniczki, oceny funkcjonowaniakorelacja wyniku z miarami codziennego funkcjonowaniaw jakich warunkach zebrano kryterium i jak daleko są od warunków testu
Konsekwencje (konsekwencje)dane o decyzjach podejmowanych na podstawie wynikunp. odsetki błędnych klasyfikacji w podgrupachw pracy dyplomowej zwykle w dyskusji jako ograniczenie lub kierunek dalszych badań
Trafność fasadowa (poza mapą)oceny respondentów w pilotażuodsetek ocen wysokich z CIjako akceptowalność narzędzia, nie dowód trafności

Przy trafności zbieżnej i różnicowej szczegółowy przykład z AVE i HTMT jest w poradniku trafność zbieżna i różnicowa w CB-SEM. Pozostałe wiersze mają osobne poradniki: metoda grup znanych, macierz MTMM, trafność przyrostowa nowej skali, krzywa ROC i punkt odcięcia oraz analiza czynnikowa EFA i CFA. Hunsley i Meyer (2003) zwracają uwagę, że w badaniach trafności przyrostowej o wyniku decydują m.in. kolejność wprowadzania predyktorów i to, jak zinterpretujesz wielkość przyrostu.

Jak zaplanować walidację w pracy dyplomowej

Nikt nie oczekuje, że w pracy magisterskiej zbierzesz dowody ze wszystkich pięciu źródeł. Realny plan to dwa lub trzy rodzaje dowodów dobrane do tego, jak chcesz interpretować wynik. Zasada Kane'a (2013) działa tu praktycznie: jeśli wynik ma służyć tylko do korelacji w Twoim badaniu, wystarczy mniej dowodów niż wtedy, gdy proponujesz punkt odcięcia do przesiewu.

Tabela 2. Realistyczny zakres dowodów trafności w zależności od rodzaju pracy
SytuacjaDowody zwykle w zasięguCzego zwykle nie da się zrobić
Gotowe, zwalidowane narzędzie (większość prac)dowody z publikacji źródłowej i adaptacji; we własnej próbie rzetelność (omega) i, jeśli próba pozwala, CFA; korelacje zgodne z hipotezamipełnej walidacji od nowa – i nie jest potrzebna
Adaptacja lub tłumaczenietreść (eksperci), procesy odpowiadania (wywiady poznawcze), struktura (CFA), jedna para związków zbieżnych i różnicowychtrafności prognostycznej i inwariancji między krajami
Nowa skala w pracy magisterskiejtreść, struktura, trafność zbieżna i różnicowa albo grupy znaneMTMM, kryterium mierzonego po czasie, konsekwencji
Doktorat lub artykułjak wyżej oraz inwariancja, kryterium (diagnostyczne lub prognostyczne), trafność przyrostowa, MTMMkonsekwencji użycia – zwykle osobny projekt

Przy adaptacji przejdź też przez wpis adaptacja kulturowa kwestionariusza, a przy wywiadach przez wywiad poznawczy w pilotażu. Trzy decyzje warto podjąć, zanim zbierzesz dane:

  1. Dołóż do kwestionariusza miary porównawcze. Trafności zbieżnej, różnicowej ani przyrostowej nie sprawdzisz po fakcie, jeśli nie zmierzysz konstruktów bliskich i odległych. Clark i Watson (2019) zalecają sprawdzanie puli pozycji względem blisko powiązanych konstruktów już na etapie budowy skali.
  2. Zapisz przewidywania. Kierunek i przybliżona siła każdego związku, różnica między grupami, oczekiwany model czynnikowy. Bez tego każdy wynik da się ogłosić jako „potwierdzenie”.
  3. Dopasuj próbę do analiz. CFA, inwariancja i grupy znane mają własne wymagania co do liczebności, opisane w podlinkowanych poradnikach. Jeśli próba ich nie spełnia, zaplanuj skromniejszy zestaw dowodów i napisz o tym w ograniczeniach.

Akapit do rozdziału metodologicznego

Wzór poniżej łączy dowody z literatury z dowodami z własnego badania. Ogólną budowę rozdziału omawia wpis rozdział metodologiczny, a opis samego narzędzia – opis narzędzia badawczego. Uzupełnij nawiasy kwadratowe i usuń zdania o dowodach, których nie zbierałeś(-aś).

Trafność interpretacji wyników [nazwa skali] jako miary [konstrukt] w [populacja] oceniono na podstawie dowodów z [liczba] źródeł wyróżnianych w Standards for Educational and Psychological Testing (American Educational Research Association i in., 2014). Dowody oparte na treści: [liczba] ekspertów oceniło trafność pozycji względem definicji konstruktu (I-CVI od [min] do [maks], S-CVI/Ave = [wartość]). Dowody oparte na strukturze wewnętrznej: konfirmacyjna analiza czynnikowa modelu [opis modelu] z estymatorem [estymator] wykazała [ocena] dopasowanie (CFI = [wartość], RMSEA = [wartość], 90% CI [[dolna], [górna]], SRMR = [wartość]); rzetelność oszacowano współczynnikiem omega (ω = [wartość]). Dowody oparte na związkach z innymi zmiennymi: zgodnie z przewidywaniami zapisanymi przed zebraniem danych wynik korelował [kierunek, siła] z [miara konstruktu bliskiego] (r = [wartość], 95% CI [[dolna], [górna]]) i [słabo / nie korelował] z [miara konstruktu odległego] (r = [wartość], 95% CI [[dolna], [górna]]). Nie badano trafności prognostycznej ani konsekwencji użycia wyników, dlatego wyniki interpretowano wyłącznie do celów badawczych, a nie diagnostycznych.

Ostatnie zdanie jest ważne: mówi recenzentowi, do jakiego użycia masz dowody, a do jakiego nie. Jeśli korzystasz z gotowego narzędzia, pierwsze zdania zastąp przeglądem dowodów z publikacji źródłowej, z podaniem autorów i populacji.

Najczęstsze błędy

  • Alfa jako jedyny dowód. Flake i in. (2017) przejrzeli artykuły w Journal of Personality and Social Psychology i stwierdzili, że współczynnik α był często jedynym podawanym wskaźnikiem psychometrycznym. Rzetelność to tylko część dowodów o strukturze wewnętrznej.
  • „Skala jest trafna”. Trafna lub nie jest interpretacja wyniku w danej populacji i do danego celu.
  • Lista nazw bez danych. Wyliczenie „trafność treściowa, zbieżna, kryterialna” bez procedur i wyników nic nie dowodzi.
  • Kryterium, które jest tym samym testem. Korelacja krótkiej i długiej wersji tej samej skali albo dwóch skal z niemal identycznymi pozycjami to słaby dowód trafności kryterialnej.
  • Przewidywania dopisane po wynikach. Wtedy każda korelacja „potwierdza” trafność.
  • Mylenie trafności narzędzia z trafnością badania. Trafność wewnętrzna i zewnętrzna dotyczą wniosków z całego badania, nie wyniku testu.

Pełną ścieżkę pracy ze skalą zbiera przewodnik po psychometrii i budowie skal. Jeśli chcesz, żeby ktoś sprawdził plan walidacji i opis dowodów trafności w Twojej pracy, zajrzyj do oferty analizy statystyczne dla studentów. Decyzje i wyniki musisz jednak rozumieć i umieć obronić samodzielnie.

Najczęstsze pytania

Ile źródeł dowodów trafności trzeba pokazać w pracy magisterskiej?

Nie ma ustalonej liczby. Przy gotowym, zwalidowanym narzędziu zwykle wystarczy przegląd dowodów z publikacji źródłowej i rzetelność we własnej próbie. Przy nowej lub adaptowanej skali realny zestaw to dwa lub trzy źródła, najczęściej treść (oceny ekspertów), struktura wewnętrzna (CFA) i związki z innymi zmiennymi (trafność zbieżna i różnicowa albo grupy znane). Im ambitniejsza interpretacja, np. punkt odcięcia do przesiewu, tym więcej dowodów potrzeba (Kane, 2013).

Czy wysoka alfa Cronbacha świadczy o trafności skali?

Nie. Alfa dotyczy rzetelności, czyli tylko części dowodów o strukturze wewnętrznej. Rzetelne wyniki są warunkiem koniecznym, ale niewystarczającym trafnej interpretacji (Cook i Beckman, 2006). Flake i in. (2017) pokazali, że w opublikowanych artykułach alfa bywa jedynym podawanym wskaźnikiem psychometrycznym, i uznali to za słabą praktykę. Do alfy lub omegi dołóż choćby korelacje z miarami bliskich i odległych konstruktów.

Gdzie wśród pięciu źródeł dowodów mieści się trafność kryterialna?

W związkach z innymi zmiennymi, jako związek wyniku z kryterium. Gdy kryterium mierzysz w tym samym czasie, mówimy o trafności diagnostycznej (równoczesnej), a gdy później – o prognostycznej. W tej samej grupie dowodów są też trafność zbieżna i różnicowa, metoda grup znanych, trafność przyrostowa i sieć nomologiczna. Różnią się tym, co jest punktem odniesienia: inna miara, kryterium, grupy albo cała teoria.

Czym trafność ekologiczna różni się od trafności zewnętrznej?

Trafność ekologiczna w psychometrii dotyczy tego, czy wynik testu wiąże się z funkcjonowaniem w codziennych warunkach, poza sytuacją badania. Trafność zewnętrzna dotyczy całego badania: czy jego wnioski można uogólnić na inne osoby, miejsca i czasy. Pierwsza jest dowodem trafności narzędzia, druga cechą planu badania.

Czy w pracy można napisać, że skala „jest trafna”?

Lepiej tego unikać. Trafna lub nietrafna jest interpretacja wyniku w określonej populacji i do określonego celu, a dowody mogą ją wspierać mocniej lub słabiej. Napisz raczej, jakie dowody zebrano, z jakich źródeł i do jakiego użycia wyników one wystarczają, np. do celów badawczych, ale nie diagnostycznych.

Powiązane hasła

Przeczytaj też

Planujesz walidację skali i nie wiesz, które dowody trafności zebrać?

Sprawdzimy plan walidacji, dobór miar porównawczych i analiz oraz wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. https://www.testingstandards.net/open-access-files.html ● Otwarty dostęp
  2. Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81–105. https://doi.org/10.1037/h0046016 ● Otwarty dostęp: pełny tekst
  3. Clark, L. A., & Watson, D. (2019). Constructing validity: New developments in creating objective measuring instruments. Psychological Assessment, 31(12), 1412–1427. https://doi.org/10.1037/pas0000626 ● Otwarty dostęp
  4. Cook, D. A., & Beckman, T. J. (2006). Current concepts in validity and reliability for psychometric instruments: Theory and application. The American Journal of Medicine, 119(2), 166.e7–166.e16. https://doi.org/10.1016/j.amjmed.2005.10.036
  5. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957 ● Otwarty dostęp: pełny tekst
  6. Flake, J. K., Pek, J., & Hehman, E. (2017). Construct validation in social and personality research: Current practice and recommendations. Social Psychological and Personality Science, 8(4), 370–378. https://doi.org/10.1177/1948550617693063
  7. Hawkins, M., Elsworth, G. R., & Osborne, R. H. (2018). Application of validity theory and methodology to patient-reported outcome measures (PROMs): Building an argument for validity. Quality of Life Research, 27(7), 1695–1710. https://doi.org/10.1007/s11136-018-1815-6 ● Otwarty dostęp
  8. Hunsley, J., & Meyer, G. J. (2003). The incremental validity of psychological testing and assessment: Conceptual, methodological, and statistical issues. Psychological Assessment, 15(4), 446–455. https://doi.org/10.1037/1040-3590.15.4.446
  9. Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. https://doi.org/10.1111/jedm.12000
  10. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066x.50.9.741
  11. Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology, 63(7), 737–745. https://doi.org/10.1016/j.jclinepi.2010.02.006 ● Otwarty dostęp
  12. Peterson, C. H., Peterson, N. A., & Powell, K. G. (2017). Cognitive interviewing for item development: Validity evidence based on content and response processes. Measurement and Evaluation in Counseling and Development, 50(4), 217–223. https://doi.org/10.1080/07481756.2017.1339564

Cytowania BibTeX

@book{aera2014standards, author={{American Educational Research Association} and {American Psychological Association} and {National Council on Measurement in Education}}, title={{Standards for educational and psychological testing}}, year={2014}, publisher={American Educational Research Association}, url={https://www.testingstandards.net/open-access-files.html}}
@article{campbell1959convergent, author={Campbell, Donald T. and Fiske, Donald W.}, title={{Convergent and discriminant validation by the multitrait-multimethod matrix}}, journal={Psychological Bulletin}, year={1959}, volume={56}, number={2}, pages={81--105}, doi={10.1037/h0046016}}
@article{clark2019constructing, author={Clark, Lee Anna and Watson, David}, title={{Constructing validity: New developments in creating objective measuring instruments}}, journal={Psychological Assessment}, year={2019}, volume={31}, number={12}, pages={1412--1427}, doi={10.1037/pas0000626}}
@article{cook2006current, author={Cook, David A. and Beckman, Thomas J.}, title={{Current concepts in validity and reliability for psychometric instruments: Theory and application}}, journal={The American Journal of Medicine}, year={2006}, volume={119}, number={2}, pages={166.e7--166.e16}, doi={10.1016/j.amjmed.2005.10.036}}
@article{cronbach1955construct, author={Cronbach, Lee J. and Meehl, Paul E.}, title={{Construct validity in psychological tests}}, journal={Psychological Bulletin}, year={1955}, volume={52}, number={4}, pages={281--302}, doi={10.1037/h0040957}}
@article{flake2017construct, author={Flake, Jessica K. and Pek, Jolynn and Hehman, Eric}, title={{Construct validation in social and personality research: Current practice and recommendations}}, journal={Social Psychological and Personality Science}, year={2017}, volume={8}, number={4}, pages={370--378}, doi={10.1177/1948550617693063}}
@article{hawkins2018application, author={Hawkins, Melanie and Elsworth, Gerald R. and Osborne, Richard H.}, title={{Application of validity theory and methodology to patient-reported outcome measures (PROMs): Building an argument for validity}}, journal={Quality of Life Research}, year={2018}, volume={27}, number={7}, pages={1695--1710}, doi={10.1007/s11136-018-1815-6}}
@article{hunsley2003incremental, author={Hunsley, John and Meyer, Gregory J.}, title={{The incremental validity of psychological testing and assessment: Conceptual, methodological, and statistical issues}}, journal={Psychological Assessment}, year={2003}, volume={15}, number={4}, pages={446--455}, doi={10.1037/1040-3590.15.4.446}}
@article{kane2013validating, author={Kane, Michael T.}, title={{Validating the interpretations and uses of test scores}}, journal={Journal of Educational Measurement}, year={2013}, volume={50}, number={1}, pages={1--73}, doi={10.1111/jedm.12000}}
@article{messick1995validity, author={Messick, Samuel}, title={{Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning}}, journal={American Psychologist}, year={1995}, volume={50}, number={9}, pages={741--749}, doi={10.1037/0003-066x.50.9.741}}
@article{mokkink2010cosmin, author={Mokkink, Lidwine B. and Terwee, Caroline B. and Patrick, Donald L. and Alonso, Jordi and Stratford, Paul W. and Knol, Dirk L. and Bouter, Lex M. and de Vet, Henrica C. W.}, title={{The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes}}, journal={Journal of Clinical Epidemiology}, year={2010}, volume={63}, number={7}, pages={737--745}, doi={10.1016/j.jclinepi.2010.02.006}}
@article{peterson2017cognitive, author={Peterson, Christina Hamme and Peterson, N. Andrew and Powell, Kristen Gilmore}, title={{Cognitive interviewing for item development: Validity evidence based on content and response processes}}, journal={Measurement and Evaluation in Counseling and Development}, year={2017}, volume={50}, number={4}, pages={217--223}, doi={10.1080/07481756.2017.1339564}}
R