Słownik metodologiczny · Pomiar i skale

Metoda grup znanych – jak sprawdzić trafność porównaniem grup?

Metoda grup znanych sprawdza, czy wynik skali różni grupy, które według teorii powinny się różnić. Pokazujemy, jak sformułować hipotezę, przykład z g Hedgesa, opis do pracy i najczęstsze błędy.

Strona główna / Słownik / Metoda grup znanych

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Metoda grup znanych to sprawdzenie trafności teoretycznej przez porównanie grup, które według teorii lub wiedzy klinicznej różnią się mierzonym konstruktem. Hipotezę o kierunku i wielkości różnicy zapisuje się przed analizą, a wynik podaje jako wielkość efektu z przedziałem ufności.

Co to jest metoda grup znanych?

Metoda grup znanych (ang. known-groups method, porównanie grup znanych) to sposób zbierania dowodów trafności teoretycznej. Sprawdzasz, czy wynik skali różni grupy, które według teorii lub wiedzy klinicznej powinny się różnić mierzonym konstruktem. Hattie i Cooksey (1984) opisali to jako jedno z kryteriów trafności i pokazali, że do oceny różnicowania wystarczą średnie. Przykład: skala lęku społecznego powinna dawać wyższe wyniki u osób z rozpoznaną fobią społeczną niż w populacji ogólnej.

Hipoteza zapisana przed analizą

Samo „istotnie różne średnie” to słaby dowód. Wytyczne COSMIN (Prinsen i in., 2018) zalecają zapisać hipotezy z góry, z kierunkiem i oczekiwaną wielkością różnicy, i uznać wynik za wystarczający, gdy co najmniej 75% wyników zgadza się z hipotezami. Różnicę wyraża się zwykle g Hedgesa z przedziałem ufności, a uzupełnieniem bywa krzywa ROC.

Przykład

Przed analizą założono, że osoby z rozpoznaną fobią społeczną (n = 40) uzyskają w nowej skali wyższy wynik niż osoby z próby ogólnej (n = 80), z efektem co najmniej g = 0.80 (dane symulowane). Średnie wyniosły 34.0 (SD = 8.2) i 23.6 (SD = 8.2). Test t Welcha: t(78.2) = 6.62, p < .001, g = 1.27, 95% CI [0.86, 1.68]. Dolna granica przedziału przekracza 0.80, więc hipoteza się potwierdziła. Wynik skali odróżniał grupy z AUC = .82, 95% CI [.74, .89].

Jak opisać w pracy

Trafność teoretyczną oceniono metodą grup znanych. Zgodnie z hipotezą sformułowaną przed analizą osoby z rozpoznaną fobią społeczną (n = 40; M = 34.0, SD = 8.2) uzyskały wyższy wynik niż osoby z próby ogólnej (n = 80; M = 23.6, SD = 8.2), t(78.2) = 6.62, p < .001, g = 1.27, 95% CI [0.86, 1.68].

Na co uważać

  • Grupy skrajne. Porównanie chorych ze zdrowymi studentami da duży efekt niemal każdej skali, ale mało mówi o różnicowaniu w zakresie, w którym narzędzie będzie używane.
  • Inne różnice między grupami. Grupa kliniczna różni się też wiekiem, nastrojem czy leczeniem. Jeśli skala lęku różni grupy tak samo jak skala depresji, różnica może nie dotyczyć lęku. Hipotezy warto więc osadzić w sieci nomologicznej.
  • Istotność zamiast wielkości. W dużych grupach nawet mała różnica jest istotna. Oceniaj efekt i jego przedział względem hipotezy.

Przykład z trzema grupami, ROC i doborem grup pokazuje wpis Metoda grup znanych – walidacja skali przez porównanie grup, a miejsce metody wśród innych dowodów – Rodzaje trafności.

Najczęstsze pytania

Czy metoda grup znanych to to samo co trafność kryterialna?

Nie. Grupy wyznaczone diagnozą przypominają kryterium, ale celem jest sprawdzenie przewidywania teoretycznego, a nie trafności decyzji. Jeśli skala ma służyć do przesiewu, potrzebne jest osobne badanie trafności diagnostycznej z punktem odcięcia.

Jak liczne powinny być porównywane grupy?

Zależy to od oczekiwanego efektu. Przy dwustronnym teście t, α = .05, mocy .80 i oczekiwanym d = 0.80 potrzeba około 26 osób w każdej grupie. Jeśli chcesz wykazać, że dolna granica przedziału przekracza próg, potrzebujesz więcej osób.

Czy wystarczy jedno porównanie dwóch grup?

Zwykle nie. Mocniejszym dowodem jest kilka hipotez, także o mniejszych różnicach albo o braku różnicy. Wytyczne COSMIN (Prinsen i in., 2018) uznają wynik za wystarczający, gdy co najmniej 75% wyników zgadza się z hipotezami.

Powiązane hasła

Trafność teoretyczna (konstruktu)Sieć nomologicznag HedgesaKrzywa ROCTrafność kryterialnaTest t dla prób niezależnych

Poradniki, w których użyjesz tego pojęcia

Poradnik

Metoda grup znanych

Dobór grup, hipotezy z kierunkiem i wielkością efektu, test Welcha i g Hedgesa z 95% CI, ROC jako uzupełnienie i pułapka grup różniących się wieloma cechami – z przykładem w R.

Czytaj →Poradnik

Rodzaje trafności – mapa dowodów

Tradycyjne nazwy trafności na mapie pięciu źródeł dowodów (Standards, 2014): jak zebrać dowód, jaka analiza, jak opisać w pracy i które 2–3 rodzaje dowodów zaplanować.

Czytaj →Poradnik

Jak zbudować i zwalidować skalę psychometryczną?

Od definicji konstruktu i tworzenia pozycji po pilotaż, EFA, CFA, rzetelność, trafność teoretyczną, różnicową i niezmienniczość.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Hattie, J., & Cooksey, R. W. (1984). Procedures for assessing the validities of tests using the “known-groups” method. Applied Psychological Measurement, 8(3), 295–305. https://doi.org/10.1177/014662168400800306 ● Otwarty dostęp: pełny tekst
  2. Prinsen, C. A. C., Mokkink, L. B., Bouter, L. M., Alonso, J., Patrick, D. L., de Vet, H. C. W., & Terwee, C. B. (2018). COSMIN guideline for systematic reviews of patient-reported outcome measures. Quality of Life Research, 27(5), 1147–1157. https://doi.org/10.1007/s11136-018-1798-3 ● Otwarty dostęp

Cytowania BibTeX

@article{hattie1984procedures, author={Hattie, John and Cooksey, Ray W.}, title={{Procedures for assessing the validities of tests using the “known-groups” method}}, journal={Applied Psychological Measurement}, year={1984}, volume={8}, number={3}, pages={295--305}, doi={10.1177/014662168400800306}}
@article{prinsen2018cosmin, author={Prinsen, C. A. C. and Mokkink, L. B. and Bouter, L. M. and Alonso, J. and Patrick, D. L. and de Vet, H. C. W. and Terwee, C. B.}, title={{COSMIN guideline for systematic reviews of patient-reported outcome measures}}, journal={Quality of Life Research}, year={2018}, volume={27}, number={5}, pages={1147--1157}, doi={10.1007/s11136-018-1798-3}}
R