Słownik metodologiczny · Pomiar i skale

Responsywność narzędzia – jak sprawdzić wrażliwość na zmianę?

Responsywność to zdolność narzędzia do wykrywania zmiany w czasie. Pokazujemy dwa podejścia do jej oceny, przykład z kotwicą i krzywą ROC, opis do pracy i najczęstsze pomyłki.

Strona główna / Słownik / Responsywność narzędzia

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Responsywność narzędzia to jego zdolność do wykrywania zmiany mierzonego konstruktu w czasie. Ocenia się ją głównie z kotwicą, czyli zewnętrznym kryterium zmiany, a wskaźniki rozkładowe, takie jak SRM, opisują jedynie wielkość zmiany w próbie.

Co to jest responsywność narzędzia?

Responsywność narzędzia (ang. responsiveness, wrażliwość na zmianę) to zdolność narzędzia do wykrywania zmiany mierzonego konstruktu w czasie. W taksonomii COSMIN (Mokkink i in., 2010) responsywność dotyczy trafności wyniku zmiany, a panel ekspertów długo dyskutował jej miejsce wśród właściwości pomiarowych. Narzędzie rzetelne w jednym pomiarze nie musi dobrze oddawać zmiany, dlatego responsywność bada się osobno, w badaniu podłużnym.

Dwa podejścia

Husted i in. (2000) odróżniają responsywność wewnętrzną (jak bardzo zmienia się wynik w określonym czasie) od zewnętrznej (czy zmiana wyniku idzie w parze ze zmianą w mierze odniesienia). Pierwszą opisują wskaźniki rozkładowe, np. SRM. Drugą sprawdza się z kotwicą, np. pytaniem do badanego o zmianę jego stanu: korelacją zmiany z kotwicą i krzywą ROC. Terwee i in. (2003) znaleźli 25 definicji i 31 miar responsywności. Zauważyli, że miary efektu leczenia mało mówią o tym, czy narzędzie spełnia swój cel.

Przykład

Dwie skale wypełniło przed i po terapii 150 osób, a po terapii każda oceniła swoją zmianę: gorzej (n = 26), bez zmian (n = 59), lepiej (n = 65) (dane symulowane). Zmiana w skali A korelowała z kotwicą, ρ = .62, a w skali B – tylko ρ = .18. Skala A odróżniała poprawę od braku zmiany z AUC = .77, 95% CI [.69, .85], skala B z AUC = .58, 95% CI [.48, .69]. Mimo to SRM skali B był wyższy (0.71 wobec 0.42), bo jej wynik przesunął się u wszystkich.

Jak opisać w pracy

Responsywność oceniono z kotwicą (ocena zmiany przez badanych, 3 kategorie, n = 150). Zmiana w skali A korelowała z kotwicą, ρ = .62, i odróżniała osoby z poprawą od osób bez zmian, AUC = .77, 95% CI [.69, .85].

Na co uważać

  • Wysoki SRM to nie dowód. Wskaźniki rozkładowe opisują wielkość zmiany w próbie, a nie to, czy narzędzie mierzy właściwą zmianę.
  • Brak hipotez. Zapisz przed analizą oczekiwane korelacje i AUC.
  • Efekt sufitu i podłogi ogranicza możliwą zmianę.
  • Mylenie z progami. Responsywność dotyczy narzędzia w grupie. Progi dla jednej osoby to MCID i MDC.

Oba podejścia na jednym zbiorze danych pokazuje wpis Responsywność narzędzia – wrażliwość na zmianę, SRM i metody z kotwicą, a progi dla pojedynczego pacjenta – RCI, MDC i MCID.

Najczęstsze pytania

Czy rzetelna skala jest zawsze responsywna?

Nie. Wysoka alfa Cronbacha czy dobry test–retest mówią o różnicach między osobami i stabilności pomiaru, a nie o tym, czy narzędzie oddaje zmianę u tych samych osób. Responsywność trzeba zbadać osobno, w badaniu podłużnym.

Czym responsywność różni się od MCID?

Responsywność to właściwość narzędzia: czy zmiana wyniku idzie w parze z rzeczywistą zmianą. MCID to próg wielkości zmiany, którą badani uznają za ważną. Oba wyniki mogą pochodzić z tej samej kotwicy, ale odpowiadają na inne pytania.

Czy wysoki SRM wystarczy jako dowód responsywności?

Nie. Terwee i in. (2003) zauważyli, że miary efektu leczenia mało mówią o tym, czy narzędzie spełnia swój cel. SRM zależy od skuteczności terapii i próby, dlatego dowodem są hipotezy o związku zmiany z kotwicą.

Powiązane hasła

SRM – standaryzowana średnia odpowiedźMCID – minimalna istotna klinicznie różnicaMinimalna wykrywalna zmiana (MDC)Krzywa ROCEfekt sufitu i efekt podłogiTrafność teoretyczna (konstruktu)

Poradniki, w których użyjesz tego pojęcia

Poradnik

Responsywność narzędzia

Definicja COSMIN, ES, SRM i wskaźnik Guyatta, korelacja zmiany z kotwicą, AUC i hipotezy – przykład w R i wzór opisu wyników.

Czytaj →Poradnik

RCI, MDC i MCID

SEM, MDC95, RCI i kryteria Jacobsona–Truaxa, MCID z kotwicy i metod rozkładowych, analiza responderów z 95% CI i koszt dychotomizacji – z kodem R.

Czytaj →Poradnik

Rodzaje trafności – mapa dowodów

Tradycyjne nazwy trafności na mapie pięciu źródeł dowodów (Standards, 2014): jak zebrać dowód, jaka analiza, jak opisać w pracy i które 2–3 rodzaje dowodów zaplanować.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Husted, J. A., Cook, R. J., Farewell, V. T., & Gladman, D. D. (2000). Methods for assessing responsiveness: A critical review and recommendations. Journal of Clinical Epidemiology, 53(5), 459–468. https://doi.org/10.1016/s0895-4356(99)00206-1
  2. Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology, 63(7), 737–745. https://doi.org/10.1016/j.jclinepi.2010.02.006 ● Otwarty dostęp
  3. Terwee, C. B., Dekker, F. W., Wiersinga, W. M., Prummel, M. F., & Bossuyt, P. M. M. (2003). On assessing responsiveness of health-related quality of life instruments: Guidelines for instrument evaluation. Quality of Life Research, 12(4), 349–362. https://doi.org/10.1023/a:1023499322593

Cytowania BibTeX

@article{husted2000methods, author={Husted, Janice A. and Cook, Richard J. and Farewell, Vern T. and Gladman, Dafna D.}, title={{Methods for assessing responsiveness: A critical review and recommendations}}, journal={Journal of Clinical Epidemiology}, year={2000}, volume={53}, number={5}, pages={459--468}, doi={10.1016/s0895-4356(99)00206-1}}
@article{mokkink2010cosmin, author={Mokkink, Lidwine B. and Terwee, Caroline B. and Patrick, Donald L. and Alonso, Jordi and Stratford, Paul W. and Knol, Dirk L. and Bouter, Lex M. and de Vet, Henrica C. W.}, title={{The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes}}, journal={Journal of Clinical Epidemiology}, year={2010}, volume={63}, number={7}, pages={737--745}, doi={10.1016/j.jclinepi.2010.02.006}}
@article{terwee2003assessing, author={Terwee, Caroline B. and Dekker, Friedo W. and Wiersinga, Wilmar M. and Prummel, Mark F. and Bossuyt, Patrick M. M.}, title={{On assessing responsiveness of health-related quality of life instruments: Guidelines for instrument evaluation}}, journal={Quality of Life Research}, year={2003}, volume={12}, number={4}, pages={349--362}, doi={10.1023/a:1023499322593}}
R