Co oznacza Obiektywność (psychometria)?
Zastosowanie, warunki i dobre praktyki
Obiektywność dotyczy ograniczenia wpływu osoby przeprowadzającej, oceniającej lub interpretującej test. Wspierają ją jednolita instrukcja, jednoznaczny klucz, szkolenie i ocena zgodności sędziów. Nie oznacza bezbłędności ani neutralności konstruktu: nawet w pełni automatycznie punktowany test może mieć stronniczą treść, niewłaściwe normy lub słabą trafność. Gdy ocenę tworzą sędziowie, potrzebna jest miara zgodności dobrana do rodzaju wyniku oraz opis liczby oceniających i procedury rozstrzygania rozbieżności.
Najważniejsze zastosowanie: Zapewniaj przez standaryzowane instrukcje, klucze, szkolenie oceniających i ocenę zgodności.
Jak poprawnie stosować i interpretować hasło „Obiektywność (psychometria)”?
W analizie dotyczącej hasła „Obiektywność (psychometria)” obiektywność pomiaru ocenia się osobno na etapie przeprowadzania testu, punktowania odpowiedzi i interpretacji wyniku. Dla interpretacji hasła „Obiektywność (psychometria)” trzeba ustalić, w których miejscach decyzja osoby badającej lub sędziego może zmienić rezultat, a następnie ograniczyć ten wpływ za pomocą jednolitej instrukcji, klucza, szkolenia i reguł rozstrzygania niejednoznaczności.
W odniesieniu do hasła „Obiektywność (psychometria)”, jeżeli wynik zależy od oceny sędziów, obiektywność sprawdza się na niezależnie zakodowanym materiale. Przy ocenie hasła „Obiektywność (psychometria)” miarę zgodności dobiera się do skali wyniku i schematu oceniania: kappa odpowiada kategoriom, a właściwy wariant ICC — wynikom ilościowym. W analizie dotyczącej hasła „Obiektywność (psychometria)” wysoka zgodność nie wystarcza, gdy wszyscy sędziowie stosują ten sam błędny klucz lub znają oczekiwany wynik.
Co trzeba opisać w raporcie?
W analizie dotyczącej hasła „Obiektywność (psychometria)” w raporcie należy opisać standaryzację instrukcji, liczbę i przygotowanie oceniających, zaślepienie, klucz punktowania oraz procedurę rozbieżności. Dla interpretacji hasła „Obiektywność (psychometria)”, jeśli liczono zgodność, trzeba podać nazwę i wariant współczynnika, estymatę z przedziałem ufności, liczbę ocenianych obiektów oraz to, czy raportowana jest zgodność pojedynczego sędziego czy średniej ocen.
Zakres raportowania dla hasła „Obiektywność (psychometria)”: Opisz procedurę, zaślepienie, szkolenie i zgodność oceniających.
Przykład praktyczny i gotowa interpretacja
Sytuacja: Dwóch sędziów koduje wypowiedzi według jawnego klucza, a zgodność jest oceniana ICC/kappa.
Jak ją zinterpretować: Podobny wynik niezależnie od osoby badającej lub oceniającej wspiera obiektywność procedury. Nie dowodzi jednak trafności treści ani braku stronniczości; potrzebna jest standaryzacja i, gdy właściwe, zgodność sędziów.
Najczęstsza pułapka i granica interpretacji
Automatyczny wynik nie jest obiektywny, jeśli reguły i dane uczące są obciążone.
W odniesieniu do hasła „Obiektywność (psychometria)” obiektywność nie jest synonimem rzetelności ani trafności. Przy ocenie hasła „Obiektywność (psychometria)” wynik może być niezależny od osoby badającej, a jednocześnie systematycznie mierzyć niewłaściwą cechę, opierać się na stronniczych normach albo prowadzić do niesprawiedliwych decyzji.
Definicje, zalecenia interpretacyjne i sposób raportowania oparto na literaturze metodologicznej wskazanej w bibliografii (McNeish, 2018).
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Alfa Cronbacha: jak oceniać rzetelność skali bez uproszczeń
Alfa Cronbacha krok po kroku: wzór, założenia, interpretacja, ograniczenia i sytuacje, w których lepiej raportować współczynnik omega.
Czytaj →PoradnikAnaliza czynnikowa EFA i CFA: jak dobrać metodę i uniknąć błędów
EFA i CFA w praktyce: liczba czynników, metoda ekstrakcji, rotacja, ładunki, walidacja oraz najczęstsze błędy w analizie czynnikowej.
Czytaj →PoradnikAnaliza ankiety do pracy licencjackiej i magisterskiej
Analiza ankiety do pracy dyplomowej: przygotowanie bazy, kodowanie pytań, skale, testy, modele i raport wyników do licencjatu lub magisterki.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Oferta dla badaczyOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological Methods, 23(3), 412–433. https://doi.org/10.1037/met0000144
- Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399–412. https://doi.org/10.1111/bjop.12046
- Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107–120. https://doi.org/10.1007/s11336-008-9101-0
- Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. https://doi.org/10.1037/amp0000191
- Fabrigar, L. R., Wegener, D. T., MacCallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 4(3), 272–299. https://doi.org/10.1037/1082-989X.4.3.272
- Hayton, J. C., Allen, D. G., & Scarpello, V. (2004). Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, 7(2), 191–205. https://doi.org/10.1177/1094428104263675
Cytowania BibTeX
@article{mcneish2018alpha, author={McNeish, Daniel}, title={Thanks coefficient alpha, we’ll take it from here}, journal={Psychological Methods}, year={2018}, volume={23}, number={3}, pages={412--433}, doi={10.1037/met0000144}}@article{dunn2014omega, author={Dunn, Thomas J. and Baguley, Thom and Brunsden, Vivienne}, title={From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation}, journal={British Journal of Psychology}, year={2014}, volume={105}, number={3}, pages={399--412}, doi={10.1111/bjop.12046}}@article{sijtsma2009alpha, author={Sijtsma, Klaas}, title={On the use, the misuse, and the very limited usefulness of Cronbach’s alpha}, journal={Psychometrika}, year={2009}, volume={74}, number={1}, pages={107--120}, doi={10.1007/s11336-008-9101-0}}@article{appelbaum2018jars, author={Appelbaum, Mark and Cooper, Harris and Kline, Rex B. and Mayo-Wilson, Evan and Nezu, Arthur M. and Rao, Stephen M.}, title={Journal article reporting standards for quantitative research in psychology}, journal={American Psychologist}, year={2018}, volume={73}, number={1}, pages={3--25}, doi={10.1037/amp0000191}}@article{fabrigar1999efa, author={Fabrigar, Leandre R. and Wegener, Duane T. and MacCallum, Robert C. and Strahan, Erin J.}, title={Evaluating the use of exploratory factor analysis in psychological research}, journal={Psychological Methods}, year={1999}, volume={4}, number={3}, pages={272--299}, doi={10.1037/1082-989X.4.3.272}}@article{hayton2004parallel, author={Hayton, James C. and Allen, David G. and Scarpello, Vida}, title={Factor retention decisions in exploratory factor analysis: a tutorial on parallel analysis}, journal={Organizational Research Methods}, year={2004}, volume={7}, number={2}, pages={191--205}, doi={10.1177/1094428104263675}}