Prace dyplomowe · Badania jakościowe

Jak opisać badanie jakościowe w rozdziale metodologicznym: paradygmat, refleksyjność, wiarygodność i wzór opisu

Co napisać o paradygmacie, doborze uczestników, pozycji badacza, procedurze i analizie, jakie kryteria wiarygodności zastępują trafność i rzetelność oraz jak użyć list COREQ i SRQR. Z tabelą odpowiedników kryteriów i wzorem opisu do skopiowania.

Strona główna / Blog / Badanie jakościowe w metodologii
W skrócie: W rozdziale metodologicznym badania jakościowego hipotezy, zmienne i analizę mocy zastępują paradygmat i podejście, uzasadnienie doboru, opis pozycji badacza oraz kryteria wiarygodności: credibility, transferability, dependability i confirmability według Lincolna i Guby. Opisz konkretne kroki analizy i strategie, które naprawdę zastosowano. Na koniec sprawdź rozdział z listą COREQ (wywiady, grupy fokusowe) albo SRQR (każde badanie jakościowe).

Co zmienia się w rozdziale metodologicznym, gdy badanie jest jakościowe

Ogólne zasady pisania tej części pracy opisujemy we wpisie rozdział metodologiczny – jak go napisać. Tamten przykład jest ilościowy: hipotezy, zmienne, analiza mocy, rzetelność skal i plan testów. W badaniu jakościowym część podrozdziałów zostaje (dobór, procedura, etyka), ale zmienia się ich treść. Hipotezy, operacjonalizację i analizę mocy zastępują inne elementy:

  • paradygmat i podejście: jak rozumiesz wiedzę i jaką tradycję jakościową wybierasz;
  • pozycja badacza: kim jesteś wobec tematu i uczestników;
  • kryteria wiarygodności zamiast trafności i rzetelności pomiaru.

Rozdział ma przede wszystkim pokazać spójność. Paradygmat, pytanie, dobór, sposób zbierania danych i metoda analizy muszą do siebie pasować. Levitt i in. (2018) opracowali dla psychologii standardy JARS-Qual. Opisują one, co powinno znaleźć się w raporcie, z poszanowaniem różnych tradycji jakościowych. Dwie listy kontrolne, COREQ i SRQR, omawiamy niżej.

Schemat siedmiu kolejnych podrozdziałów: paradygmat i podejście, dobór uczestników, pozycja badacza, procedura zbierania danych, analiza, kryteria wiarygodności, etyka i dane. Przy każdym jest pytanie, na które odpowiada. Wzdłuż wszystkich etapów biegnie pasek: refleksyjność i ścieżka audytu, czyli notatki przez cały proces.
Rysunek 1. Siedem decyzji, które opisujesz w rozdziale metodologicznym badania jakościowego. Przy każdej jest pytanie czytelnika, na które odpowiada podrozdział. Refleksyjność i ścieżka audytu nie są osobnym etapem, tylko dokumentacją prowadzoną przez cały czas.

W dalszej części posługujemy się jednym fikcyjnym przykładem. Studentka psychologii bada, jak studenci pierwszego roku doświadczają korzystania z uczelnianej pomocy psychologicznej. Przeprowadza wywiady pogłębione i stosuje refleksyjną analizę tematyczną.

Paradygmat i podejście badawcze

Zacznij od jednego, dwóch zdań o tym, jak rozumiesz wiedzę, którą wytwarza badanie. Najczęściej w pracach z psychologii przyjmuje się stanowisko konstruktywistyczne lub interpretacyjne: badasz znaczenia, jakie ludzie nadają doświadczeniom. Rzadziej jest to stanowisko realistyczne, gdy szukasz mechanizmów istniejących niezależnie od rozmówców. Nie musisz pisać rozprawy filozoficznej, ale stanowisko ma konsekwencje. Braun i Clarke (2006) opisują analizę tematyczną jako metodę elastyczną teoretycznie i sytuują ją wobec różnych stanowisk epistemologicznych. Ta elastyczność sprawia, że stanowisko trzeba nazwać samodzielnie.

Potem nazwij podejście i uzasadnij wybór pytaniem badawczym:

Zdanie „badanie miało charakter jakościowy” to za mało. Napisz, które podejście wybrano, według jakiego autora i dlaczego pasuje do pytania.

Dobór uczestników i uzasadnienie ich liczby

W badaniach jakościowych stosuje się zwykle dobór celowy. Opisz kryteria włączenia i wyłączenia, kanały rekrutacji, liczbę osób zaproszonych i tych, które odmówiły, oraz uzasadnienie liczby uczestników. Uzasadnienie to nie jest analiza mocy. Malterud i in. (2016) proponują pojęcie mocy informacyjnej (information power): im więcej istotnych dla celu informacji niesie próba, tym mniej osób potrzeba. Moc informacyjna zależy od celu badania, specyficzności próby, użycia teorii, jakości dialogu i strategii analizy. Drugim częstym argumentem jest nasycenie. Różnice między rodzajami nasycenia i konkretne wyniki badań empirycznych opisujemy we wpisie ile wywiadów przeprowadzić. Nie podawaj liczby wywiadów jako normy, bez wskazania, skąd się wzięła.

Pozycja badacza i refleksyjność

W badaniu jakościowym badacz jest częścią procesu: prowadzi rozmowy, wybiera fragmenty i interpretuje dane. Olmos-Vega i in. (2023) opisują refleksyjność jako zbiór ciągłych praktyk. Badacz świadomie analizuje, jak jego subiektywność i kontekst wpływają na badanie. Autorzy traktują subiektywność jako zasób, który trzeba opisać, a nie błąd do wyeliminowania. Pierwsza domena listy COREQ nosi nazwę „zespół badawczy i refleksyjność” (Tong i in., 2007). Czytelnik i recenzent oczekują więc tych informacji wprost. W podrozdziale napisz:

  • kim jesteś (np. studentka psychologii, osoba pracująca w badanej instytucji) i czy uczestnicy znali Cię przed badaniem;
  • jakie masz doświadczenia i założenia związane z tematem;
  • jak je dokumentujesz, np. w dzienniku refleksyjnym, który Korstjens i Moser (2018) wymieniają jako strategię refleksyjności;
  • jak mogły wpłynąć na rozmowy i interpretację oraz co z tym robisz (np. omówienie kodów z promotorem).

W przykładzie studentka sama korzystała kiedyś z uczelnianej pomocy. Nie ukrywa tego. Opisuje, jak to doświadczenie mogło ukierunkować jej pytania, i zaznacza, że wątki krytyczne wobec poradni sprawdzała ze szczególną uwagą.

Procedura zbierania danych

Opisz przebieg tak, by czytelnik mógł go sobie wyobrazić. Ważne są miejsce i forma rozmów (na żywo, online), czas trwania, kto je prowadził, scenariusz i jego pilotaż, sposób nagrywania, notatki terenowe oraz zasady transkrypcji. Szczegóły przygotowania scenariusza i nagrania omawiamy w poradniku wywiad pogłębiony w pracy dyplomowej, a specyfikę rozmów grupowych – w tekście o zogniskowanym wywiadzie grupowym.

Etykę opisz krótko, ale konkretnie. Podaj, jak uzyskano świadomą zgodę, także na nagrywanie, i jak anonimizowano wypowiedzi (pseudonimy, usunięte szczegóły). Napisz też, gdzie i jak długo przechowujesz nagrania i transkrypcje oraz kto ma do nich dostęp. Czy potrzebna jest zgoda komisji bioetycznej, sprawdź w regulaminie swojej uczelni.

Analiza danych

Nazwij metodę i podaj źródło, według którego ją prowadzono. Opisz kolejne kroki, a nie tylko nazwę: jak zapoznawano się z danymi, jak kodowano, jak powstawały i jak były sprawdzane tematy. Napisz, kto kodował, czy kody ustalono z góry, czy wyłoniły się z danych, i jak rozstrzygano rozbieżności. Podaj program (np. NVivo, MAXQDA, ATLAS.ti albo darmowe QualCoder i Taguette) albo napisz, że kodowano ręcznie. Program jest tylko narzędziem i nie zastępuje opisu metody.

Nowell i in. (2017) podkreślają, że analiza jest wiarygodna, gdy badacz rejestruje, porządkuje i ujawnia kolejne decyzje. Tylko wtedy czytelnik może ocenić proces. Dobrym dodatkiem jest więc tabela z przykładami kodowania w aneksie. Wypowiedzi poniżej są fikcyjne i ilustracyjne:

Fikcyjny przykład tabeli kodowania do aneksu: fragment wypowiedzi, kod i temat
Fragment (fikcyjny)KodTemat
„Długo myślałem, że poradnia jest dla ludzi w kryzysie, nie dla mnie.”pomoc tylko w kryzysie„Czy mam prawo prosić o pomoc?”
„Zapisałam się dopiero, gdy koleżanka powiedziała, że to normalne.”przyzwolenie rówieśników„Czy mam prawo prosić o pomoc?”
„Czekałem trzy tygodnie i w tym czasie prawie zrezygnowałem.”czas oczekiwaniaBariery organizacyjne

Jeśli liczysz zgodność dwóch kodujących, np. kappę Cohena, opisz, na jakiej części materiału i po co. Czy taki wskaźnik pasuje do Twojego podejścia, wyjaśniamy w poradniku o analizie tematycznej. Ilościowe kodowanie krótkich odpowiedzi z kluczem kategorii omawiamy osobno, w tekście o analizie treści pytań otwartych.

Kryteria wiarygodności: odpowiedniki kryteriów ilościowych

Trafność i rzetelność w rozumieniu ilościowym nie pasują do oceny badań jakościowych. Lincoln i Guba (1985) zaproponowali w ich miejsce kryteria wiarygodności (trustworthiness). Korstjens i Moser (2018) przypisują każdemu z nich odpowiednik ilościowy i strategie. Wiarygodność w tym znaczeniu to coś innego niż rzetelność w psychometrii, czyli dokładność pomiaru skalą.

Kryteria ilościowe i ich jakościowe odpowiedniki według Lincolna i Guby z przykładowymi strategiami
Kryterium ilościoweOdpowiednik jakościowyO co chodziPrzykładowe strategie
Trafność wewnętrznawiarygodność ustaleń (credibility)Czy ustalenia wiernie oddają dane i perspektywę uczestnikówdługotrwałe zaangażowanie, wytrwała obserwacja, triangulacja, sprawdzanie przez uczestników (member check)
Trafność zewnętrzna, uogólnialnośćprzenaszalność (transferability)Czy wnioski można odnieść do innych kontekstów; ocenia to czytelnikgęsty opis uczestników, kontekstu i procesu
Rzetelnośćstałość (dependability)Czy proces analizy był spójny i zgodny ze standardami podejściaścieżka audytu (audit trail): zapis decyzji, wersji kodów, spotkań
Obiektywnośćpotwierdzalność (confirmability)Czy interpretacje wynikają z danych, a nie z preferencji badaczaścieżka audytu, dziennik refleksyjny

Do tabeli Korstjens i Moser (2018) dodają refleksyjność jako integralną część jakości. W pracy nie wymieniaj wszystkich strategii „dla porządku”. Opisz te, które faktycznie zastosowano, i wyjaśnij, dlaczego pominięto inne. Na przykład sprawdzanie ustaleń przez uczestników nie zawsze jest możliwe (Korstjens i Moser, 2018).

COREQ i SRQR jako lista kontrolna rozdziału

Dwie listy kontrolne pomagają sprawdzić, czy niczego nie pominięto. Nie przepisuj ich do pracy. Pobierz oryginał z artykułu źródłowego albo z bazy wytycznych EQUATOR i przejdź przez nie przed oddaniem rozdziału.

Porównanie list kontrolnych COREQ i SRQR i sposób ich użycia w pracy magisterskiej
ListaDo jakich badańBudowaJak użyć w pracy
COREQ (Tong i in., 2007)Wywiady pogłębione i grupy fokusowe32 pozycje w trzech domenach: zespół badawczy i refleksyjność, projekt badania, analiza i raportowanieSprawdź, czy rozdział opisuje badacza, dobór, miejsce, sposób nagrania, wyprowadzanie tematów i cytaty
SRQR (O’Brien i in., 2014)Wszystkie badania jakościowe, różne paradygmaty i metody21 pozycji dla całego raportu: od tytułu i streszczenia po finansowanieSprawdź spójność całej pracy, także paradygmatu i kryteriów wiarygodności

Przy pracy opartej na wywiadach COREQ jest zwykle bardziej szczegółowy dla części metodologicznej, a SRQR obejmuje cały raport. Możesz dołączyć wypełnioną listę w aneksie ze wskazaniem stron. Korstjens i Moser (2018) zauważają, że coraz więcej czasopism prosi o dołączenie takiej listy do zgłaszanego artykułu.

Wzór opisu do skopiowania

Dwa fragmenty dla fikcyjnego badania z przykładu. Zastąp nawiasy własnymi danymi i usuń elementy, które Ciebie nie dotyczą.

Przyjęto jakościowy projekt badania w paradygmacie konstruktywistycznym: celem było zrozumienie znaczeń, jakie studenci pierwszego roku nadają korzystaniu z uczelnianej pomocy psychologicznej. Zastosowano refleksyjną analizę tematyczną (Braun i Clarke, 2006), ponieważ pytanie badawcze dotyczyło wzorców znaczeń w doświadczeniach wielu osób. Uczestników dobrano celowo. Kryteriami włączenia były: status studenta pierwszego roku [kierunki], co najmniej jedna konsultacja w uczelnianej poradni w ostatnich [liczba] miesiącach i ukończone 18 lat. Rekrutacja odbywała się przez [kanały]; zgłosiło się [liczba] osób, a w badaniu wzięło udział [liczba]. Liczbę uczestników uzasadniono mocą informacyjną próby (Malterud i in., 2016): [krótkie uzasadnienie: wąski cel, specyficzna próba, jakość rozmów]. Badania prowadziła autorka pracy, studentka psychologii, która wcześniej sama korzystała z pomocy uczelnianej poradni i nie znała uczestników. Swoje założenia i reakcje zapisywała w dzienniku refleksyjnym przez cały czas trwania badania.
Wywiady częściowo ustrukturyzowane przeprowadzono w okresie [daty] [na żywo / przez platformę wideo]. Trwały od [min.] do [min.] minut. Scenariusz zawierał [liczba] pytań otwartych z dopytaniami i został sprawdzony w wywiadzie pilotażowym, po którym [zmiany]. Rozmowy nagrywano za zgodą uczestników i transkrybowano dosłownie. W transkrypcjach zastąpiono imiona pseudonimami i usunięto szczegóły umożliwiające identyfikację. Nagrania przechowywano [gdzie, zabezpieczenia] i usunięto po [termin]. Analizę prowadzono w programie [nazwa, wersja / ręcznie] w krokach opisanych przez Braun i Clarke (2006). Kodowała autorka, a kody i robocze tematy omawiano z promotorem na [liczba] spotkaniach. Aby zwiększyć wiarygodność, prowadzono ścieżkę audytu (wersje książki kodów, notatki z decyzji) i dziennik refleksyjny, a w wynikach przedstawiono gęsty opis kontekstu i cytaty z wypowiedzi różnych uczestników (Korstjens i Moser, 2018). Rozdział sprawdzono z listą COREQ (Tong i in., 2007); wypełnioną listę zamieszczono w aneksie [numer].

Najczęstsze błędy – źle i dobrze

Typowe błędy w opisie badania jakościowego i ich poprawione wersje
ŹleDlaczegoDobrze
„Badanie miało charakter jakościowy.”Nie wiadomo, jakie podejście zastosowano„Zastosowano refleksyjną analizę tematyczną w paradygmacie konstruktywistycznym.”
„Przeprowadzono 12 wywiadów, co jest wystarczające.”Liczba bez uzasadnienia„Liczbę uczestników uzasadniono mocą informacyjną próby: …”
Hipotezy i „zmienne” w badaniu wywiadamiJęzyk ilościowy nie pasuje do projektuPytania badawcze otwarte: „Jak…”, „W jaki sposób…”
„Dane przeanalizowano w programie NVivo.”Program to nie metodaMetoda, źródło, kroki, kto kodował, a program na końcu
„Badaczka zachowała pełną obiektywność.”Ignoruje rolę badaczaOpis pozycji badaczki i sposobu dokumentowania refleksji
Wymienione wszystkie kryteria Lincolna i Guby bez opisuDeklaracja zamiast działańKonkretne strategie, które zastosowano, i powód pominięcia innych

Jeśli w badaniu łączysz wywiady z ankietą i nie wiesz, jak opisać część ilościową, pomocna będzie oferta analiz dla studentów. Pamiętaj, że rozdział i interpretacja muszą pozostać Twoje.

Najczęstsze pytania

Co napisać o paradygmacie badawczym w pracy jakościowej?

Wystarczą dwa, trzy zdania: jak rozumiesz wiedzę wytwarzaną w badaniu (np. konstruktywistycznie, jako znaczenia nadawane doświadczeniom), jakie podejście z tego wynika (np. analiza tematyczna, IPA, teoria ugruntowana) i dlaczego pasuje do pytania badawczego. Braun i Clarke (2006) podkreślają, że nawet elastyczną analizę tematyczną trzeba osadzić w konkretnym stanowisku epistemologicznym.

Czy w pracy magisterskiej użyć listy COREQ czy SRQR?

Przy badaniu opartym na wywiadach pogłębionych lub grupach fokusowych najwygodniejsza jest COREQ: 32 pozycje w trzech domenach (Tong i in., 2007). SRQR ma 21 pozycji i obejmuje każde badanie jakościowe oraz cały raport (O’Brien i in., 2014). Możesz użyć obu: COREQ do rozdziału metodologicznego, SRQR do sprawdzenia całej pracy.

Jak opisać refleksyjność w rozdziale metodologicznym pracy?

Napisz, kim jesteś wobec tematu i uczestników, jakie masz doświadczenia i założenia, jak je dokumentowano (np. dziennik refleksyjny) i jak mogły wpłynąć na rozmowy i interpretację. Olmos-Vega i in. (2023) traktują subiektywność badacza jako zasób do opisania, a nie błąd do usunięcia.

Jakie kryteria wiarygodności opisać w pracy jakościowej?

Najczęściej cztery kryteria Lincolna i Guby (1985): wiarygodność ustaleń (credibility), przenaszalność (transferability), stałość (dependability) i potwierdzalność (confirmability), uzupełnione refleksyjnością (Korstjens i Moser, 2018). Do każdego podaj strategię, którą naprawdę zastosowano, np. triangulację, gęsty opis albo ścieżkę audytu.

Czy w badaniu jakościowym stawia się hipotezy?

Zwykle nie. Badanie jakościowe zaczyna się od otwartych pytań badawczych typu „jak” i „w jaki sposób”, a nie od przewidywań do statystycznego sprawdzenia. Wyjątkiem są propozycje teoretyczne w niektórych studiach przypadku. Wtedy nazwij je propozycjami, a nie hipotezami, i opisz, jak szukano wyjaśnień konkurencyjnych.

Powiązane hasła

Przeczytaj też

Łączysz w pracy wywiady z ankietą i nie wiesz, jak opisać część ilościową?

Pomożemy zaplanować i policzyć analizy części ilościowej oraz wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać, zestawić z wywiadami i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77–101. https://doi.org/10.1191/1478088706qp063oa ● Otwarty dostęp
  2. Korstjens, I., & Moser, A. (2018). Series: Practical guidance to qualitative research. Part 4: Trustworthiness and publishing. European Journal of General Practice, 24(1), 120–124. https://doi.org/10.1080/13814788.2017.1375092 ● Otwarty dostęp
  3. Levitt, H. M., Bamberg, M., Creswell, J. W., Frost, D. M., Josselson, R., & Suárez-Orozco, C. (2018). Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 26–46. https://doi.org/10.1037/amp0000151 ● Otwarty dostęp
  4. Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. SAGE Publications.
  5. Malterud, K., Siersma, V. D., & Guassora, A. D. (2016). Sample size in qualitative interview studies: Guided by information power. Qualitative Health Research, 26(13), 1753–1760. https://doi.org/10.1177/1049732315617444
  6. Nowell, L. S., Norris, J. M., White, D. E., & Moules, N. J. (2017). Thematic analysis: Striving to meet the trustworthiness criteria. International Journal of Qualitative Methods, 16(1), Article 1609406917733847. https://doi.org/10.1177/1609406917733847 ● Otwarty dostęp
  7. Olmos-Vega, F. M., Stalmeijer, R. E., Varpio, L., & Kahlke, R. (2023). A practical guide to reflexivity in qualitative research: AMEE Guide No. 149. Medical Teacher, 45(3), 241–251. https://doi.org/10.1080/0142159x.2022.2057287 ● Otwarty dostęp
  8. O’Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A., & Cook, D. A. (2014). Standards for reporting qualitative research: A synthesis of recommendations. Academic Medicine, 89(9), 1245–1251. https://doi.org/10.1097/acm.0000000000000388
  9. Tong, A., Sainsbury, P., & Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): A 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349–357. https://doi.org/10.1093/intqhc/mzm042 ● Otwarty dostęp

Cytowania BibTeX

@article{braun2006using, author={Braun, Virginia and Clarke, Victoria}, title={{Using thematic analysis in psychology}}, journal={Qualitative Research in Psychology}, year={2006}, volume={3}, number={2}, pages={77--101}, doi={10.1191/1478088706qp063oa}}
@article{korstjens2018series, author={Korstjens, Irene and Moser, Albine}, title={{Series: Practical guidance to qualitative research. Part 4: Trustworthiness and publishing}}, journal={European Journal of General Practice}, year={2018}, volume={24}, number={1}, pages={120--124}, doi={10.1080/13814788.2017.1375092}}
@article{levitt2018journal, author={Levitt, Heidi M. and Bamberg, Michael and Creswell, John W. and Frost, David M. and Josselson, Ruthellen and Suárez-Orozco, Carola}, title={{Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology: The APA Publications and Communications Board task force report}}, journal={American Psychologist}, year={2018}, volume={73}, number={1}, pages={26--46}, doi={10.1037/amp0000151}}
@book{lincoln1985naturalistic, author={Lincoln, Yvonna S. and Guba, Egon G.}, title={{Naturalistic inquiry}}, year={1985}, publisher={SAGE Publications}, url={https://openlibrary.org/works/OL16480181W}}
@article{malterud2016sample, author={Malterud, Kirsti and Siersma, Volkert Dirk and Guassora, Ann Dorrit}, title={{Sample size in qualitative interview studies: Guided by information power}}, journal={Qualitative Health Research}, year={2016}, volume={26}, number={13}, pages={1753--1760}, doi={10.1177/1049732315617444}}
@article{nowell2017thematic, author={Nowell, Lorelli S. and Norris, Jill M. and White, Deborah E. and Moules, Nancy J.}, title={{Thematic analysis: Striving to meet the trustworthiness criteria}}, journal={International Journal of Qualitative Methods}, year={2017}, volume={16}, number={1}, eid={1609406917733847}, doi={10.1177/1609406917733847}}
@article{olmosvega2023practical, author={Olmos-Vega, Francisco M. and Stalmeijer, Renée E. and Varpio, Lara and Kahlke, Renate}, title={{A practical guide to reflexivity in qualitative research: AMEE Guide No. 149}}, journal={Medical Teacher}, year={2023}, volume={45}, number={3}, pages={241--251}, doi={10.1080/0142159x.2022.2057287}}
@article{obrien2014standards, author={O'Brien, Bridget C. and Harris, Ilene B. and Beckman, Thomas J. and Reed, Darcy A. and Cook, David A.}, title={{Standards for reporting qualitative research: A synthesis of recommendations}}, journal={Academic Medicine}, year={2014}, volume={89}, number={9}, pages={1245--1251}, doi={10.1097/acm.0000000000000388}}
@article{tong2007consolidated, author={Tong, Allison and Sainsbury, Peter and Craig, Jonathan}, title={{Consolidated criteria for reporting qualitative research (COREQ): A 32-item checklist for interviews and focus groups}}, journal={International Journal for Quality in Health Care}, year={2007}, volume={19}, number={6}, pages={349--357}, doi={10.1093/intqhc/mzm042}}
R