Słownik metodologiczny · Open science i wnioskowanie

Open science – czym jest otwarta nauka i jak ją stosować we własnym badaniu?

Otwarta nauka to udostępnianie planu, materiałów, danych, kodu i publikacji tak, aby inni mogli sprawdzić i powtórzyć badanie. Pokazujemy jej składniki, dane o tym, co daje (i czego nie daje) samo udostępnienie danych, oraz plan otwartej pracy magisterskiej z gotową deklaracją.

Strona główna / Słownik / Open science
W skrócie: Open science (otwarta nauka) to praktyki, dzięki którym inni mogą sprawdzić, jak powstał wynik: prerejestracja, otwarte materiały, dane, kod i publikacje. Najwięcej daje otwartość zaplanowana przed zebraniem danych – zgoda uczestników na udostępnienie, plan analizy i skrypt zamiast ręcznych poprawek. Dane udostępniaj zanonimizowane i z książką kodową, a w pracy napisz także, czego nie udostępniasz i dlaczego.

Co to jest open science?

Open science (otwarta nauka) to sposób prowadzenia badań, w którym ich plan, materiały, dane, kod i publikacje są dostępne dla innych, tak aby każdy mógł sprawdzić, jak powstał wynik, powtórzyć analizę albo wykorzystać ją we własnej pracy. UNESCO (2021) w zaleceniu przyjętym przez państwa członkowskie opisuje otwartą naukę jako zbiór zasad i praktyk, których celem jest udostępnienie badań ze wszystkich dziedzin każdemu, przy czym samo wytwarzanie wiedzy ma być inkluzywne, sprawiedliwe i zrównoważone. Wśród zasad przewodnich zalecenie wymienia przejrzystość, krytyczną weryfikację i odtwarzalność.

W psychologii otwarta nauka jest przede wszystkim odpowiedzią na kryzys replikacyjny. Munafò i in. (2017) w „manifeście nauki odtwarzalnej” proponują zmiany w metodach, raportowaniu, upowszechnianiu wyników, ich odtwarzalności, ocenie badań i systemie zachęt. Nie chodzi więc tylko o darmowy dostęp do artykułów. Sednem jest to, by odbiorca mógł ocenić, czy wynik jest wiarygodny, a nie musiał wierzyć autorom na słowo.

Z czego składa się otwarta nauka

Główne praktyki otwartej nauki i to, co udostępniają
PraktykaCo udostępniaszPo co
Prerejestracjahipotezy, plan próby i analizy z datą, przed danymiodróżnienie analiz planowanych od eksploracyjnych
Registered reportprotokół recenzowany przed zebraniem danychpublikacja niezależna od wyniku
Otwarte materiałyinstrukcje, bodźce, kwestionariusze (o ile pozwalają na to prawa autorskie)możliwość wiernej replikacji
Otwarte danezanonimizowany zbiór danych z książką kodowąsprawdzenie i ponowne wykorzystanie wyników
Otwarty kodskrypt analizy (np. w R albo składnia SPSS)odtworzenie każdej liczby z artykułu
Otwarty dostęp i preprintytekst publikacji bez opłat dla czytelnikadostęp do wyników także poza uczelniami

Rysunek 1 przypisuje te praktyki do etapów badania i pokazuje, przed jakim problemem chroni każda z nich.

Schemat sześciu etapów badania: pytanie i hipotezy, plan, zbieranie danych, analiza, publikacja i etap po publikacji. Pod każdym etapem praktyka otwarta (np. prerejestracja, otwarte materiały, kod skryptu, otwarte dane) i problem, przed którym chroni (HARKing, elastyczna liczebność, p-hacking, efekt szuflady)
Rysunek 1. Praktyki otwartej nauki na kolejnych etapach badania (niebieskie pola) i wątpliwe praktyki lub zniekształcenia, którym zapobiegają (czerwone pola). Schemat: R (ggplot2).

Zwróć uwagę na lewą część schematu. Najwięcej otwartości da się zapewnić przed zebraniem danych. Opublikowanie danych na końcu nie naprawi HARKingu ani p-hackingu, jeśli nikt nie wie, co było zaplanowane.

Czy otwartość coś zmienia? Przykład z danymi

Udostępnienie danych nie gwarantuje, że wynik da się odtworzyć. Hardwicke i in. (2018) sprawdzili skutki obowiązkowej polityki otwartych danych w czasopiśmie Cognition. Po jej wprowadzeniu odsetek artykułów z deklaracją dostępności danych wzrósł z 25% do 78%, a odsetek artykułów z danymi nadającymi się do ponownego użycia – z 22% do 62%. Gdy jednak autorzy próbowali odtworzyć 1324 wartości z 35 artykułów, 64 wartości nie zgadzały się z oryginałem z dokładnością do 10%. W 11 z 22 artykułów odtworzonych w pełni potrzebna była pomoc autorów, a w 13 artykułach co najmniej jednej wartości nie udało się odtworzyć nawet z tą pomocą.

Wniosek praktyczny: dane bez opisu zmiennych i bez kodu to otwartość tylko z nazwy. Buchanan i in. (2021) pokazują, jak przygotować słownik danych i książkę kodową, aby zbiór był możliwy do znalezienia, dostępny, interoperacyjny i nadawał się do ponownego użycia (zasady FAIR).

Przykład: otwarta praca magisterska krok po kroku

Studentka bada, czy perfekcjonizm wiąże się z wypaleniem akademickim (ankieta online, 250 osób). Oto, co może zrobić na każdym etapie, nawet jeśli praca nie trafi do czasopisma:

  1. Przed badaniem: zapisuje dwie hipotezy kierunkowe, plan analizy i uzasadnienie liczebności i rejestruje je na OSF z embargiem do obrony.
  2. W formularzu zgody: informuje, że zanonimizowane dane mogą zostać udostępnione do celów naukowych (zob. świadoma zgoda i RODO). Bez tej informacji późniejsze udostępnienie danych może być niemożliwe.
  3. Po zebraniu danych: usuwa wiek w latach i nazwę uczelni, zostawia przedziały wieku (zob. anonimizacja i pseudonimizacja) i przygotowuje książkę kodową.
  4. Podczas analizy: pracuje na skrypcie, a nie na ręcznych poprawkach w arkuszu. Analizy spoza planu oznacza jako eksploracyjne.
  5. Po obronie: udostępnia dane, skrypt i plik README w jednym repozytorium i dodaje do pracy deklarację dostępności.

Szczegółową strukturę folderów, wzór README i test, czy ktoś obcy odtworzy wyniki, opisuje wpis Pakiet replikacyjny: dane i kod do artykułu, a plan analizy i rejestrację – Plan analizy statystycznej i prerejestracja.

Od czego zacząć: trzy poziomy otwartości

Nie musisz od razu wdrażać wszystkich praktyk. Przy pierwszym badaniu wybierz poziom, który realnie zrealizujesz, i opisz go uczciwie.

Trzy poziomy otwartości badania z przykładowymi działaniami
PoziomCo robiszDla kogo
Minimumpełny opis metody i wszystkich analiz, rozdzielenie analiz konfirmacyjnych i eksploracyjnych, zachowany skryptkażda praca licencjacka i magisterska
Standarddo minimum dochodzi prerejestracja, a po obronie udostępnienie danych, książki kodowej i koduprace magisterskie, które mogą trafić do czasopisma, artykuły
Pełna otwartośćregistered report albo prerejestracja z publicznym protokołem, preprint, otwarte materiały i dane od dnia publikacjidoktoraty, projekty grantowe, replikacje

Już poziom minimalny wymaga decyzji podjętych przed zbieraniem danych. Kod, który powstaje od początku, nic nie kosztuje. Odtworzenie po roku ręcznych operacji w arkuszu bywa natomiast niemożliwe. Otwartość dotyczy też wyników niewygodnych: hipotezy, która się nie potwierdziła, nie usuwaj z pracy. To ona przeciwdziała efektowi szuflady w skali całej dziedziny.

Jak opisać otwartość w pracy

Oświadczenie o otwartości umieść na końcu części metodologicznej albo w przypisie do tytułu. Aczel i in. (2020) opracowali konsensusową listę kontrolną przejrzystości (z aplikacją generującą raport), z której możesz skorzystać przy pisaniu takiego oświadczenia. Napisz wprost także o tym, czego nie udostępniasz, i podaj powód.

Hipotezy, plan doboru próby i plan analizy zarejestrowano przed rozpoczęciem zbierania danych (OSF, rejestracja z embargiem do dnia obrony pracy). Zanonimizowany zbiór danych, książka kodowa i skrypt R odtwarzający wszystkie analizy są dostępne w repozytorium projektu. Pozycji kwestionariuszy nie udostępniono, ponieważ narzędzia są chronione prawem autorskim; podano ich pełne opisy bibliograficzne. Analizy nieuwzględnione w planie oznaczono w rozdziale wyników jako eksploracyjne.

Źle i dobrze: deklaracje otwartości

Przykłady słabych i dobrych deklaracji otwartości
ŹleDobrze
„Dane dostępne na prośbę”.Podany adres repozytorium albo konkretny powód braku udostępnienia (np. brak zgody uczestników) i warunki dostępu.
„Badanie było prerejestrowane”.Link do rejestracji, data rejestracji i wyraźna informacja o odstępstwach od planu.
Arkusz z kolumnami Q1…Q40 bez opisu.Książka kodowa z treścią pytań lub nazwą skali, kodami odpowiedzi, kodami braków i pozycjami odwróconymi.
Wyniki z kilku plików wydruku bez skryptu.Jeden skrypt, który od surowych danych tworzy wszystkie tabele i rysunki.

Najczęstsze nieporozumienia

  • „Open science to tylko open access”. Darmowy artykuł bez danych, kodu i planu nadal nie pozwala sprawdzić, jak powstał wynik.
  • „Muszę opublikować wszystkie dane”. Otwartość ma granice: ochrona uczestników i prawa autorskie do testów są ważniejsze. Zasada brzmi „tak otwarcie, jak to możliwe, tak zamknięcie, jak to konieczne”.
  • „Prerejestracja zabrania eksploracji”. Wymaga tylko, by eksplorację nazwać po imieniu.
  • Udostępnianie danych bez anonimizacji. Zestaw płci, wieku, kierunku i rocznika często wystarczy, by rozpoznać osobę w małej grupie.
  • Otwartość dodana na końcu. Zgoda uczestników, struktura danych i plan analizy muszą powstać wcześniej, inaczej niewiele da się udostępnić.

Najczęstsze pytania

Co obejmuje open science oprócz otwartego dostępu do artykułów?

Obejmuje też prerejestrację hipotez i planu analizy, registered reports, otwarte materiały badawcze, otwarte dane z książką kodową, udostępniony kod analizy oraz preprinty. Otwarty dostęp do samego tekstu nie pozwala jeszcze sprawdzić, jak powstał wynik.

Czy w pracy magisterskiej trzeba udostępniać dane?

Zwykle nie ma takiego obowiązku, ale warto to zaplanować: w formularzu zgody poinformuj o możliwym udostępnieniu zanonimizowanych danych, a po obronie umieść dane, książkę kodową i skrypt w repozytorium. Jeśli danych nie udostępniasz, napisz dlaczego.

Czy otwarte dane gwarantują, że wyniki da się odtworzyć?

Nie. W analizie artykułów z czasopisma Cognition część wartości nie dała się odtworzyć z udostępnionych danych, a w połowie w pełni odtworzonych artykułów potrzebna była pomoc autorów. Do danych dołącz książkę kodową i skrypt, który od surowych danych tworzy wszystkie wyniki.

Jak pogodzić otwarte dane z RODO?

Udostępniaj tylko dane zanonimizowane i tylko wtedy, gdy uczestnicy zostali o tym poinformowani w zgodzie. Usuń identyfikatory i zgrub zmienne, które w połączeniu mogą wskazać osobę, np. dokładny wiek, kierunek i rok studiów.

Gdzie udostępnić dane i kod z badania?

Najczęściej w repozytorium, które nadaje trwały identyfikator, np. w projekcie OSF albo w repozytorium uczelni. Do plików dołącz plik README, książkę kodową i informację o licencji.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Aczel, B., Szaszi, B., Sarafoglou, A., Kekecs, Z., Kucharský, Š., Benjamin, D., Chambers, C. D., Fisher, A., Gelman, A., Gernsbacher, M. A., Ioannidis, J. P. A., Johnson, E., Jonas, K., Kousta, S., Lilienfeld, S. O., Lindsay, D. S., Morey, C. C., Munafò, M., Newell, B. R., . . . Wagenmakers, E.-J. (2020). A consensus-based transparency checklist. Nature Human Behaviour, 4(1), 4–6. https://doi.org/10.1038/s41562-019-0772-6 ● Otwarty dostęp
  2. Buchanan, E. M., Crain, S. E., Cunningham, A. L., Johnson, H. R., Stash, H., Papadatou-Pastou, M., Isager, P. M., Carlsson, R., & Aczel, B. (2021). Getting started creating data dictionaries: How to create a shareable data set. Advances in Methods and Practices in Psychological Science, 4(1), Article 2515245920928007. https://doi.org/10.1177/2515245920928007 ● Otwarty dostęp
  3. Hardwicke, T. E., Mathur, M. B., MacDonald, K., Nilsonne, G., Banks, G. C., Kidwell, M. C., Hofelich Mohr, A., Clayton, E., Yoon, E. J., Henry Tessler, M., Lenne, R. L., Altman, S., Long, B., & Frank, M. C. (2018). Data availability, reusability, and analytic reproducibility: Evaluating the impact of a mandatory open data policy at the journal Cognition. Royal Society Open Science, 5(8), Article 180448. https://doi.org/10.1098/rsos.180448 ● Otwarty dostęp
  4. Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), Article 0021. https://doi.org/10.1038/s41562-016-0021 ● Otwarty dostęp
  5. UNESCO. (2021). UNESCO Recommendation on Open Science. https://doi.org/10.54677/mnmh8546 ● Otwarty dostęp

Cytowania BibTeX

@article{aczel2020consensus, author={Aczel, Balazs and Szaszi, Barnabas and Sarafoglou, Alexandra and Kekecs, Zoltan and Kucharský, Šimon and Benjamin, Daniel and Chambers, Christopher D. and Fisher, Agneta and Gelman, Andrew and Gernsbacher, Morton A. and Ioannidis, John P. A. and Johnson, Eric and Jonas, Kai and Kousta, Stavroula and Lilienfeld, Scott O. and Lindsay, D. Stephen and Morey, Candice C. and Munafò, Marcus and Newell, Benjamin R. and Pashler, Harold and Shanks, David R. and Simons, Daniel J. and Wicherts, Jelte M. and Albarracin, Dolores and Anderson, Nicole D. and Antonakis, John and Arkes, Hal R. and Back, Mitja D. and Banks, George C. and Beevers, Christopher and Bennett, Andrew A. and Bleidorn, Wiebke and Boyer, Ty W. and Cacciari, Cristina and Carter, Alice S. and Cesario, Joseph and Clifton, Charles and Conroy, Ronán M. and Cortese, Mike and Cosci, Fiammetta and Cowan, Nelson and Crawford, Jarret and Crone, Eveline A. and Curtin, John and Engle, Randall and Farrell, Simon and Fearon, Pasco and Fichman, Mark and Frankenhuis, Willem and Freund, Alexandra M. and Gaskell, M. Gareth and Giner-Sorolla, Roger and Green, Don P. and Greene, Robert L. and Harlow, Lisa L. and Hoces de la Guardia, Fernando and Isaacowitz, Derek and Kolodner, Janet and Lieberman, Debra and Logan, Gordon D. and Mendes, Wendy B. and Moersdorf, Lea and Nyhan, Brendan and Pollack, Jeffrey and Sullivan, Christopher and Vazire, Simine and Wagenmakers, Eric-Jan}, title={{A consensus-based transparency checklist}}, journal={Nature Human Behaviour}, year={2020}, volume={4}, number={1}, pages={4--6}, doi={10.1038/s41562-019-0772-6}}
@article{buchanan2021getting, author={Buchanan, Erin M. and Crain, Sarah E. and Cunningham, Ari L. and Johnson, Hannah R. and Stash, Hannah and Papadatou-Pastou, Marietta and Isager, Peder M. and Carlsson, Rickard and Aczel, Balazs}, title={{Getting started creating data dictionaries: How to create a shareable data set}}, journal={Advances in Methods and Practices in Psychological Science}, year={2021}, volume={4}, number={1}, eid={2515245920928007}, doi={10.1177/2515245920928007}}
@article{hardwicke2018data, author={Hardwicke, Tom E. and Mathur, Maya B. and MacDonald, Kyle and Nilsonne, Gustav and Banks, George C. and Kidwell, Mallory C. and Hofelich Mohr, Alicia and Clayton, Elizabeth and Yoon, Erica J. and Henry Tessler, Michael and Lenne, Richie L. and Altman, Sara and Long, Bria and Frank, Michael C.}, title={{Data availability, reusability, and analytic reproducibility: Evaluating the impact of a mandatory open data policy at the journal Cognition}}, journal={Royal Society Open Science}, year={2018}, volume={5}, number={8}, eid={180448}, doi={10.1098/rsos.180448}}
@article{munafo2017manifesto, author={Munafò, Marcus R. and Nosek, Brian A. and Bishop, Dorothy V. M. and Button, Katherine S. and Chambers, Christopher D. and Percie du Sert, Nathalie and Simonsohn, Uri and Wagenmakers, Eric-Jan and Ware, Jennifer J. and Ioannidis, John P. A.}, title={{A manifesto for reproducible science}}, journal={Nature Human Behaviour}, year={2017}, volume={1}, number={1}, eid={0021}, doi={10.1038/s41562-016-0021}}
@techreport{unesco2021recommendation, author={{UNESCO}}, title={{UNESCO Recommendation on Open Science}}, year={2021}, institution={UNESCO}, doi={10.54677/mnmh8546}}
R