Prace dyplomowe · Przygotowanie danych

Reguły kontroli danych przed analizą i dziennik zmian – zakresy, logika pytań i decyzje zapisane w pliku

Wiek 210, staż dłuższy niż życie zawodowe, godziny pracy u osoby, która nie pracuje. Pokazujemy, jak spisać reguły kontroli przed otwarciem danych, jak jedną funkcją w R znaleźć wszystkie naruszenia, kiedy wartość poprawić, kiedy oznaczyć brakiem, a kiedy zostawić – i jak prowadzić dziennik zmian, z którego skrypt odtwarza czysty zbiór z nietkniętych danych surowych.

Strona główna / Blog / Reguły kontroli danych i dziennik zmian
W skrócie: Reguły kontroli spisz przed otwarciem danych, naruszenia znajdź jedną funkcją, a każdą decyzję zapisz w dzienniku zmian, z którego skrypt odtworzy czysty zbiór z nietkniętego pliku surowego. W przykładzie 17 reguł znalazło 37 naruszeń w 36 z 312 rekordów. Poprawiono tylko 5 wartości, których prawdziwą treść znano (oryginał ankiety papierowej, rok urodzenia w polu wieku). 35 wartości niemożliwych lub niezgodnych z pytaniem filtrującym oznaczono jako braki, a wartości możliwe zostawiono z flagą. Ponowna kontrola wykryła jedno nowe naruszenie wywołane poprawką i dopiero druga runda zakończyła się zerem nierozpatrzonych.

Poprawki „na oko” zostają tylko w Twojej pamięci

Ankieta zamknięta, plik pobrany, a w kolumnie wieku stoją liczby 1999 i 210. Ktoś pracuje 400 godzin tygodniowo, ktoś inny śpi 49 godzin na dobę, a osoba, która zaznaczyła „nie pracuję”, podała godziny pracy. Najprostszy odruch to otworzyć plik w Excelu i poprawić to, co „widać, że jest źle”. Po tygodniu nie pamiętasz już, co zmieniłeś(-aś), a po pytaniu promotora „skąd ta średnia wieku?” nie umiesz tego odtworzyć.

Ten wpis pokazuje inną drogę, w czterech krokach. Najpierw spisujesz reguły kontroli, zanim zobaczysz dane. Potem uruchamiasz funkcję, która zwraca tabelę wszystkich naruszeń. Dla każdego naruszenia podejmujesz decyzję według reguły ustalonej wcześniej. Na końcu prowadzisz dziennik zmian, z którego skrypt sam tworzy czysty zbiór, bez dotykania danych surowych. Van den Broeck i in. (2005) opisują czyszczenie danych jako cykl trzech etapów: przesiewu, diagnozy i edycji. Zalecają, by postępowanie z błędami było określone z góry, a nie wynikało z przypadkowych odkryć. Huebner i in. (2016) nazywają ten etap wstępną analizą danych i oddzielają go od analiz odpowiadających na pytania badawcze. Błędy na tym etapie mogą prowadzić do złego doboru metod i błędnych wniosków.

Serwis ma już kilka stron o pokrewnych etapach i ten wpis ich nie powtarza. Hasło czyszczenie danych z ankiety online opisuje kolejność usuwania rekordów (duplikaty, osoby spoza kryteriów, nieuważni). Procedurę kontroli jakości dla eksportu z formularzy pokazuje analiza ankiety z Google Forms krok po kroku. To, ile osób odpadło na każdym etapie, pokazuje diagram przepływu respondentów. Kontrolę eksportu z danych testowych przed startem badania omawia test techniczny ankiety. Tu zajmujemy się wartościami w komórkach: co uznać za błąd, co z nim zrobić i jak to udokumentować.

Przykład przewodni (dane symulowane). Studentka pielęgniarstwa bada stres i pracę zarobkową studentów kierunków medycznych. Zebrała 272 odpowiedzi przez formularz online i 40 ankiet papierowych, które przepisała do arkusza. Plik ma 312 wierszy i 17 kolumn: identyfikator, źródło, wiek, płeć, pytanie filtrujące „Czy pracujesz zarobkowo?”, staż pracy, godziny pracy w tygodniu, podział typowego dnia (sen, nauka, praca, inne – w godzinach) i sześć pozycji skali stresu 1–5, z których str_4 jest pozycją odwróconą. Surowy plik pobierzesz tutaj: ankieta-stres-praca-surowe.csv. Wszystkie liczby poniżej pochodzą z kodu w sekcji Kod R.

Pięć rodzajów reguł kontroli

Reguła kontroli to zdanie o danych, które musi być prawdziwe w każdym poprawnym rekordzie. Zapisujesz ją tak, żeby komputer mógł ją sprawdzić. W ankiecie studenckiej prawie wszystkie reguły należą do pięciu rodzajów:

  1. Zakresy i dozwolone kody. Wiek 18–70, skala Likerta 1–5, płeć 1, 2 lub 9. Kody pochodzą z książki kodowej, a nie z danych.
  2. Logika między pytaniami. Po odpowiedzi „nie pracuję” pytania o pracę mają być puste – tak działa pytanie filtrujące. Staż pracy nie może przekraczać wieku minus 18 lat. Tę regułę spójności wieku i stażu omawia wpis o kodowaniu metryczki.
  3. Sumy kontrolne. Części, które z definicji składają się na całość: godziny w dobie, odsetki czasu, które mają dać 100%, liczby dzieci w kilku grupach wieku a liczba dzieci ogółem. Przy sumach ustal z góry tolerancję na zaokrąglenia (w przykładzie ±1 godzina).
  4. Wzorce odpowiedzi. Na przykład identyczne odpowiedzi w całej skali, także w pozycji odwróconej. Taki wzorzec nie dowodzi błędu, ale jest sygnałem możliwej nieuwagi (zob. nieuważne odpowiedzi w ankietach online i straightlining). Przegląd wskaźników nieuważnego odpowiadania znajdziesz u Currana (2016).
  5. Identyfikator. Każdy rekord ma niepowtarzalny numer. Bez tego nie zbudujesz dziennika zmian, bo dziennik wskazuje rekordy po identyfikatorze. Powtórzenia identyfikatora bywają też sygnałem duplikatów albo błędu przy łączeniu danych z kilku plików.

W przykładzie powstało 17 reguł, bo zakres skali stresu sprawdza osobna reguła dla każdej z sześciu pozycji. Fragment pokazuje tabela.

Wybrane reguły kontroli danych z przykładu: identyfikator reguły, co sprawdza, warunek w R i rodzaj reguły
RegułaCo sprawdzaWarunek, który musi być prawdziwy (R)Rodzaj
R01wiek 18–70 latwiek >= 18 & wiek <= 70twarda
R02dozwolone kody płciis.na(plec) | plec %in% c(1, 2, 9)twarda
R04pozycja skali w zakresie 1–5 (sześć reguł)is.na(str_1) | str_1 %in% 1:5twarda
R05staż a wiekstaz <= wiek - 18twarda
R06filtr: „nie pracuję” – brak godzin pracypracuje == 1 | is.na(godz_pracy)twarda
R08„pracuję” – godziny podane!(pracuje == 1 & is.na(godz_pracy))miękka
R10suma dobyabs(sen + nauka + praca_d + inne - 24) <= 1twarda
R11nie wszystkie odpowiedzi w skali jednakoweliczba różnych odpowiedzi w str_1–str_6 > 1miękka
R12identyfikator niepowtarzalny!duplicated(id) & !duplicated(id, fromLast = TRUE)twarda

Kolumna „rodzaj” rozróżnia dwa typy reguł. Naruszenie reguły twardej to wartość niemożliwa albo sprzeczna z innymi odpowiedziami. Naruszenie reguły miękkiej to wartość możliwa, ale podejrzana, którą trzeba przejrzeć. Van den Broeck i in. (2005) piszą w tym kontekście o progach „twardych” i „miękkich”. Rozróżnienie od razu podpowiada decyzję: twarde naruszenie zawsze coś zmienia w danych, a miękkie zwykle kończy się oznaczeniem rekordu.

Zapisz reguły, zanim otworzysz dane

Reguły wynikają z kwestionariusza i z książki kodowej, a nie z tego, co widać w pliku. Jeśli ustalasz zakres wieku dopiero po obejrzeniu rozkładu, łatwo przesunąć granicę tak, żeby „niewygodne” osoby wypadły. Dlatego reguły zapisz w planie analizy, a w książce kodowej przy każdej zmiennej podaj dozwolony zakres i kody braków. Buchanan i in. (2021) prowadzą przez budowę słownika danych od surowych odpowiedzi z ankiety do zbioru, który można udostępnić. Zakresy i kody w takim słowniku to gotowy materiał na reguły.

Wygodnie jest trzymać reguły w osobnym pliku: jeden wiersz to jedna reguła z identyfikatorem, opisem, listą zmiennych, warunkiem i rodzajem. Plik z przykładu pobierzesz jako wzór: reguly-kontroli-danych.csv. Razem z regułami zapisz też reguły decyzji, czyli co zrobisz z każdym rodzajem naruszenia (sekcja o decyzjach). Przy ankietach papierowych dochodzą reguły dla odpowiedzi nieczytelnych i podwójnie zaznaczonych. Opisuje je wpis o wprowadzaniu ankiet papierowych.

Funkcja, która zwraca tabelę naruszeń

Sprawdzanie reguł „ręcznie”, filtrem w arkuszu, kończy się zwykle po trzech regułach. Lepiej napisać jedną funkcję, która przejdzie przez wszystkie. W przykładzie sprawdz_reguly() ma kilkanaście linii bazowego R (kod na końcu wpisu). Dla każdej reguły oblicza warunek na całym zbiorze i wybiera wiersze, w których wynik to FALSE. Zwraca tabelę: jeden wiersz to jedno naruszenie z identyfikatorem reguły, rodzajem, numerem rekordu i wartościami zmiennych, których reguła dotyczy.

Najważniejsza decyzja projektowa dotyczy braków danych. W funkcji wynik NA nie jest naruszeniem. Reguła „staż ≤ wiek − 18” daje NA u 148 osób niepracujących, które nie miały pytania o staż – i słusznie, bo ich ta reguła nie dotyczy. Brak tam, gdzie powinna być odpowiedź, sprawdza osobna, wprost zapisana reguła (R08). Druga pułapka jest odwrotna: w R wyrażenie NA %in% c(1, 2, 9) daje FALSE, więc reguła kodów bez is.na(x) | zgłosiłaby każdy brak jako błędny kod.

W surowych danych przykładu funkcja znalazła 37 naruszeń w 36 rekordach: 24 naruszenia reguł twardych i 13 – miękkich. Trzy reguły (kody pytania o pracę, staż przy „nie pracuję” i identyfikator) nie miały żadnego naruszenia. Rozkład naruszeń pokazuje rysunek 1.

Wykres słupkowy: liczba naruszeń każdej reguły w surowych danych z podziałem na decyzje. Wiek 18–70: 5 naruszeń (3 poprawione, 1 brak, 1 zostawione), kody płci: 1 poprawione, skala stresu 1–5: 3 (1 poprawione, 2 braki), staż ≤ wiek − 18: 3 braki, godziny pracy przy „nie pracuję”: 4 braki, brak godzin przy „pracuję”: 5 zostawionych, godziny pracy 1–60: 2 braki, suma doby: 6 braków, jednakowe odpowiedzi w skali: 8 zostawionych
Rysunek 1. Naruszenia reguł kontroli w surowych danych przykładu i decyzje zapisane w dzienniku zmian. Reguły R08 i R11 są miękkie. Obliczenia: R (dane symulowane).

Jedna wartość może naruszać kilka reguł. Osoba O189 zaznaczyła „nie pracuję” i wpisała 0 godzin pracy. Łamie to regułę filtra (R06) i regułę zakresu 1–60 (R09). To jedno źródło błędu i jedna decyzja, więc w dzienniku ma jeden wiersz. Dlatego liczba naruszeń nie jest liczbą błędów, a w pracy podajesz liczbę zmienionych wartości.

Poprawić, oznaczyć brakiem czy zostawić

Każde naruszenie kończy się jedną z trzech decyzji. Kryteria są proste, ale trzeba je stosować konsekwentnie:

  • Popraw – tylko wtedy, gdy znasz prawdziwą wartość. Ma to miejsce w dwóch sytuacjach. Pierwsza: masz źródło, np. ankietę papierową, na której widać „21”, a w arkuszu wpisano „210”. Druga: masz regułę zapisaną z góry, która nie zostawia wątpliwości. W przykładzie liczba 1940–2008 w polu wieku oznacza rok urodzenia, więc wiek = 2026 − rok, z dokładnością do roku.
  • Oznacz brakiem – gdy wartość jest niemożliwa, a prawdziwej nie da się ustalić. Wiek 7 lat, 400 godzin pracy, suma doby 30 godzin (nie wiadomo, która z czterech liczb jest błędna). Staż 48 przy wieku 22 lata to najpewniej miesiące, ale „najpewniej” to za mało, żeby dzielić przez 12. Przy złamanym filtrze rozstrzyga odpowiedź na pytanie filtrujące: godziny pracy u osoby niepracującej zamieniasz na brak typu „nie dotyczy”. Taka osoba nie wchodzi do mianownika w pytaniu o godziny (zob. pytania filtrujące i mianownik).
  • Zostaw (i oznacz) – gdy wartość jest możliwa. Brak odpowiedzi zostaje brakiem, a co z nim zrobić w analizie, opisuje wpis o brakach danych w ankiecie. Jednakowe odpowiedzi w skali dostają flagę do analizy wrażliwości. Wiek 17 lat to prawdziwa wartość, tylko poza kryterium włączenia. Tę osobę wykluczasz na etapie kryteriów i pokazujesz na diagramie przepływu, a nie „poprawiasz” jej wieku.

Osobny przypadek to wartości skrajne, ale możliwe, np. 60 godzin pracy tygodniowo. To nie błąd danych, tylko pytanie analityczne. Odpowiadają na nie wpisy o wartościach odstających i o tym, czy można usuwać obserwacje odstające. Reguła kontroli nie powinna łapać wartości tylko dlatego, że są rzadkie.

Decyzje dla naruszeń w przykładzie: reguła, liczba naruszeń, decyzja i uzasadnienie
NaruszenieLiczbaDecyzjaUzasadnienie
R01: rok urodzenia w polu wieku (1999, 2002)2poprawreguła zapisana z góry: wiek = 2026 − rok
R01, R02, R04: błędy przepisywania ankiet papierowych5popraw (3) / brak (2)wartość z oryginału; puste pole i dwa zaznaczenia = brak
R01: wiek 71brakwartość niemożliwa, prawdziwa nieznana
R01: wiek 171zostawwartość możliwa; wykluczenie według kryteriów włączenia
R05: staż > wiek − 183brakjednostki nie zgadujemy
R06 i R09: godziny pracy przy „nie pracuję”, 400 godzin5 wartościbrak„nie dotyczy” albo wartość niemożliwa
R08: brak godzin pracy przy „pracuję”5zostawbrak odpowiedzi pozostaje brakiem
R10: suma doby poza 23–25 godz.6 rekordówbrak (4 zmienne)nie wiadomo, która liczba jest błędna
R11: jednakowe odpowiedzi w skali8zostawflaga do analizy wrażliwości

Flaga ma sens tylko wtedy, gdy potem jej użyjesz. W przykładzie średni wynik skali stresu wyniósł 3.03 u 311 osób (bez 17-latka) i 3.02 u 303 osób bez flagi. Osoby z flagą miały średnio 3.42, ale jest ich zbyt mało, by zmienić wynik – wystarczy o tym jedno zdanie w wynikach.

Dziennik zmian: jeden wiersz na jedną decyzję

Dziennik zmian to zwykły plik CSV. Ma kolumny: identyfikator rekordu, zmienna, stara wartość, nowa wartość (pusta = brak), reguła, decyzja, powód i data. Do dziennika trafiają także decyzje „zostaw” – wtedy stara i nowa wartość są takie same. Fragment z przykładu:

Fragment dziennika zmian: identyfikator, zmienna, stara i nowa wartość, decyzja i powód
idZmiennaStaraNowaDecyzjaPowód
O165wiek200224poprawrok urodzenia w polu wieku: wiek = 2026 − rok (±1 rok)
O175wiek7(brak)brakwartość niemożliwa, prawdziwej nie da się ustalić
O271wiek1717zostawwartość możliwa; osoba poniżej 18 lat – wykluczenie wg kryteriów włączenia
P005wiek21021poprawbłąd przepisywania; ankieta papierowa: na ankiecie 21
O041staz48(brak)brakstaż > wiek − 18; jednostki (miesiące?) nie zgadujemy
O114godz_pracy(brak)(brak)zostawbrak odpowiedzi – pozostaje brakiem danych

Kolumna ze starą wartością jest zabezpieczeniem, a nie ozdobnikiem. Funkcja zastosuj_dziennik() przed każdą zmianą sprawdza, czy w danych naprawdę jest to, co zapisano w dzienniku. Jeśli ktoś „poprawił” plik surowy ręcznie albo pobrał nowy eksport z inną wartością, skrypt zatrzymuje się z komunikatem zamiast po cichu nadpisać nie tę liczbę. W przykładzie zmieniliśmy w kopii danych wiek O165 z 2002 na 2001. Skrypt odpowiedział: „w danych jest 2001, w dzienniku 2002 – sprawdź, czy plik surowy się nie zmienił”. Dziennik wskazuje rekordy po identyfikatorze, a nie po numerze wiersza, więc inna kolejność wierszy w nowym eksporcie mu nie przeszkadza.

Po zastosowaniu dziennika uruchom reguły jeszcze raz. W przykładzie dziennik zmienił 40 komórek w 22 rekordach (5 poprawek, 35 braków), a liczba rekordów pozostała równa 312. Ponowna kontrola znalazła 15 naruszeń: 14 z decyzją „zostaw” i jedno nowe. Osoba O199 pracuje, a jej 400 godzin zamieniło się w brak, więc teraz łamie regułę R08 („pracuję”, ale brak godzin). Zmiana jednej wartości wywołała nowe naruszenie. Dlatego kontrolę powtarzasz, aż nie zostanie nic nierozpatrzonego. Po dopisaniu decyzji „zostaw” dla O199 druga runda dała 15 naruszeń, wszystkie z decyzją w dzienniku, i 0 nierozpatrzonych. Dziennik ma 55 wierszy. Cały obieg pokazuje rysunek 2.

Schemat przepływu: dane surowe (CSV tylko do odczytu, 312 rekordów) i reguły kontroli (CSV zapisany przed analizą, 17 reguł) trafiają do funkcji sprawdz_reguly, która zwraca tabelę 37 naruszeń; badacz podejmuje decyzje według reguł z planu (popraw, brak, zostaw) i zapisuje je w dzienniku zmian; skrypt łączy dane surowe z dziennikiem w czysty zbiór; ponowna kontrola kończy się zerem nierozpatrzonych naruszeń, a nowe naruszenie uruchamia kolejną rundę
Rysunek 2. Obieg pracy z regułami kontroli i dziennikiem zmian. Niebieskie pola to pliki, żółte – kroki wykonywane przez kod, czerwone – decyzja badacza. Plik surowy jest tylko czytany. Opracowanie własne (R).

Dziennik możesz pobrać jako wzór: dziennik-zmian-ankieta.csv. W przykładzie większość wierszy tworzy kod według reguł decyzji, a ręcznie dopisuje się tylko notatki z ponownego przejrzenia ankiet papierowych. W małym badaniu dziennik możesz w całości prowadzić ręcznie w arkuszu – ważne, żeby miał te same kolumny i był czytany przez skrypt, a nie przepisywany.

Dane surowe nietknięte, czysty zbiór z jednego skryptu

Cały układ opiera się na jednej zasadzie: pliku surowego nie zmieniasz nigdy. Wilson i in. (2017) wśród „wystarczająco dobrych” praktyk pracy z danymi zalecają przechowywanie danych surowych w niezmienionej postaci, najlepiej jako plików tylko do odczytu, i zapisywanie wszystkich kroków przetwarzania. Sandve i in. (2013) radzą unikać ręcznych przekształceń danych i zapisywać, jak powstał każdy wynik. Broman i Woo (2018) dodają, że w pliku z danymi surowymi nie robi się obliczeń. W przykładzie skrypt na początku i na końcu liczy sumę kontrolną MD5 pliku surowego. Obie sumy są identyczne, czyli plik nie zmienił się ani o bajt.

W praktyce wystarczą trzy pliki wejściowe i jeden skrypt: dane surowe, reguły i dziennik. Skrypt czyta je i zapisuje czysty zbiór oraz raport naruszeń. Czystego zbioru nie poprawiasz ręcznie, bo przy następnym uruchomieniu skryptu poprawka zniknie. Gdy dojdzie 10 spóźnionych ankiet papierowych, dopisujesz je do danych surowych i uruchamiasz skrypt. Reguły sprawdzą nowe rekordy, a dziennik zastosuje stare decyzje do starych. Taki układ folderów i plików to też gotowy zalążek pakietu replikacyjnego. Prostszą wersję dla pracy dyplomowej opisuje wpis jak przygotować bazę danych do analizy.

Jeśli nie pracujesz w R, zasada się nie zmienia. W SPSS reguły i poprawki zapisujesz w pliku składni, który zaczyna się od wczytania danych surowych. Kolejne kroki przygotowania danych w tym programie opisuje wpis przygotowanie danych w SPSS. W Excelu trzymaj dane surowe w osobnym, nieedytowanym arkuszu, reguły licz formułami w kopii, a dziennik prowadź w trzecim arkuszu. Ograniczenia tego rozwiązania opisuje wpis czy Excel wystarczy do analizy. Kod z tego wpisu nie wymaga żadnych pakietów, więc dobrze nadaje się na pierwsze kroki z R dla początkujących.

Jak opisać kontrolę danych w metodach

W rozdziale metodologicznym wystarczy jeden akapit. Podajesz w nim, że reguły powstały przed analizą, jakie są ich rodzaje, ile wartości zmieniono i jak. Wzór na liczbach z przykładu – uzupełnij nawiasy i usuń zdania, które Cię nie dotyczą:

Przed analizą dane sprawdzono za pomocą 17 reguł kontroli zapisanych przed rozpoczęciem analiz w książce kodowej: zakresów i dozwolonych kodów, reguł spójności między pytaniami (np. staż pracy nie większy niż wiek minus 18 lat, brak odpowiedzi na pytania o pracę u osób niepracujących), sumy kontrolnej podziału doby (24 h ± 1 h) i wzorca jednakowych odpowiedzi w skali stresu. W 312 rekordach (272 ankiety internetowe i 40 papierowych) stwierdzono 37 naruszeń w 36 rekordach. Wartości poprawiano tylko wtedy, gdy prawdziwa wartość była znana (oryginał ankiety papierowej albo rok urodzenia wpisany w polu wieku; 5 wartości); wartości niemożliwe, których nie dało się ustalić, oraz odpowiedzi niezgodne z pytaniem filtrującym oznaczono jako braki danych (35 wartości). Wartości możliwe pozostawiono bez zmian, a 8 osób odpowiadających jednakowo we wszystkich pozycjach skali (w tym w pozycji odwróconej) oznaczono i uwzględniono w analizie wrażliwości. Wszystkie decyzje zapisano w dzienniku zmian (identyfikator, zmienna, wartość przed i po zmianie, powód), a zbiór do analizy odtwarzano skryptem w programie R z niezmienionego pliku danych surowych.

Wyniki analizy wrażliwości dodaj w rozdziale wyników jednym zdaniem, np.: „Wykluczenie 8 osób oznaczonych z powodu jednakowych odpowiedzi nie zmieniło średniego wyniku skali stresu (M = 3.02 wobec 3.03)”. Osobę wykluczoną za wiek i inne wykluczenia rekordów pokazujesz na diagramie przepływu. Przed oddaniem pracy sprawdź jeszcze, czy liczby z opisu kontroli zgadzają się z tabelami (zob. kontrola spójności liczb w pracy).

Najczęstsze błędy

  • Poprawki w pliku surowym. Po pierwszej zmianie nie ma już punktu odniesienia ani możliwości sprawdzenia, co było w danych.
  • Reguły ustalane po obejrzeniu danych. Granice dobrane tak, żeby „pasowały”, to ukryta selekcja.
  • Zgadywanie prawdziwej wartości. „Pewnie miesiące”, „pewnie literówka” – bez źródła albo reguły zapisanej z góry to brak, nie poprawka.
  • Usuwanie całej osoby za jedną błędną wartość. Zwykle wystarczy oznaczyć brakiem jedną komórkę, a resztę odpowiedzi zachować.
  • Braki traktowane jako naruszenia (albo odwrotnie). Bez osobnych reguł dla braków funkcja albo zgłasza setki fałszywych alarmów, albo przepuszcza puste pola, które powinny być wypełnione.
  • Wartości skrajne poprawiane jak błędy. Rzadka wartość nie jest wartością niemożliwą.
  • Brak ponownej kontroli. Zmiana jednej wartości potrafi wywołać nowe naruszenie innej reguły.
  • Flaga bez analizy wrażliwości. Oznaczenie rekordów ma sens tylko wtedy, gdy sprawdzisz, czy zmieniają wynik.

Jeśli chcesz, żeby ktoś przejrzał z Tobą reguły kontroli, dziennik zmian i skrypt przed analizą, zobacz pomoc w analizie dla studentów.

Przykład reprodukowalny

Reguły kontroli i dziennik zmian w R

Trzy przepisy liczą wszystkie liczby z tekstu i używają tylko bazowego R. Pierwszy tworzy symulowany surowy zbiór z błędami i zapisuje go w folderze nadrzędnym (../). Drugi zapisuje reguły i funkcję sprawdz_reguly() i tworzy tabelę naruszeń. Trzeci wczytuje wynik drugiego, podejmuje decyzje, zapisuje dziennik zmian, odtwarza czysty zbiór i powtarza kontrolę. Przepisy uruchamiaj po kolei z jednego folderu. Rysunki powstały w osobnym skrypcie na tych samych plikach. Do własnych danych wystarczą przepisy 2 i 3: podmień plik danych, wiersze tabeli reguł i reguły decyzji. Pliki do pobrania: dane surowe, reguły i dziennik zmian (CSV, UTF-8, dane fikcyjne).

Surowy zbiór: 272 ankiety online i 40 papierowych z typowymi błędami

Dane wejściowe: symulowane odpowiedzi 312 osób (wiek, płeć, praca, staż, godziny pracy, podział doby, skala stresu 1–5 z pozycją odwróconą), błędy wstawione w wylosowane wiersze; set.seed(448); tylko bazowy R.

Co odczytać: liczbę wierszy i kolumn oraz początek pliku. Wstawionych błędów nie widać w pierwszych wierszach – znajdzie je dopiero kontrola regułami.

R
# B448 – symulowany surowy zbiór ankiety: 272 odpowiedzi online i 40 ankiet papierowych
# Dane fikcyjne. Badanie: stres i praca zarobkowa studentów kierunków medycznych (marzec 2026).
# W danych są błędy, jakie zdarzają się w prawdziwych zbiorach; skrypt zapisuje plik do ../
set.seed(448)
n_on <- 272; n_pap <- 40; N <- n_on + n_pap
d <- data.frame(id = c(sprintf("O%03d", 1:n_on), sprintf("P%03d", 1:n_pap)),
                zrodlo = rep(c("online", "papier"), c(n_on, n_pap)))
d$wiek <- pmin(55, pmax(19, round(rnorm(N, 23.5, 4.5))))
d$plec <- sample(c(1, 2, 9), N, replace = TRUE, prob = c(.80, .17, .03))   # 1 K, 2 M, 9 wolę nie podawać
d$pracuje <- ifelse(runif(N) < .55, 1, 2)                                   # 1 tak, 2 nie
pr <- d$pracuje == 1
d$staz <- NA; d$staz[pr] <- pmin(d$wiek[pr] - 18, round(rgamma(sum(pr), 2, 1)))
d$godz_pracy <- NA; d$godz_pracy[pr] <- round(runif(sum(pr), 8, 40))
# Typowy dzień powszedni w godzinach: sen + nauka + praca + inne = 24
d$sen <- pmin(10, pmax(4, round(rnorm(N, 7, 1))))
d$nauka <- pmin(10, pmax(1, round(rnorm(N, 4, 1.5))))
d$praca_d <- ifelse(pr, round(d$godz_pracy / 5), 0)
d$nauka <- pmin(d$nauka, 23 - d$sen - d$praca_d)
d$inne <- 24 - d$sen - d$nauka - d$praca_d
# Skala stresu: 6 pozycji 1–5, str_4 odwrócona
theta <- rnorm(N)
for (j in 1:6) {
  x <- cut(.8 * theta + rnorm(N, 0, .7), c(-Inf, -1.2, -.4, .4, 1.2, Inf), labels = FALSE)
  d[[paste0("str_", j)]] <- if (j == 4) 6 - x else x
}
items <- paste0("str_", 1:6)

# ---- błędy w odpowiedziach online (wiersze losowane bez powtórzeń) ----
on <- which(d$zrodlo == "online")
wolne <- on
bierz <- function(pula, k) { w <- sample(intersect(pula, wolne), k); wolne <<- setdiff(wolne, w); w }
w <- bierz(on, 2); d$wiek[w] <- c(1999, 2002)                   # rok urodzenia zamiast wieku
w <- bierz(on, 1); d$wiek[w] <- 7                               # literówka
w <- bierz(on, 1); d$wiek[w] <- 17                              # wartość prawdziwa, poza kryterium
w <- bierz(which(pr & d$staz >= 3), 3); d$staz[w] <- d$staz[w] * 12   # staż w miesiącach
w <- bierz(which(!pr), 4); d$godz_pracy[w] <- c(0, 10, 12, 16)  # odpowiedź mimo „nie pracuję”
w <- bierz(which(pr), 5); d$godz_pracy[w] <- NA                 # brak odpowiedzi
w <- bierz(which(pr), 1); d$godz_pracy[w] <- 400                # literówka
w <- bierz(on, 3); d$nauka[w] <- d$nauka[w] + c(6, 8, 10)       # suma doby > 25
w <- bierz(on, 2); d$sen[w] <- d$sen[w] * 7                     # sen za cały tydzień
w <- bierz(on, 1); d$inne[w] <- 0                               # suma doby < 23
w <- bierz(on, 7); for (i in w) d[i, items] <- sample(3:5, 1)   # te same odpowiedzi w całej skali

# ---- błędy przy przepisywaniu ankiet papierowych ----
pap <- which(d$zrodlo == "papier")
d$wiek[pap[5]] <- 210        # na ankiecie: 21
d$str_2[pap[12]] <- 33       # na ankiecie: 3
d$str_5[pap[19]] <- 0        # na ankiecie: brak zaznaczenia
d$plec[pap[26]] <- 3         # na ankiecie: 2
d$str_6[pap[33]] <- 6        # na ankiecie: zaznaczone dwa pola (4 i 5)

write.csv(d, "../ankieta-stres-praca-surowe.csv", row.names = FALSE, na = "", fileEncoding = "UTF-8")
cat(sprintf("Zapisano surowy zbiór: %d wierszy (%d online, %d papier), %d kolumn\n",
            nrow(d), n_on, n_pap, ncol(d)))
options(width = 110)
print(head(d, 4), row.names = FALSE)
Wynik w R
Zapisano surowy zbiór: 312 wierszy (272 online, 40 papier), 17 kolumn
   id zrodlo wiek plec pracuje staz godz_pracy sen nauka praca_d inne str_1 str_2 str_3 str_4 str_5 str_6
 O001 online   24    1       1    3         35   7     1       7    9     4     5     4     1     5     4
 O002 online   19    1       2   NA         NA   7     5       0   12     3     2     1     4     2     2
 O003 online   24    1       2   NA         NA   7     2       0   15     3     2     2     3     1     2
 O004 online   30    2       1    2         24   5     2       5   12     4     3     3     2     4     4

Tabela reguł i funkcja zwracająca tabelę naruszeń

Dane wejściowe: plik ankieta-stres-praca-surowe.csv z pierwszego przepisu; tylko bazowy R.

Co odczytać: liczbę reguł twardych i miękkich, liczbę naruszeń każdej reguły (także zerową), początek tabeli naruszeń i to, że reguła stażu daje NA u osób niepracujących.

R
# B448 – reguły kontroli zapisane przed analizą i funkcja zwracająca tabelę naruszeń (tylko bazowy R)
options(width = 110)
surowe <- read.csv("../ankieta-stres-praca-surowe.csv", colClasses = c(id = "character"),
                   fileEncoding = "UTF-8")
items <- paste0("str_", 1:6)

# 1. Reguły: każda to warunek, który MUSI być prawdziwy w poprawnym rekordzie.
#    Warunek z wynikiem NA (brak danych w zmiennej) nie jest naruszeniem – braki mają osobne reguły.
#    rodzaj: twarda = wartość niemożliwa albo sprzeczna, miękka = wartość podejrzana do przejrzenia
reguly <- data.frame(
  regula = c("R01", "R02", "R03", paste0("R04_", items), "R05", "R06", "R07", "R08", "R09", "R10", "R11", "R12"),
  opis = c("wiek 18–70 lat", "płeć: kody 1, 2, 9", "pracuje: kody 1, 2",
           paste("pozycja", items, "w zakresie 1–5"),
           "staż pracy ≤ wiek − 18", "godziny pracy puste, gdy pracuje = 2 (nie)",
           "staż pusty, gdy pracuje = 2 (nie)", "godziny pracy podane, gdy pracuje = 1 (tak)",
           "godziny pracy 1–60 tygodniowo", "sen + nauka + praca + inne = 24 h (±1)",
           "nie wszystkie odpowiedzi w skali stresu jednakowe (str_4 odwrócona)", "id niepowtarzalny"),
  zmienne = c("wiek", "plec", "pracuje", items, "staz,wiek", "pracuje,godz_pracy", "pracuje,staz",
              "pracuje,godz_pracy", "godz_pracy", "sen,nauka,praca_d,inne", paste(items, collapse = ","), "id"),
  warunek = c("wiek >= 18 & wiek <= 70", "is.na(plec) | plec %in% c(1, 2, 9)", "is.na(pracuje) | pracuje %in% 1:2",
              paste0("is.na(", items, ") | ", items, " %in% 1:5"),
              "staz <= wiek - 18", "pracuje == 1 | is.na(godz_pracy)", "pracuje == 1 | is.na(staz)",
              "!(pracuje == 1 & is.na(godz_pracy))", "godz_pracy >= 1 & godz_pracy <= 60",
              "abs(sen + nauka + praca_d + inne - 24) <= 1",
              "apply(cbind(str_1, str_2, str_3, str_4, str_5, str_6), 1, function(x) length(unique(x)) > 1)",
              "!duplicated(id) & !duplicated(id, fromLast = TRUE)"),
  rodzaj = c("twarda", "twarda", "twarda", rep("twarda", 6), "twarda", "twarda", "twarda", "miękka",
             "twarda", "twarda", "miękka", "twarda"))
write.csv(reguly, "../reguly-kontroli-danych.csv", row.names = FALSE, fileEncoding = "UTF-8")
cat(sprintf("Reguł: %d (twardych %d, miękkich %d)\n", nrow(reguly),
            sum(reguly$rodzaj == "twarda"), sum(reguly$rodzaj == "miękka")))

# 2. Funkcja: jeden wiersz wyniku = jedno naruszenie (reguła, id, wartości zmiennych z reguły)
sprawdz_reguly <- function(dane, reguly, id = "id") {
  wynik <- lapply(seq_len(nrow(reguly)), function(i) {
    ok <- eval(parse(text = reguly$warunek[i]), envir = dane)
    zle <- which(ok %in% FALSE)                      # NA nie jest naruszeniem
    if (length(zle) == 0) return(NULL)
    zm <- strsplit(reguly$zmienne[i], ",")[[1]]
    wart <- apply(dane[zle, zm, drop = FALSE], 1, function(w)
      paste(paste0(zm, "=", ifelse(is.na(w), "NA", trimws(w))), collapse = "; "))
    data.frame(regula = reguly$regula[i], rodzaj = reguly$rodzaj[i], id = dane[[id]][zle],
               wartosc = unname(wart))
  })
  out <- do.call(rbind, wynik)
  if (is.null(out)) out <- data.frame(regula = character(), rodzaj = character(), id = character(),
                                      wartosc = character())
  out
}

naruszenia <- sprawdz_reguly(surowe, reguly)
write.csv(naruszenia, "b448-naruszenia.csv", row.names = FALSE, fileEncoding = "UTF-8")
cat(sprintf("\nNaruszeń: %d w %d rekordach (twarde %d, miękkie %d)\n", nrow(naruszenia),
            length(unique(naruszenia$id)), sum(naruszenia$rodzaj == "twarda"),
            sum(naruszenia$rodzaj == "miękka")))

# 3. Podsumowanie: liczba naruszeń każdej reguły (także reguł bez naruszeń)
podsum <- data.frame(regula = reguly$regula, opis = reguly$opis,
                     naruszen = as.vector(table(factor(naruszenia$regula, levels = reguly$regula))))
print(podsum, row.names = FALSE, right = FALSE)

cat("\nTabela naruszeń (pierwsze 14 wierszy):\n")
print(head(naruszenia, 14), row.names = FALSE, right = FALSE)

# 4. Ten sam test bez reguły dla braków: ile byłoby „naruszeń” R05, gdyby NA liczyć jako błąd?
ok <- eval(parse(text = "staz <= wiek - 18"), envir = surowe)
cat(sprintf("\nR05: FALSE = %d, NA = %d (osoby niepracujące – reguła ich nie dotyczy)\n",
            sum(ok %in% FALSE), sum(is.na(ok))))
Wynik w R
Reguł: 17 (twardych 15, miękkich 2)

Naruszeń: 37 w 36 rekordach (twarde 24, miękkie 13)
 regula    opis                                                                naruszen
 R01       wiek 18–70 lat                                                      5       
 R02       płeć: kody 1, 2, 9                                                  1       
 R03       pracuje: kody 1, 2                                                  0       
 R04_str_1 pozycja str_1 w zakresie 1–5                                        0       
 R04_str_2 pozycja str_2 w zakresie 1–5                                        1       
 R04_str_3 pozycja str_3 w zakresie 1–5                                        0       
 R04_str_4 pozycja str_4 w zakresie 1–5                                        0       
 R04_str_5 pozycja str_5 w zakresie 1–5                                        1       
 R04_str_6 pozycja str_6 w zakresie 1–5                                        1       
 R05       staż pracy ≤ wiek − 18                                              3       
 R06       godziny pracy puste, gdy pracuje = 2 (nie)                          4       
 R07       staż pusty, gdy pracuje = 2 (nie)                                   0       
 R08       godziny pracy podane, gdy pracuje = 1 (tak)                         5       
 R09       godziny pracy 1–60 tygodniowo                                       2       
 R10       sen + nauka + praca + inne = 24 h (±1)                              6       
 R11       nie wszystkie odpowiedzi w skali stresu jednakowe (str_4 odwrócona) 8       
 R12       id niepowtarzalny                                                   0       

Tabela naruszeń (pierwsze 14 wierszy):
 regula    rodzaj id   wartosc                 
 R01       twarda O165 wiek=2002               
 R01       twarda O175 wiek=7                  
 R01       twarda O182 wiek=1999               
 R01       twarda O271 wiek=17                 
 R01       twarda P005 wiek=210                
 R02       twarda P026 plec=3                  
 R04_str_2 twarda P012 str_2=33                
 R04_str_5 twarda P019 str_5=0                 
 R04_str_6 twarda P033 str_6=6                 
 R05       twarda O041 staz=48; wiek=22        
 R05       twarda O096 staz=48; wiek=24        
 R05       twarda O151 staz=36; wiek=24        
 R06       twarda O130 pracuje=2; godz_pracy=10
 R06       twarda O189 pracuje=2; godz_pracy=0 

R05: FALSE = 3, NA = 148 (osoby niepracujące – reguła ich nie dotyczy)

Decyzje, dziennik zmian, czysty zbiór i ponowna kontrola

Dane wejściowe: wynik drugiego przepisu (wczytywany przez source() bez ponownego wypisywania), notatki z przejrzenia ankiet papierowych; tylko bazowy R (sumy MD5 z pakietu tools).

Co odczytać: liczbę wierszy dziennika według decyzji, fragment dziennika, liczbę zmienionych komórek, dwie rundy ponownej kontroli, analizę wrażliwości z flagą, sumy MD5 pliku surowego przed i po oraz komunikat przy niezgodności dziennika z danymi.

R
# B448 – decyzje, dziennik zmian i odtworzenie czystego zbioru z danych surowych (tylko bazowy R)
options(width = 110)
invisible(capture.output(source("b448-2-reguly.R")))   # reguły, sprawdz_reguly(), naruszenia, surowe
plik_surowy <- "../ankieta-stres-praca-surowe.csv"
md5_przed <- unname(tools::md5sum(plik_surowy))

# 1. Notatki z ponownego sprawdzenia ankiet papierowych (co jest na kartce)
wglad <- data.frame(id = c("P005", "P012", "P019", "P026", "P033"),
                    zmienna = c("wiek", "str_2", "str_5", "plec", "str_6"),
                    na_ankiecie = c("21", "3", "", "2", ""),
                    uwaga = c("na ankiecie 21", "na ankiecie 3", "brak zaznaczenia na ankiecie",
                              "na ankiecie zaznaczone 2", "zaznaczone dwa pola (4 i 5)"))

# 2. Reguły decyzji ustalone przed analizą – dla każdego naruszenia jeden lub kilka wierszy dziennika
wiersz <- function(id, zm, stara, nowa, reg, dec, powod)
  data.frame(id = id, zmienna = zm, stara_wartosc = stara, nowa_wartosc = nowa,
             regula = reg, decyzja = dec, powod = powod, data = "2026-04-02")
wart <- function(id, zm) { x <- surowe[surowe$id == id, zm]; ifelse(is.na(x), "", as.character(x)) }
dz <- list()
for (k in seq_len(nrow(naruszenia))) {
  r <- naruszenia$regula[k]; id <- naruszenia$id[k]; pap <- substr(id, 1, 1) == "P"
  if (r %in% c("R01", "R02") || startsWith(r, "R04")) {
    zm <- c(R01 = "wiek", R02 = "plec")[r]; if (is.na(zm)) zm <- sub("R04_", "", r)
    if (pap) {
      g <- wglad[wglad$id == id & wglad$zmienna == zm, ]
      dz[[k]] <- wiersz(id, zm, wart(id, zm), g$na_ankiecie, r, ifelse(g$na_ankiecie == "", "brak", "popraw"),
                        paste("błąd przepisywania; ankieta papierowa:", g$uwaga))
    } else if (zm == "wiek" && surowe$wiek[surowe$id == id] %in% 1940:2008) {
      dz[[k]] <- wiersz(id, zm, wart(id, zm), as.character(2026 - surowe$wiek[surowe$id == id]), r, "popraw",
                        "rok urodzenia w polu wieku: wiek = 2026 − rok (±1 rok)")
    } else if (zm == "wiek" && surowe$wiek[surowe$id == id] %in% 10:17) {
      dz[[k]] <- wiersz(id, zm, wart(id, zm), wart(id, zm), r, "zostaw",
                        "wartość możliwa; osoba poniżej 18 lat – wykluczenie wg kryteriów włączenia")
    } else {
      dz[[k]] <- wiersz(id, zm, wart(id, zm), "", r, "brak", "wartość niemożliwa, prawdziwej nie da się ustalić")
    }
  } else if (r == "R05") {
    dz[[k]] <- wiersz(id, "staz", wart(id, "staz"), "", r, "brak", "staż > wiek − 18; jednostki (miesiące?) nie zgadujemy")
  } else if (r == "R06") {
    dz[[k]] <- wiersz(id, "godz_pracy", wart(id, "godz_pracy"), "", r, "brak",
                      "nie dotyczy: w pytaniu filtrującym „nie pracuję”")
  } else if (r == "R08") {
    dz[[k]] <- wiersz(id, "godz_pracy", "", "", r, "zostaw", "brak odpowiedzi – pozostaje brakiem danych")
  } else if (r == "R09") {
    if (any(naruszenia$regula == "R06" & naruszenia$id == id)) next   # ta sama wartość już rozstrzygnięta w R06
    dz[[k]] <- wiersz(id, "godz_pracy", wart(id, "godz_pracy"), "", r, "brak", "wartość niemożliwa (> 60 h)")
  } else if (r == "R10") {
    zm <- c("sen", "nauka", "praca_d", "inne")
    dz[[k]] <- wiersz(id, zm, sapply(zm, function(z) wart(id, z)), "", r, "brak",
                      "suma doby ≠ 24 h; nie wiadomo, która wartość jest błędna")
  } else if (r == "R11") {
    dz[[k]] <- wiersz(id, "str_1–str_6", wart(id, "str_1"), wart(id, "str_1"), r, "zostaw",
                      "jednakowe odpowiedzi mimo pozycji odwróconej; flaga do analizy wrażliwości")
  }
}
dziennik <- do.call(rbind, dz); rownames(dziennik) <- NULL
write.csv(dziennik, "../dziennik-zmian-ankieta.csv", row.names = FALSE, fileEncoding = "UTF-8")
cat(sprintf("Dziennik: %d wierszy dla %d naruszeń\n", nrow(dziennik), nrow(naruszenia)))
print(table(dziennik$decyzja))
cat("\nFragment dziennika:\n")
options(width = 160)
print(dziennik[c(1:6, 10, 12, 18), c("id", "zmienna", "stara_wartosc", "nowa_wartosc", "decyzja", "powod")],
      row.names = FALSE, right = FALSE)
options(width = 110)

# 3. Czysty zbiór powstaje wyłącznie z pliku surowego i pliku dziennika
zastosuj_dziennik <- function(dane, dz) {
  zm <- dz[dz$decyzja %in% c("popraw", "brak"), ]
  for (k in seq_len(nrow(zm))) {
    w <- match(zm$id[k], dane$id); v <- zm$zmienna[k]
    if (is.na(w) || !v %in% names(dane)) stop(sprintf("Nie ma rekordu %s albo zmiennej %s", zm$id[k], v))
    obecna <- ifelse(is.na(dane[w, v]), "", as.character(dane[w, v]))
    if (obecna != zm$stara_wartosc[k])
      stop(sprintf("%s, %s: w danych jest „%s”, w dzienniku „%s” – sprawdź, czy plik surowy się nie zmienił",
                   zm$id[k], v, obecna, zm$stara_wartosc[k]))
    dane[w, v] <- if (zm$nowa_wartosc[k] == "") NA else as.numeric(zm$nowa_wartosc[k])
  }
  dane
}
surowe <- read.csv(plik_surowy, colClasses = c(id = "character"), fileEncoding = "UTF-8")
dziennik <- read.csv("../dziennik-zmian-ankieta.csv", colClasses = "character", fileEncoding = "UTF-8")
czyste <- zastosuj_dziennik(surowe, dziennik)
czyste$flaga_wzorzec <- as.integer(czyste$id %in% dziennik$id[dziennik$regula == "R11"])
zmienione <- sum(sapply(names(surowe), function(v)
  sum(xor(is.na(surowe[[v]]), is.na(czyste[[v]])) | (surowe[[v]] != czyste[[v]]) %in% TRUE)))
cat(sprintf("\nZmienionych komórek: %d (popraw %d, brak %d) w %d rekordach; rekordów nadal %d\n", zmienione,
            sum(dziennik$decyzja == "popraw"), sum(dziennik$decyzja == "brak"),
            length(unique(dziennik$id[dziennik$decyzja != "zostaw"])), nrow(czyste)))

# 4. Ponowna kontrola: czy zostały tylko naruszenia z decyzją „zostaw”?
nierozpatrzone <- function(po, dz) {
  zostaw <- dz[dz$decyzja == "zostaw", ]
  po[!paste(po$regula, po$id) %in% paste(zostaw$regula, zostaw$id), ]
}
po <- sprawdz_reguly(czyste, reguly)
nr <- nierozpatrzone(po, dziennik)
cat(sprintf("Runda 1 – po czyszczeniu naruszeń: %d, z decyzją „zostaw”: %d, nierozpatrzonych: %d\n",
            nrow(po), nrow(po) - nrow(nr), nrow(nr)))
print(nr, row.names = FALSE, right = FALSE)
# Nowe naruszenie powstało przez zmianę z dziennika (400 → brak) – decyzja dopisana w drugiej rundzie
dziennik <- rbind(dziennik, wiersz(nr$id, "godz_pracy", "", "", nr$regula, "zostaw",
                                   "brak po usunięciu wartości niemożliwej (R09)"))
write.csv(dziennik, "../dziennik-zmian-ankieta.csv", row.names = FALSE, fileEncoding = "UTF-8")
czyste <- zastosuj_dziennik(surowe, dziennik)
czyste$flaga_wzorzec <- as.integer(czyste$id %in% dziennik$id[dziennik$regula == "R11"])
po <- sprawdz_reguly(czyste, reguly)
nr <- nierozpatrzone(po, dziennik)
cat(sprintf("Runda 2 – naruszeń: %d, z decyzją „zostaw”: %d, nierozpatrzonych: %d; dziennik: %d wierszy\n",
            nrow(po), nrow(po) - nrow(nr), nrow(nr), nrow(dziennik)))
print(table(po$regula))
write.csv(czyste, "b448-czyste.csv", row.names = FALSE, na = "", fileEncoding = "UTF-8")

# 5. Flaga w analizie wrażliwości: wynik skali stresu (średnia, str_4 odwrócona)
czyste$stres <- rowMeans(cbind(czyste[, c("str_1", "str_2", "str_3", "str_5", "str_6")], 6 - czyste$str_4),
                         na.rm = TRUE)
a <- czyste[!(czyste$wiek %in% 10:17), ]               # bez osoby poniżej 18 lat
cat(sprintf("\nStres: wszyscy n = %d, M = %.2f; bez flagi wzorca n = %d, M = %.2f; flagowani M = %.2f\n",
            nrow(a), mean(a$stres), sum(a$flaga_wzorzec == 0), mean(a$stres[a$flaga_wzorzec == 0]),
            mean(a$stres[a$flaga_wzorzec == 1])))

# 6. Plik surowy nietknięty, a dziennik pilnuje zgodności z nim
cat(sprintf("\nMD5 pliku surowego przed: %s\nMD5 pliku surowego po:    %s\nIdentyczne: %s\n",
            md5_przed, unname(tools::md5sum(plik_surowy)), md5_przed == unname(tools::md5sum(plik_surowy))))
inny <- surowe; inny$wiek[inny$id == "O165"] <- 2001        # np. ktoś poprawił plik surowy ręcznie
cat(tryCatch({ zastosuj_dziennik(inny, dziennik); "bez błędu" }, error = function(e) conditionMessage(e)), "\n")
Wynik w R
Dziennik: 54 wierszy dla 37 naruszeń

  brak popraw zostaw 
    35      5     14 

Fragment dziennika:
 id   zmienna    stara_wartosc nowa_wartosc decyzja powod                                                                     
 O165 wiek       2002          24           popraw  rok urodzenia w polu wieku: wiek = 2026 − rok (±1 rok)                    
 O175 wiek       7                          brak    wartość niemożliwa, prawdziwej nie da się ustalić                         
 O182 wiek       1999          27           popraw  rok urodzenia w polu wieku: wiek = 2026 − rok (±1 rok)                    
 O271 wiek       17            17           zostaw  wartość możliwa; osoba poniżej 18 lat – wykluczenie wg kryteriów włączenia
 P005 wiek       210           21           popraw  błąd przepisywania; ankieta papierowa: na ankiecie 21                     
 P026 plec       3             2            popraw  błąd przepisywania; ankieta papierowa: na ankiecie zaznaczone 2           
 O041 staz       48                         brak    staż > wiek − 18; jednostki (miesiące?) nie zgadujemy                     
 O151 staz       36                         brak    staż > wiek − 18; jednostki (miesiące?) nie zgadujemy                     
 O114 godz_pracy                            zostaw  brak odpowiedzi – pozostaje brakiem danych                                

Zmienionych komórek: 40 (popraw 5, brak 35) w 22 rekordach; rekordów nadal 312
Runda 1 – po czyszczeniu naruszeń: 15, z decyzją „zostaw”: 14, nierozpatrzonych: 1
 regula rodzaj id   wartosc                 
 R08    miękka O199 pracuje=1; godz_pracy=NA
Runda 2 – naruszeń: 15, z decyzją „zostaw”: 15, nierozpatrzonych: 0; dziennik: 55 wierszy

R01 R08 R11 
  1   6   8 

Stres: wszyscy n = 311, M = 3.03; bez flagi wzorca n = 303, M = 3.02; flagowani M = 3.42

MD5 pliku surowego przed: bba98ef8e38c3577cbaa314ecd288c35
MD5 pliku surowego po:    bba98ef8e38c3577cbaa314ecd288c35
Identyczne: TRUE
O165, wiek: w danych jest „2001”, w dzienniku „2002” – sprawdź, czy plik surowy się nie zmienił 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietów base, stats, utils i tools); rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Przed analizą sprawdź…

  • Czy reguły kontroli są zapisane (plik lub plan analizy) z datą sprzed otwarcia danych?
  • Czy każda zmienna ma w książce kodowej zakres, kody i oznaczenie braków?
  • Czy masz reguły dla wszystkich pytań filtrujących i dla sum, które muszą się zgadzać?
  • Czy braki sprawdzają osobne reguły, a reguły kodów nie zgłaszają pustych pól?
  • Czy reguły decyzji (popraw / brak / zostaw) są ustalone, zanim zobaczysz naruszenia?
  • Czy każda zmiana ma wiersz w dzienniku z wartością przed i po zmianie oraz powodem?
  • Czy plik surowy jest tylko do odczytu, a czysty zbiór powstaje wyłącznie ze skryptu?
  • Czy po zastosowaniu dziennika ponowna kontrola daje 0 nierozpatrzonych naruszeń?
  • Czy flagi zostały użyte w analizie wrażliwości, a liczby trafiły do opisu w metodach?

Najczęstsze pytania

Czy wolno poprawiać odpowiedzi respondentów przed analizą danych?

Tak, ale tylko wtedy, gdy znasz prawdziwą wartość: masz oryginał ankiety papierowej albo regułę zapisaną przed analizą, która nie zostawia wątpliwości (np. rok urodzenia wpisany w polu wieku). Każdą taką zmianę zapisz w dzienniku z wartością przed i po zmianie oraz powodem, a w metodach podaj, ile wartości poprawiono. Zgadywanie („pewnie literówka”) nie jest poprawką – wtedy wartość oznaczasz jako brak.

Co zrobić z wartością spoza zakresu, gdy nie wiadomo, jaka jest prawdziwa?

Oznacz ją jako brak danych w tej jednej komórce, a resztę odpowiedzi osoby zachowaj. Nie zamieniaj jej na najbliższą dozwoloną wartość ani na średnią. Jeśli kilka liczb razem nie pasuje (np. suma godzin w dobie wynosi 30), a nie wiadomo, która jest błędna, oznacz brakiem wszystkie, których dotyczy reguła.

Czym różni się dziennik zmian od książki kodowej?

Książka kodowa opisuje zmienne: nazwy, kody, zakresy i oznaczenia braków – to z niej wynikają reguły kontroli. Dziennik zmian opisuje konkretne rekordy: który identyfikator, która zmienna, jaka wartość była, jaka jest teraz i dlaczego. Książkę piszesz przed zebraniem danych, dziennik powstaje przy ich sprawdzaniu.

Czy w pracy dyplomowej trzeba opisywać, jak sprawdzono dane?

Wystarczy krótki akapit w metodach: że reguły kontroli ustalono przed analizą, jakie były ich rodzaje, ile wartości poprawiono, ile oznaczono jako braki i jak postąpiono z rekordami podejrzanymi. Sam dziennik zmian możesz dołączyć jako załącznik albo zachować do wglądu promotora i recenzenta.

Czy zamiast reguł w R wystarczy sprawdzanie poprawności danych w Excelu?

Sprawdzanie poprawności przy wpisywaniu zapobiega części błędów w ankietach papierowych, ale nie wyłapie sprzeczności między pytaniami ani błędów w eksporcie z formularza internetowego. Reguły możesz liczyć formułami w kopii arkusza, a dziennik prowadzić w osobnym arkuszu. Ważne, żeby plik surowy pozostał nietknięty, a każda zmiana miała swój wiersz w dzienniku.

Powiązane hasła

Przeczytaj też

Poradnik

Nie da się połączyć pomiaru przed i po

Uczciwe łączenie kodów regułami ustalonymi z góry, analiza jak dla dwóch grup, utrata mocy, selektywne łączenie, kod R i gotowe zdania.

Czytaj →
Poradnik

Wynik wygląda podejrzanie

Tabela objaw × przyczyna × test, plik CSV z usterkami, kod R z wynikami przed naprawą i po niej oraz lista kontrolna na 10 minut.

Czytaj →
Poradnik

Błąd w ankiecie po zebraniu danych

Dwanaście usterek formularza: jak je wykryć, co zrobić i co napisać w pracy, z symulowaną ankietą w R i gotowymi zdaniami.

Czytaj →
Poradnik

Porządek w plikach pracy

Pięć folderów, surowe dane tylko do odczytu, nazwy bez „final2”, kopie 3-2-1, osobny klucz ID i co robić, gdy plik zniknie.

Czytaj →
Poradnik

Analiza ankiety z Google Forms krok po kroku

Od surowego CSV do zdań APA: słownik zmiennych, kontrola jakości, przekodowanie pytań, tabela próby i trzy hipotezy w R.

Czytaj →
Poradnik

Diagram przepływu respondentów

Od 612 wejść w link do 413 analizowanych: etapy, kryteria wykluczeń i ich kolejność, odsetek odpowiedzi i diagram w R.

Czytaj →
Poradnik

Test techniczny ankiety online

Plan testów dla każdej ścieżki, obowiązkowe pytania, dane testowe ręczne i wygenerowane oraz kontrola eksportu w R według książki kodowej przed wysłaniem linku.

Czytaj →
Poradnik

Pakiet replikacyjny: dane i kod do artykułu

Struktura folderów, README, książka kodowa, skrypty R działające od zera, anonimizacja i RODO, licencje, OSF i deklaracja dostępności danych + szablon ZIP.

Czytaj →

Masz surowe dane z ankiety i nie wiesz, co poprawić, a czego nie ruszać?

Spiszemy z Tobą reguły kontroli, przejrzymy naruszenia i decyzje, przygotujemy skrypt z dziennikiem zmian w R lub SPSS i wyjaśnimy, jak opisać to w metodach, żebyś umiał(a) obronić każdą zmianę.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Broman, K. W., & Woo, K. H. (2018). Data organization in spreadsheets. The American Statistician, 72(1), 2–10. https://doi.org/10.1080/00031305.2017.1375989 ● Otwarty dostęp: pełny tekst
  2. Buchanan, E. M., Crain, S. E., Cunningham, A. L., Johnson, H. R., Stash, H., Papadatou-Pastou, M., Isager, P. M., Carlsson, R., & Aczel, B. (2021). Getting started creating data dictionaries: How to create a shareable data set. Advances in Methods and Practices in Psychological Science, 4(1), Article 2515245920928007. https://doi.org/10.1177/2515245920928007 ● Otwarty dostęp
  3. Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4–19. https://doi.org/10.1016/j.jesp.2015.07.006 ● Otwarty dostęp: pełny tekst
  4. Huebner, M., Vach, W., & le Cessie, S. (2016). A systematic approach to initial data analysis is good research practice. The Journal of Thoracic and Cardiovascular Surgery, 151(1), 25–27. https://doi.org/10.1016/j.jtcvs.2015.09.085 ● Otwarty dostęp
  5. Sandve, G. K., Nekrutenko, A., Taylor, J., & Hovig, E. (2013). Ten Simple Rules for Reproducible Computational Research. PLoS Computational Biology, 9(10), Article e1003285. https://doi.org/10.1371/journal.pcbi.1003285 ● Otwarty dostęp
  6. Van den Broeck, J., Argeseanu Cunningham, S., Eeckels, R., & Herbst, K. (2005). Data cleaning: Detecting, diagnosing, and editing data abnormalities. PLoS Medicine, 2(10), Article e267. https://doi.org/10.1371/journal.pmed.0020267 ● Otwarty dostęp
  7. Wilson, G., Bryan, J., Cranston, K., Kitzes, J., Nederbragt, L., & Teal, T. K. (2017). Good enough practices in scientific computing. PLOS Computational Biology, 13(6), Article e1005510. https://doi.org/10.1371/journal.pcbi.1005510 ● Otwarty dostęp

Cytowania BibTeX

@article{broman2018data, author={Broman, Karl W. and Woo, Kara H.}, title={{Data organization in spreadsheets}}, journal={The American Statistician}, year={2018}, volume={72}, number={1}, pages={2--10}, doi={10.1080/00031305.2017.1375989}}
@article{buchanan2021getting, author={Buchanan, Erin M. and Crain, Sarah E. and Cunningham, Ari L. and Johnson, Hannah R. and Stash, Hannah and Papadatou-Pastou, Marietta and Isager, Peder M. and Carlsson, Rickard and Aczel, Balazs}, title={{Getting started creating data dictionaries: How to create a shareable data set}}, journal={Advances in Methods and Practices in Psychological Science}, year={2021}, volume={4}, number={1}, eid={2515245920928007}, doi={10.1177/2515245920928007}}
@article{curran2016methods, author={Curran, Paul G.}, title={{Methods for the detection of carelessly invalid responses in survey data}}, journal={Journal of Experimental Social Psychology}, year={2016}, volume={66}, pages={4--19}, doi={10.1016/j.jesp.2015.07.006}}
@article{huebner2016systematic, author={Huebner, Marianne and Vach, Werner and le Cessie, Saskia}, title={{A systematic approach to initial data analysis is good research practice}}, journal={The Journal of Thoracic and Cardiovascular Surgery}, year={2016}, volume={151}, number={1}, pages={25--27}, doi={10.1016/j.jtcvs.2015.09.085}}
@article{sandve2013ten, author={Sandve, Geir Kjetil and Nekrutenko, Anton and Taylor, James and Hovig, Eivind}, title={{Ten Simple Rules for Reproducible Computational Research}}, journal={PLoS Computational Biology}, year={2013}, volume={9}, number={10}, eid={e1003285}, doi={10.1371/journal.pcbi.1003285}}
@article{vandenbroeck2005data, author={Van den Broeck, Jan and Argeseanu Cunningham, Solveig and Eeckels, Roger and Herbst, Kobus}, title={{Data cleaning: Detecting, diagnosing, and editing data abnormalities}}, journal={PLoS Medicine}, year={2005}, volume={2}, number={10}, eid={e267}, doi={10.1371/journal.pmed.0020267}}
@article{wilson2017good, author={Wilson, Greg and Bryan, Jennifer and Cranston, Karen and Kitzes, Justin and Nederbragt, Lex and Teal, Tracy K.}, title={{Good enough practices in scientific computing}}, journal={PLOS Computational Biology}, year={2017}, volume={13}, number={6}, eid={e1005510}, doi={10.1371/journal.pcbi.1005510}}
R