Statystyka · Kadry

Trafność testu rekrutacyjnego – ograniczenie zakresu i korekta Thorndike’a

Fikcyjna sieć magazynów przyjmuje magazynierów po teście praktycznym, a wśród zatrudnionych test koreluje z oceną pracy tylko na r = .27. Pokazujemy, dlaczego to zaniżona liczba, jak ją poprawić korektą Thorndike’a z przedziałem bootstrap, co dokłada test uwagi i ilu dobrych pracowników daje próg – sześć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Trafność testu rekrutacyjnego
W skrócie: Gdy firma przyjmuje tylko kandydatów powyżej progu testu, korelacja testu z oceną pracy wśród zatrudnionych jest zaniżona, bo rozrzut wyników testu jest mniejszy. W przykładzie sieci magazynów r = .27 przy SD testu 6.4 pkt wśród zatrudnionych i 11.9 pkt w całej puli. Korekta Thorndike’a (przypadek II) daje .46, 95% CI [.28, .59] (bootstrap BCa) – blisko prawdziwego .49. Korekta wymaga SD testu u wszystkich kandydatów, oceny pracy wystawianej bez znajomości wyniku testu i dość dużej próby: przy 50 osobach przedział sięgał od −.64 do .62.

Przykład: sieć magazynów i pytanie „czy nasz test działa?”

Fikcyjna sieć sześciu magazynów logistycznych zatrudnia magazynierów. Każdy kandydat rozwiązuje dwa testy: test praktyczny (kompletacja zamówień na stanowisku próbnym, 0–100 pkt) i test uwagi (wyszukiwanie niezgodnych etykiet, 0–40 pkt). Przyjmowane są tylko osoby z wynikiem testu praktycznego co najmniej 68 pkt. Po 6 miesiącach kierownik zmiany ocenia pracę nowej osoby (średnia sześciu pozycji, skala 1–7).

W 2025 r. testy napisało 1200 kandydatów, zatrudniono 315 (26.2%). Dział kadr policzył korelację testu z oceną pracy i wyszło r = .27. Zarząd pyta: czy test jest słaby i czy w ogóle warto go dalej robić?

Dane są fikcyjne i wiemy, co w nich ukryliśmy. Parametry ustawiliśmy ręcznie: w całej puli kandydatów test praktyczny koreluje z prawdziwą jakością pracy na poziomie .645, test uwagi – .45, testy ze sobą – .30, a rzetelność jednej oceny kierownika wynosi .60. Dlatego w puli korelacja testu praktycznego z oceną wynosi około .50. Ocenę „gdyby zatrudniono wszystkich” znamy tylko dzięki symulacji – w firmie odrzuceni nie mają oceny. Dla 80 losowych zatrudnionych zebraliśmy drugą, niezależną ocenę (kierownik magazynu). Ziarno danych to 717; parametrów danych ani ziaren po pierwszym uruchomieniu nie zmienialiśmy. Dane pobierzesz jako trafnosc-testu-magazyny-kandydaci.csv (kolumna ocena_symulacja istnieje tylko w symulacji).

Sam mechanizm pokazuje wpis ograniczony zakres zmiennej – wizualizacja. Tu liczymy decyzje jednej firmy.

Rysunek 1: pula kandydatów, próg i zatrudnieni

Schemat: 1. Pula kandydatów – 1200 osób pisze test praktyczny i test uwagi, SD testu praktycznego 11.9 pkt. Strzałka do: 2. Próg przyjęcia – test praktyczny co najmniej 68 pkt (górne 26% kandydatów). Strzałka do: 3. Zatrudnieni – 315 osób, ocena kierownika po 6 miesiącach, SD testu 6.4 pkt. Od progu strzałka w dół do: Odrzuceni – 885 osób bez oceny pracy. Od zatrudnionych strzałka do ramki: rozrzut testu 1.8 razy mniejszy, r wśród zatrudnionych .27, po korekcie Thorndike’a .46
Rysunek 1. Droga od puli kandydatów do korelacji, którą widzi dział kadr. Grafika: R, pakiet ggplot2 (dane fikcyjne, set.seed(717)).

Co widać. Korelację testu z oceną pracy da się policzyć tylko na zatrudnionych, a ich wybrano właśnie testem. Wśród nich odchylenie standardowe testu praktycznego wynosi 6.4 pkt zamiast 11.9 pkt. To ograniczenie zakresu – szczególny przypadek błędu selekcji.

Jak może zmylić. Schemat zakłada ostry próg. Jeśli o przyjęciu decydował też wywiad albo część osób odrzuciła ofertę, selekcja jest pośrednia (pułapki niżej).

Podpis do pracy:

Rysunek 1. Schemat procesu rekrutacji: pula kandydatów (N = 1200), próg przyjęcia w teście praktycznym (≥ 68 pkt) i grupa zatrudnionych (n = 315), dla której dostępna jest ocena pracy po 6 miesiącach. Uwaga. SD – odchylenie standardowe wyniku testu praktycznego.

Rysunek 2: cała pula a zatrudnieni

Trafność prognostyczna to zdolność testu do przewidywania kryterium zmierzonego później – tu oceny pracy po 6 miesiącach. Jej miarą jest współczynnik trafności, czyli korelacja Pearsona wyniku testu z kryterium (więcej o rodzinie dowodów w haśle trafność kryterialna). Z praktycznego punktu widzenia to najważniejsza własność metody oceny kandydatów (Schmidt i Hunter, 1998).

Wykres rozrzutu wyniku testu praktycznego (oś pozioma, 20–100 pkt) i oceny pracy po 6 miesiącach (oś pionowa, 1–7). Puste szare kółka – 885 odrzuconych, ocena znana tylko w symulacji; niebieskie pełne punkty – 315 zatrudnionych na prawo od pionowej linii progu 68 pkt. Szara przerywana prosta dla całej puli, r = .49; niebieska prosta dla zatrudnionych, r = .27; obie proste mają podobne nachylenie
Rysunek 2. Wynik testu praktycznego a ocena pracy po 6 miesiącach w całej puli kandydatów i wśród zatrudnionych. Obliczenia: R, pakiety ggplot2 i MASS (dane fikcyjne, set.seed(717)).

Co widać. Wśród zatrudnionych r = .27, 95% CI [.16, .37], t(313) = 4.93, p < .001. Gdyby zatrudniono wszystkich, wyszłoby r = .49. Prosta prawie się nie zmienia: 0.40 pkt oceny na 10 pkt testu w puli i 0.36 wśród zatrudnionych. Spada korelacja, bo spadł rozrzut testu.

Jak może zmylić. W firmie nie zobaczysz szarych kółek – tylko niebieską chmurę, która wygląda na „słaby związek”.

Podpis do pracy:

Rysunek 2. Związek wyniku testu praktycznego z oceną pracy po 6 miesiącach. Uwaga. Pełne punkty – osoby zatrudnione (n = 315); puste punkty – kandydaci odrzuceni, których ocena jest znana wyłącznie w danych symulowanych; linia pionowa – próg przyjęcia (68 pkt).

Zdanie do Wyników:

Wśród osób zatrudnionych wynik testu praktycznego korelował z oceną pracy po 6 miesiącach, r(313) = .27, 95% CI [.16, .37], p < .001. Odchylenie standardowe wyniku testu wśród zatrudnionych (SD = 6.43) było 1.85 raza mniejsze niż w całej puli kandydatów (SD = 11.88), co zaniża współczynnik trafności.

Rysunek 3: korekta Thorndike’a z przedziałem bootstrap

Firma ma przewagę nad wieloma badaczami: test napisali wszyscy kandydaci, więc znamy jego odchylenie standardowe bez ograniczenia. Przy selekcji bezpośrednio po teście stosuje się korektę Thorndike’a, przypadek II. Słowami: pomnóż obserwowaną korelację przez u – iloraz SD testu w puli do SD wśród zatrudnionych – i podziel przez pierwiastek z wyrażenia „1 minus r² plus r² razy u²”:

rc = r · u / √(1 − r² + r² · u²),   u = SDpula / SDzatrudnieni

Na liczbach: .268 × 1.847 / √(1 − .072 + .072 × 3.41) = .46. Sackett i Yang (2000) klasyfikują sytuacje ograniczenia zakresu według zmiennej, po której nastąpiła selekcja, i według tego, czy znasz wariancję bez ograniczenia – nasz przypadek (selekcja po teście, znane SD puli) jest najprostszy.

Wzór daje jedną liczbę, a z 315 osób potrzebujesz też przedziału. Dlatego stosujemy bootstrap: 5000 razy losujemy zatrudnionych ze zwracaniem i za każdym razem liczymy r, u i korektę. Chan i Chan (2004) pokazali w symulacjach, że dla skorygowanej korelacji przedział bootstrapowy BCa najtrafniej pokrywa wartość w populacji.

Ocena kierownika też ma błąd. Zgodność dwóch kierowników u 80 osób to ryy = .48 [.30, .61] – blisko średniej .52 dla ocen przełożonych z metaanalizy Viswesvarana i in. (1996), którzy przypominają, że do korekty trzeba użyć rzetelności międzyoceniającej. Dzieląc r przez √ryy, a dopiero potem korygując zakres, szacujesz trafność wobec jakości pracy bez błędu oceny. Logikę i ograniczenia tej korekty na atenuację opisuje wpis o błędzie pomiaru w regresji.

Wykres punktowy z 95% przedziałami BCa. Zatrudnieni bez korekty: .27 [.16, .37] (niebieskie kółko). Korekta zakresu Thorndike II: .46 [.28, .59]. Korekta zakresu i rzetelności oceny: .61 [.39, .77]. Magazyn F, 21 osób, korekta zakresu: .73 [.20, .89] (pomarańczowe trójkąty). Pionowa przerywana linia: korelacja z oceną w całej puli .49; ciągła: korelacja z jakością pracy bez błędu oceny .63
Rysunek 3. Współczynnik trafności testu praktycznego bez korekty i po korektach, z 95% przedziałami bootstrap BCa (5000 losowań). Obliczenia: R, pakiety boot i ggplot2 (dane fikcyjne, set.seed(717), set.seed(7173), set.seed(7174)).

Co widać. Korekta podnosi trafność z .27 do .46, 95% CI [.28, .59] – blisko prawdziwego .49 w puli. Po dodatkowej korekcie na rzetelność oceny wychodzi .61 [.39, .77] wobec prawdziwego .63. Przedział po korekcie jest jednak szerszy: korekta mnoży także niepewność.

Jak może zmylić. Ostatni wiersz to jeden magazyn z 21 zatrudnionymi: r = .49, po korekcie .73, a przedział od .20 do .89. Z tak małej grupy nie wyciągaj wniosków o teście w tym magazynie. Druga sprawa: w metaanalizach trafności metod selekcji korekty na ograniczenie zakresu bywały nadmierne – po ich poprawieniu średnie współczynniki trafności spadły o .10–.20 (Sackett i in., 2022). Koryguj tylko wtedy, gdy wiesz, po czym była selekcja i jakie jest SD puli.

Podpis do pracy:

Rysunek 3. Współczynnik trafności prognostycznej testu praktycznego wobec oceny pracy po 6 miesiącach: wartość obserwowana wśród zatrudnionych, po korekcie na bezpośrednie ograniczenie zakresu (Thorndike, przypadek II) oraz po korekcie na ograniczenie zakresu i rzetelność oceny. Uwaga. Odcinki – 95% przedziały bootstrapowe BCa (5000 replikacji).

Zdanie do Wyników:

Po korekcie na bezpośrednie ograniczenie zakresu (u = 1.85) współczynnik trafności testu praktycznego wyniósł r = .46, 95% CI [.28, .59] (bootstrap BCa, 5000 replikacji). Po dodatkowej korekcie na rzetelność oceny pracy (zgodność dwóch oceniających r = .48, n = 80) oszacowanie wyniosło r = .61, 95% CI [.39, .77].

Rysunek 4: co dokłada test uwagi?

Test uwagi wydłuża rekrutację. Czy przewiduje ocenę pracy ponad test praktyczny? To pytanie o trafność przyrostową. Sprawdzamy ją w regresji hierarchicznej: w kroku 1 test praktyczny, w kroku 2 test uwagi, i patrzymy na przyrost ΔR².

Poziome słupki skumulowane R kwadrat oceny pracy. Zatrudnieni, 315 osób: test praktyczny .07 (niebieski) plus test uwagi .05 (zielony), razem .12, test uwagi to 39% całości. Cała pula, tylko w symulacji, 1200 osób: test praktyczny .24 plus test uwagi .04, razem .28, test uwagi to 15% całości
Rysunek 4. Odsetek wariancji oceny pracy wyjaśniony przez test praktyczny (krok 1) i przyrost po dodaniu testu uwagi (krok 2) wśród zatrudnionych i w całej puli kandydatów. Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(717)).

Co widać. Wśród zatrudnionych test uwagi podnosi R² z .072 do .119: ΔR² = .047, F(1, 312) = 16.55, p < .001; 5 pkt w teście uwagi to 0.17 pkt oceny więcej. W całej puli ΔR² jest podobne (.042), a współczynnik prawie ten sam (0.18).

Jak może zmylić. Wśród zatrudnionych test uwagi wygląda na prawie równorzędny – daje 39% wyjaśnionej wariancji, w puli tylko 15%. To efekt selekcji: zawęziliśmy test praktyczny, a test uwagi tylko trochę (jego korelacja z testem praktycznym spadła z .29 do .14). Ocena przyrostu zależy od kryterium, miar porównawczych i próby (Haynes i Lench, 2003). Więcej o tej analizie: wpis trafność przyrostowa nowej skali.

Podpis do pracy:

Rysunek 4. Odsetek wariancji oceny pracy wyjaśniony przez wynik testu praktycznego (krok 1) i przyrost po dodaniu wyniku testu uwagi (krok 2). Uwaga. Wartości dla całej puli kandydatów są dostępne wyłącznie w danych symulowanych.

Zdanie do Wyników:

Dodanie wyniku testu uwagi do modelu z wynikiem testu praktycznego zwiększyło odsetek wyjaśnionej wariancji oceny pracy z R² = .072 do R² = .119, ΔR² = .047, F(1, 312) = 16.55, p < .001.

Rysunek 5: ilu dobrych pracowników daje próg?

Korelacja niewiele mówi kierownikowi. Lepiej przełożyć ją na odsetek „dobrych” magazynierów (ocena co najmniej 5.0) wśród przyjętych przy różnych progach. Firma może to policzyć z modelu: rozkładu normalnego dwóch zmiennych z korelacją r (tablice Taylora–Russella). Średnią i SD oceny w puli odtwarzamy z prostej regresji oceny na test wśród zatrudnionych – przy selekcji po teście ta prosta się nie zmienia. Model daje 31.5% dobrych w puli (w symulacji 32.4%).

Wykres liniowy: oś pozioma – odsetek przyjętych kandydatów od 5 do 100%, oś pionowa – odsetek dobrych pracowników wśród przyjętych. Granatowa linia (symulacja, cała pula) spada od 71% do 32%. Pomarańczowa linia (model z r po korekcie) biegnie tuż pod nią. Niebieska przerywana (model z r bez korekty) jest wyraźnie niżej, od 53% do 32%. Przy obecnym progu 68 pkt (26% przyjętych): 57.1%, 53.7% i 43.9%. Pozioma kropkowana linia: bez testu 32% dobrych
Rysunek 5. Odsetek dobrych pracowników (ocena ≥ 5.0) wśród przyjętych w zależności od odsetka przyjętych kandydatów: symulacja i model dwuwymiarowy normalny z korelacją bez korekty i po korekcie Thorndike’a. Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(717)).

Co widać. Bez testu dobrych byłoby ok. 32%. Przy obecnym progu (26.2% przyjętych) jest ich 57.1%. Model z korelacją po korekcie przewiduje 53.7%, a model z r = .27 bez korekty – tylko 43.9%. Przy ostrzejszym progu 75 pkt (10.6% przyjętych) symulacja daje 66.1%, model po korekcie 63.3%, bez korekty 49.3%.

Jak może zmylić. Model bez korekty zaniża użyteczność testu. Ostrzejszy próg to więcej dobrych, ale mniej przyjętych – przy brakach kadrowych odsetek przyjętych ustala rynek. Model zakłada liniowość i normalność.

Podpis do pracy:

Rysunek 5. Przewidywany odsetek pracowników z oceną pracy co najmniej 5.0 wśród przyjętych w zależności od odsetka przyjętych kandydatów. Uwaga. Linie modelowe wyznaczono z dwuwymiarowego rozkładu normalnego z korelacją obserwowaną (r = .27) i skorygowaną na ograniczenie zakresu (r = .46); linia przerywana pionowa – obecny próg 68 pkt.

Zdanie do Wyników:

Przy obecnym progu przyjęcia (26.2% kandydatów) model z korelacją skorygowaną na ograniczenie zakresu przewiduje 53.7% pracowników z oceną co najmniej 5.0, wobec 31.5% przy przyjmowaniu bez testu.

Rysunek 6: kierownik, który zna wynik, i mała próba

(A) Kierownik zmiany zna wynik testu nowej osoby i ocenia ją przez ten pryzmat. To kontaminacja kryterium: ocena zawiera kawałek testu. W symulacji dodajemy do oceny w odchyleń standardowych oceny razy wynik testu w jednostkach z. (B) Firma sprawdza trafność na pierwszych zatrudnionych – w podzbiorach 25, 50, 100 i 200 osób z losowej kolejności.

Dwa panele. A: współczynnik trafności w zależności od siły podpowiedzi w od 0 do 0.4; bez korekty rośnie od .27 do .57, po korekcie Thorndike’a od .46 do .79; pozioma przerywana linia w puli r = .49. B: r po korekcie z 95% przedziałem BCa dla podzbiorów zatrudnionych: n = 25 .50 [−.50, .87], n = 50 −.09 [−.64, .62], n = 100 .15 [−.30, .53], n = 200 .37 [.05, .58], n = 315 .46 [.28, .59]
Rysunek 6. Wpływ kontaminacji kryterium na współczynnik trafności (A) i niepewność skorygowanej trafności w zależności od liczby zbadanych zatrudnionych (B). Obliczenia: R, pakiety boot, ggplot2 i patchwork (dane fikcyjne, set.seed(7176)).

Co widać. Panel A: już w = 0.2 podnosi r do .44, a po korekcie do .67 – wyżej niż prawdziwe .49. Korekta Thorndike’a powiększa każdy błąd w kryterium. Panel B: przy 50 osobach wyszło −.09 z przedziałem od −.64 do .62; pilotaż na takiej grupie mógłby „pokazać”, że test nie działa. Dopiero 200–315 osób daje przedział, który wyklucza zero.

Jak może zmylić. Kontaminacji nie widać w danych – trzeba jej zapobiec. Podzbiory w panelu B to jedno losowanie, więc przedziały nie maleją idealnie z n.

Podpis do pracy:

Rysunek 6. (A) Współczynnik trafności testu praktycznego bez korekty i po korekcie na ograniczenie zakresu przy rosnącej kontaminacji oceny pracy wynikiem testu (dane symulowane). (B) Skorygowany współczynnik trafności z 95% przedziałem bootstrapowym BCa w podzbiorach zatrudnionych różnej wielkości. Uwaga. Linia przerywana – korelacja w całej puli kandydatów (r = .49).

Co z tym zrobić w firmie

  • Nie wyrzucaj testu za r = .27. Po korekcie trafność wynosi .46 [.28, .59], a próg 68 pkt podnosi odsetek dobrych magazynierów z ok. 32% do ok. 57%.
  • Zapisuj wyniki wszystkich kandydatów. Bez SD puli nie policzysz korekty. Normy wydawcy testu (hasło normy testowe) zastąpią je tylko wtedy, gdy dotyczą podobnych kandydatów.
  • Ukryj wynik testu przed oceniającymi. Ocena „na ślepo” to jedyna ochrona przed kontaminacją kryterium.
  • Zbieraj dwie oceny. Drugi oceniający dla części osób daje rzetelność kryterium; jak mierzyć zgodność oceniających, pokazuje wpis ocena 360 stopni.
  • Test uwagi zostaw, jeśli koszt jest mały. Przyrost ΔR² = .04–.05 jest realny, ale skromniejszy, niż sugeruje udział 39% wśród zatrudnionych.
  • Sprawdź też równość szans. Ten sam próg może przyjmować różne grupy kandydatów w różnym odsetku – zob. wpis o zasadzie czterech piątych. Płace nowych pracowników analizuje wpis o siatce płac.

Jak opisać w pracy

Podaj, kto miał kryterium, po czym była selekcja, skąd SD bez ograniczenia, jaką korektę zastosowano i jak liczono przedział. Ogólne wskazówki: wpis statystyka w pracy z zarządzania i ekonomii.

Metoda. Trafność prognostyczną testu praktycznego oceniono jako korelację Pearsona wyniku testu z oceną pracy wystawioną przez kierownika zmiany po 6 miesiącach (n = 315 zatrudnionych spośród 1200 kandydatów). Ponieważ zatrudniono wyłącznie osoby z wynikiem co najmniej 68 pkt, zastosowano korektę na bezpośrednie ograniczenie zakresu (Thorndike, przypadek II) z odchyleniem standardowym wyniku testu w całej puli kandydatów. Rzetelność oceny pracy oszacowano jako zgodność dwóch niezależnych oceniających (n = 80). Przedziały ufności wyznaczono metodą bootstrap BCa (5000 replikacji). Trafność przyrostową testu uwagi oceniono w regresji hierarchicznej. Obliczenia wykonano w R 4.5.3.

W Wynikach podaj tabelę obok siebie: wartość obserwowaną i skorygowaną.

Współczynnik trafności testu praktycznego bez korekty i po korektach
Oszacowanier95% CI (BCa)
Zatrudnieni, bez korekty.27[.16, .37]
Korekta na ograniczenie zakresu.46[.28, .59]
Korekta na zakres i rzetelność oceny.61[.39, .77]
Tabela 1. Współczynnik trafności prognostycznej testu praktycznego wobec oceny pracy po 6 miesiącach (n = 315). Uwaga. Korekta na ograniczenie zakresu: Thorndike, przypadek II, u = 1.85; rzetelność oceny pracy r = .48 (dwóch oceniających, n = 80). CI – przedział ufności bootstrap BCa, 5000 replikacji.
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę, motyw i funkcje pomocnicze, z których korzystają następne. Przepisy 2–7 kończą się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Ziarna: set.seed(717) (dane), set.seed(7173) i set.seed(7174) (bootstrap w przepisie 3), set.seed(7176) (przepis 6); ustalono je raz i nie zmieniano. Ręcznie ustalono: 1200 kandydatów, korelacje ukryte (.645, .45, .30), rzetelność jednej oceny .60, skale testów (średnie 60 i 28 pkt, SD 12 i 6 pkt) i oceny (średnia 4.5, SD 1), próg 68 pkt, udziały magazynów, 80 osób z drugą oceną, granicę „dobrego pracownika” 5.0 i wagi kontaminacji 0–0.4. Po pierwszym uruchomieniu zmieniono raz sposób losowania podzbiorów w przepisie 6: zamiast niezależnych prób każdej wielkości – podzbiory zagnieżdżone (pierwsze 25, 50, 100, 200 osób z jednej losowej kolejności), a dla wszystkich 315 osób – przedział z przepisu 3, by ta sama liczba nie miała na stronie dwóch przedziałów. Przepis 1 zapisuje dane do pliku CSV w katalogu roboczym. Cały kod liczy się kilka sekund.

1. Dane: 1200 kandydatów, próg i ocena pracy

Dane wejściowe: nic – dane losuje kod. Na początku – paleta Okabe–Ito kol, motyw motyw i funkcje minus() (znak − w etykietach) oraz r_txt() (zapis r bez zera).

Co odczytać: liczbę kandydatów, zatrudnionych i osób z dwiema ocenami, odsetek zatrudnionych, liczebności magazynów oraz średnie i SD w puli i wśród zatrudnionych.

R
# Przepis 1. Fikcyjna sieć magazynów: 1200 kandydatów na magazynierów, test praktyczny, test uwagi,
# próg przyjęcia i ocena pracy po 6 miesiącach
library(MASS)
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw rysunków
kol <- c("Pula" = "grey60", "Zatrudnieni" = "#0072B2", "Korekta" = "#D55E00", "Prawda" = "#0f1d3a",
         "Uwaga" = "#009E73", "Bez korekty" = "#0072B2")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))
minus <- function(x) gsub("-", "−", x)          # znak minus (−) w etykietach rysunków
r_txt <- function(r) minus(sub("^(-?)0\\.", "\\1.", sprintf("%.2f", r)))   # r = .43 (bez zera)

# Parametry ustalone ręcznie (korelacje zmiennych ukrytych w całej puli kandydatów):
# test praktyczny – prawdziwa jakość pracy .645, test uwagi – jakość pracy .45, test praktyczny – test uwagi .30.
# Ocena kierownika = jakość pracy + błąd; rzetelność jednej oceny .60, więc korelacja testu praktycznego
# z oceną w puli wynosi ok. .645 × √.60 = .50, a testu uwagi ok. .35.
n_pula <- 1200
R_ukryte <- matrix(c(1, .30, .645,
                     .30, 1, .45,
                     .645, .45, 1), 3, 3)
rzetelnosc_oceny <- 0.60
prog <- 68                                        # próg przyjęcia: test praktyczny ≥ 68 pkt

set.seed(717)
z <- mvrnorm(n_pula, mu = c(0, 0, 0), Sigma = R_ukryte)
ocena_z <- function(T) sqrt(rzetelnosc_oceny) * T + sqrt(1 - rzetelnosc_oceny) * rnorm(length(T))
pula <- data.frame(
  id = 1:n_pula,
  magazyn = paste("Magazyn", sample(LETTERS[1:6], n_pula, replace = TRUE, prob = c(.25, .22, .18, .15, .12, .08))),
  test_praktyczny = pmin(100, pmax(0, round(60 + 12 * z[, 1]))),     # punkty 0–100
  test_uwagi = pmin(40, pmax(0, round(28 + 6 * z[, 2]))),            # punkty 0–40
  # ocena pracy po 6 mies. (średnia 6 pozycji 1–7) – w symulacji znana dla wszystkich, w firmie tylko dla zatrudnionych
  ocena_symulacja = pmin(7, pmax(1, round(4.5 + 1.0 * ocena_z(z[, 3]), 1))),
  ocena_drugi_symulacja = pmin(7, pmax(1, round(4.5 + 1.0 * ocena_z(z[, 3]), 1))))
pula$zatrudniony <- pula$test_praktyczny >= prog
# Drugą, niezależną ocenę (kierownik magazynu) zebrano dla losowych 80 zatrudnionych
drugi <- sample(pula$id[pula$zatrudniony], 80)
pula$ocena <- ifelse(pula$zatrudniony, pula$ocena_symulacja, NA)
pula$ocena_drugi <- ifelse(pula$id %in% drugi, pula$ocena_drugi_symulacja, NA)
zatr <- pula[pula$zatrudniony, ]
write.csv(pula[, c("id", "magazyn", "test_praktyczny", "test_uwagi", "zatrudniony", "ocena", "ocena_drugi",
                   "ocena_symulacja")], "trafnosc-testu-magazyny-kandydaci.csv", row.names = FALSE)

c(kandydaci = nrow(pula), zatrudnieni = nrow(zatr), z_dwiema_ocenami = sum(!is.na(pula$ocena_drugi)))
round(100 * mean(pula$zatrudniony), 1)                 # odsetek zatrudnionych (%)
table(zatr$magazyn)
round(sapply(pula[, c("test_praktyczny", "test_uwagi", "ocena_symulacja")], function(x) c(M = mean(x), SD = sd(x))), 2)
round(sapply(zatr[, c("test_praktyczny", "test_uwagi", "ocena")], function(x) c(M = mean(x), SD = sd(x))), 2)
Wynik w R
       kandydaci      zatrudnieni z_dwiema_ocenami 
            1200              315               80 
[1] 26.2

Magazyn A Magazyn B Magazyn C Magazyn D Magazyn E Magazyn F 
       77        63        46        60        48        21 
   test_praktyczny test_uwagi ocena_symulacja
M            60.05      28.03            4.49
SD           11.88       5.85            0.99
   test_praktyczny test_uwagi ocena
M            74.70      30.11  5.08
SD            6.43       5.44  0.85

2. Cała pula a zatrudnieni: Rysunek 2

Dane wejściowe: pula, zatr, prog, kol, motyw i r_txt() z przepisu 1.

Co odczytać: korelację w puli i wśród zatrudnionych, SD testu, u, test istotności i przedział dla r oraz nachylenie na 10 pkt testu.

R
# Przepis 2. Cała pula a zatrudnieni: korelacja testu praktycznego z oceną pracy (Rysunek 2)
# (korzysta z pula, zatr, prog, kol, motyw i r_txt() z przepisu 1)
library(ggplot2)

# W firmie znasz tylko wiersz „zatrudnieni”; wiersz „cała pula” istnieje, bo dane są symulowane
r_pula <- cor(pula$test_praktyczny, pula$ocena_symulacja)
test_zatr <- cor.test(zatr$test_praktyczny, zatr$ocena)
r_zatr <- unname(test_zatr$estimate)
sd_pula <- sd(pula$test_praktyczny); sd_zatr <- sd(zatr$test_praktyczny)
u <- sd_pula / sd_zatr                            # ile razy rozrzut testu w puli jest większy niż wśród zatrudnionych
round(c(r_pula = r_pula, r_zatrudnieni = r_zatr, SD_pula = sd_pula, SD_zatrudnieni = sd_zatr, u = u), 3)
sprintf("t(%d) = %.2f, p = %.2g", test_zatr$parameter, test_zatr$statistic, test_zatr$p.value)
round(test_zatr$conf.int, 3)
# Nachylenie prostej (punkty oceny na 10 pkt testu) – przy selekcji po teście prawie się nie zmienia
round(10 * c(pula = unname(coef(lm(ocena_symulacja ~ test_praktyczny, pula))[2]),
             zatrudnieni = unname(coef(lm(ocena ~ test_praktyczny, zatr))[2])), 3)

pula$grupa <- ifelse(pula$zatrudniony, "Zatrudnieni", "Pula")
p2 <- ggplot(pula, aes(test_praktyczny, ocena_symulacja)) +
  geom_vline(xintercept = prog - 0.5, linetype = "22", colour = "grey30") +
  geom_point(aes(colour = grupa, shape = grupa, alpha = grupa), size = 1.6) +
  geom_smooth(method = "lm", formula = y ~ x, se = FALSE, colour = kol[["Pula"]], linetype = "longdash", linewidth = 0.9) +
  geom_smooth(data = zatr, aes(test_praktyczny, ocena), method = "lm", formula = y ~ x, se = FALSE,
              colour = kol[["Zatrudnieni"]], linewidth = 1.1) +
  annotate("text", x = 31, y = 6.85, hjust = 0, size = 4.2, fontface = "bold", colour = "grey35",
           label = paste0("Cała pula (", nrow(pula), " osób): r = ", r_txt(r_pula))) +
  annotate("text", x = 74, y = 1.35, hjust = 0, size = 4.2, fontface = "bold", colour = kol[["Zatrudnieni"]],
           label = paste0("Zatrudnieni (", nrow(zatr), "): r = ", r_txt(r_zatr))) +
  annotate("text", x = prog + 0.5, y = 7.25, hjust = 0, size = 3.8, label = paste("próg", prog, "pkt")) +
  scale_colour_manual(values = kol[c("Pula", "Zatrudnieni")], name = NULL,
                      labels = c("Odrzuceni (ocena znana tylko w symulacji)", "Zatrudnieni")) +
  scale_shape_manual(values = c(Pula = 1, Zatrudnieni = 16), name = NULL,
                     labels = c("Odrzuceni (ocena znana tylko w symulacji)", "Zatrudnieni")) +
  scale_alpha_manual(values = c(Pula = 0.45, Zatrudnieni = 0.75), guide = "none") +
  scale_y_continuous(breaks = 1:7, limits = c(1, 7.3)) +
  labs(x = "Test praktyczny (punkty 0–100)", y = "Ocena pracy po 6 miesiącach (1–7)",
       title = "Wszyscy kandydaci a zatrudnieni: ten sam test, inna korelacja") + motyw
p2   # zapis: ggsave("trafnosc-testu-pula-a-zatrudnieni.svg", p2, width = 10, height = 6)
Wynik w R
        r_pula  r_zatrudnieni        SD_pula SD_zatrudnieni              u 
         0.486          0.268         11.882          6.432          1.847 
[1] "t(313) = 4.93, p = 1.3e-06"
[1] 0.163 0.368
attr(,"conf.level")
[1] 0.95
       pula zatrudnieni 
      0.404       0.355 

3. Korekta Thorndike’a, rzetelność oceny i bootstrap BCa: Rysunek 3

Dane wejściowe: obiekty z przepisów 1–2. Losuje bootstrap (set.seed(7173) i set.seed(7174)).

Co odczytać: r, r po korekcie, rzetelność oceny i r po obu korektach z 95% przedziałami BCa, wynik dla magazynu F i wartości docelowe znane w symulacji.

R
# Przepis 3. Korekta Thorndike’a (przypadek II), korekta na rzetelność oceny i przedziały bootstrap (Rysunek 3)
# (korzysta z pula, zatr, sd_pula, r_pula, kol, motyw i r_txt() z przepisu 1–2)
library(boot)
library(ggplot2)

# Thorndike, przypadek II (selekcja bezpośrednio po teście): r_c = r·u / √(1 − r² + r²·u²), u = SD puli / SD zatrudnionych
thorndike2 <- function(r, u) r * u / sqrt(1 - r^2 + r^2 * u^2)

statystyki <- function(d, i) {
  d <- d[i, ]
  r <- cor(d$test_praktyczny, d$ocena)
  u <- sd_pula / sd(d$test_praktyczny)            # SD puli jest znane: test pisali wszyscy kandydaci
  dwie <- !is.na(d$ocena_drugi)
  r_yy <- cor(d$ocena[dwie], d$ocena_drugi[dwie]) # zgodność dwóch kierowników = rzetelność jednej oceny
  c(r = r, r_thorndike = thorndike2(r, u),
    r_yy = r_yy, r_oba = thorndike2(r / sqrt(r_yy), u))   # najpierw rzetelność oceny (u zatrudnionych), potem zakres
}
oszac <- statystyki(zatr, seq_len(nrow(zatr)))
round(oszac, 3)

set.seed(7173)
bs <- boot(zatr, statystyki, R = 5000)
przedzial <- function(k) boot.ci(bs, type = "bca", index = k)$bca[4:5]
ci <- t(sapply(c(r = 1, r_thorndike = 2, r_yy = 3, r_oba = 4), przedzial))
round(cbind(oszacowanie = oszac, dolna_95 = ci[, 1], gorna_95 = ci[, 2]), 3)

# Jeden mały magazyn – ta sama korekta, ale z kilkudziesięciu osób
maly <- zatr[zatr$magazyn == "Magazyn F", ]
stat_maly <- function(d, i) { d <- d[i, ]; thorndike2(cor(d$test_praktyczny, d$ocena), sd_pula / sd(d$test_praktyczny)) }
set.seed(7174)
bs_maly <- boot(maly, stat_maly, R = 5000)
ci_maly <- boot.ci(bs_maly, type = "bca")$bca[4:5]
round(c(n = nrow(maly), r = cor(maly$test_praktyczny, maly$ocena), r_thorndike = bs_maly$t0,
        dolna_95 = ci_maly[1], gorna_95 = ci_maly[2]), 3)

# Wartości docelowe – znane tylko w symulacji: korelacja z oceną w całej puli i z „prawdziwą” jakością pracy
r_cel_ocena <- r_pula
r_cel_jakosc <- r_pula / sqrt(cor(pula$ocena_symulacja, pula$ocena_drugi_symulacja))
round(c(cel_ocena_w_puli = r_cel_ocena, rzetelnosc_oceny_w_puli = cor(pula$ocena_symulacja, pula$ocena_drugi_symulacja),
        cel_bez_bledu_oceny = r_cel_jakosc), 3)

wyk <- data.frame(
  co = c("Zatrudnieni, bez korekty", "Korekta zakresu (Thorndike II)", "Korekta zakresu i rzetelności oceny",
         paste0("Magazyn F (n = ", nrow(maly), "), korekta zakresu")),
  r = c(oszac[["r"]], oszac[["r_thorndike"]], oszac[["r_oba"]], bs_maly$t0),
  dolna = c(ci["r", 1], ci["r_thorndike", 1], ci["r_oba", 1], ci_maly[1]),
  gorna = c(ci["r", 2], ci["r_thorndike", 2], ci["r_oba", 2], ci_maly[2]),
  typ = c("Bez korekty", "Korekta", "Korekta", "Korekta"))
wyk$co <- factor(wyk$co, rev(wyk$co))
cele <- data.frame(x = c(r_cel_ocena, r_cel_jakosc),
                   co = c("z oceną kierownika", "z jakością pracy (ocena bez błędu)"))
p3 <- ggplot(wyk, aes(r, co)) +
  geom_vline(data = cele, aes(xintercept = x, linetype = co), colour = kol[["Prawda"]], linewidth = 0.7) +
  geom_errorbar(aes(xmin = dolna, xmax = gorna, colour = typ), width = 0.25, orientation = "y", linewidth = 0.9) +
  geom_point(aes(colour = typ, shape = typ), size = 3.6) +
  geom_text(aes(label = paste0(r_txt(r), "  [", r_txt(dolna), ", ", r_txt(gorna), "]")), vjust = -1.1, size = 3.9) +
  scale_colour_manual(values = kol[c("Bez korekty", "Korekta")], guide = "none") +
  scale_shape_manual(values = c("Bez korekty" = 16, "Korekta" = 17), guide = "none") +
  scale_linetype_manual(values = c("z oceną kierownika" = "22", "z jakością pracy (ocena bez błędu)" = "solid"),
                        name = "Korelacja w całej puli (tylko w symulacji):") +
  guides(linetype = guide_legend(nrow = 2, title.position = "top")) +
  scale_x_continuous(limits = c(-0.05, 1), breaks = seq(0, 1, 0.2), labels = r_txt) +
  labs(x = "Współczynnik trafności r (95% przedział bootstrap BCa)", y = NULL,
       title = "Ile wynosi trafność testu praktycznego?") + motyw
p3   # zapis: ggsave("trafnosc-testu-korekta-thorndike.svg", p3, width = 10, height = 5.4)
Wynik w R
          r r_thorndike        r_yy       r_oba 
      0.268       0.458       0.483       0.612 
            oszacowanie dolna_95 gorna_95
r                 0.268    0.156    0.370
r_thorndike       0.458    0.279    0.590
r_yy              0.483    0.300    0.612
r_oba             0.612    0.392    0.767
          n           r r_thorndike    dolna_95    gorna_95 
     21.000       0.494       0.729       0.198       0.885 
       cel_ocena_w_puli rzetelnosc_oceny_w_puli     cel_bez_bledu_oceny 
                  0.486                   0.604                   0.626 

4. Trafność przyrostowa testu uwagi: Rysunek 4

Dane wejściowe: pula, zatr, kol, motyw i r_txt() z przepisu 1.

Co odczytać: R² w krokach 1 i 2, ΔR², F, p i współczynnik testu uwagi wśród zatrudnionych i w puli.

R
# Przepis 4. Trafność przyrostowa testu uwagi ponad test praktyczny (Rysunek 4)
# (korzysta z pula, zatr, kol, motyw i r_txt() z przepisu 1)
library(ggplot2)

przyrost <- function(d, y) {
  m1 <- lm(reformulate("test_praktyczny", y), d)
  m2 <- lm(reformulate(c("test_praktyczny", "test_uwagi"), y), d)
  a <- anova(m1, m2)
  c(n = nrow(d), R2_krok1 = summary(m1)$r.squared, R2_krok2 = summary(m2)$r.squared,
    dR2 = summary(m2)$r.squared - summary(m1)$r.squared, F = a$F[2], df2 = a$Res.Df[2], p = a$`Pr(>F)`[2],
    b_uwagi_na_5_pkt = 5 * unname(coef(m2)["test_uwagi"]))
}
tab <- rbind(zatrudnieni = przyrost(zatr, "ocena"),
             cala_pula_symulacja = przyrost(pula, "ocena_symulacja"))
print(round(tab[, colnames(tab) != "p"], 4))
signif(tab[, "p"], 3)                    # wartości p testu F dla ΔR²
round(c(r_uwagi_zatrudnieni = cor(zatr$test_uwagi, zatr$ocena),
        r_uwagi_pula = cor(pula$test_uwagi, pula$ocena_symulacja),
        r_testow_zatrudnieni = cor(zatr$test_uwagi, zatr$test_praktyczny),
        r_testow_pula = cor(pula$test_uwagi, pula$test_praktyczny)), 3)

wyk <- data.frame(grupa = rep(c(paste0("Zatrudnieni (n = ", nrow(zatr), ")"),
                                paste0("Cała pula – tylko w symulacji (n = ", nrow(pula), ")")), 2),
                  krok = rep(c("Krok 1: test praktyczny", "Krok 2: + test uwagi (ΔR²)"), each = 2),
                  R2 = c(tab[, "R2_krok1"], tab[, "dR2"]))
wyk$grupa <- factor(wyk$grupa, unique(wyk$grupa))
wyk$krok <- factor(wyk$krok, rev(unique(wyk$krok)))
etyk <- data.frame(grupa = levels(wyk$grupa), R2 = tab[, "R2_krok2"],
                   tekst = paste0("R² = ", r_txt(tab[, "R2_krok2"]), "\nΔR² = ", r_txt(tab[, "dR2"]),
                                  " (", sprintf("%.0f", 100 * tab[, "dR2"] / tab[, "R2_krok2"]), "% całości)"))
p4 <- ggplot(wyk, aes(R2, grupa)) +
  geom_col(aes(fill = krok), width = 0.55, colour = "white") +
  geom_text(data = etyk, aes(x = R2 + 0.006, label = tekst), hjust = 0, size = 4, lineheight = 0.95) +
  scale_fill_manual(values = c("Krok 1: test praktyczny" = kol[["Zatrudnieni"]], "Krok 2: + test uwagi (ΔR²)" = kol[["Uwaga"]]),
                    breaks = c("Krok 1: test praktyczny", "Krok 2: + test uwagi (ΔR²)"), name = NULL) +
  scale_x_continuous(limits = c(0, 0.48), breaks = seq(0, 0.3, 0.1), labels = r_txt) +
  labs(x = "Odsetek wyjaśnionej wariancji oceny pracy (R²)", y = NULL,
       title = "Co dokłada test uwagi?") + motyw
p4   # zapis: ggsave("trafnosc-testu-przyrost-testu-uwagi.svg", p4, width = 10, height = 4.6)
Wynik w R
                       n R2_krok1 R2_krok2    dR2       F  df2 b_uwagi_na_5_pkt
zatrudnieni          315   0.0721   0.1188 0.0467 16.5501  312           0.1706
cala_pula_symulacja 1200   0.2365   0.2782 0.0417 69.1677 1197           0.1799
        zatrudnieni cala_pula_symulacja 
           6.01e-05            2.43e-16 
 r_uwagi_zatrudnieni         r_uwagi_pula r_testow_zatrudnieni 
               0.250                0.335                0.135 
       r_testow_pula 
               0.286 

5. Odsetek dobrych pracowników przy różnych progach: Rysunek 5

Dane wejściowe: obiekty z przepisów 1–3 (oszac – korelacje z przepisu 3).

Co odczytać: średnią i SD oceny w puli z modelu, odsetek dobrych w puli i wśród zatrudnionych oraz tabelę: odsetek przyjętych, próg, odsetek dobrych w symulacji i w obu modelach.

R
# Przepis 5. Użyteczność testu: odsetek dobrych pracowników przy różnych progach (Rysunek 5)
# (korzysta z pula, zatr, sd_pula, prog, oszac z przepisu 3, kol, motyw i minus() z przepisu 1)
library(ggplot2)

dobra <- 5.0                                       # „dobry pracownik”: ocena po 6 mies. co najmniej 5.0
# Prawda w symulacji: wśród kandydatów powyżej progu – jaki odsetek miałby ocenę ≥ 5.0?
odsetki <- c(seq(0.05, 0.95, by = 0.05), 1)
progi <- quantile(pula$test_praktyczny, 1 - odsetki, type = 1)
prawda <- sapply(progi, function(x0) mean(pula$ocena_symulacja[pula$test_praktyczny >= x0] >= dobra))
przyjeci <- sapply(progi, function(x0) mean(pula$test_praktyczny >= x0))

# Model (to, co firma może policzyć): rozkład dwuwymiarowy normalny testu i oceny w puli.
# Średnią i SD oceny w puli odtwarzamy z regresji oceny na test wśród zatrudnionych (selekcja po teście
# nie zmienia tej prostej); korelację bierzemy bez korekty albo po korekcie Thorndike’a.
m <- lm(ocena ~ test_praktyczny, zatr)
sr_oceny <- unname(coef(m)[1] + coef(m)[2] * mean(pula$test_praktyczny))
sd_oceny <- sqrt(coef(m)[[2]]^2 * sd_pula^2 + sigma(m)^2)
odsetek_dobrych <- function(s, rho, p0) {          # P(ocena ≥ próg | test w górnych s·100%), wzór Taylora–Russella
  a <- qnorm(1 - s); b <- qnorm(1 - p0)
  if (s >= 1) return(p0)
  integrate(function(x) dnorm(x) * pnorm((rho * x - b) / sqrt(1 - rho^2)), a, Inf)$value / s
}
p0 <- 1 - pnorm((dobra - sr_oceny) / sd_oceny)     # odsetek dobrych w puli według modelu
round(c(srednia_oceny_model = sr_oceny, SD_oceny_model = sd_oceny, dobrzy_w_puli_model = p0,
        dobrzy_w_puli_symulacja = mean(pula$ocena_symulacja >= dobra), dobrzy_wsrod_zatrudnionych = mean(zatr$ocena >= dobra)), 3)
model_kor <- sapply(przyjeci, odsetek_dobrych, rho = oszac[["r_thorndike"]], p0 = p0)
model_bez <- sapply(przyjeci, odsetek_dobrych, rho = oszac[["r"]], p0 = p0)
tab_u <- data.frame(przyjeci_proc = round(100 * przyjeci, 1), prog_pkt = unname(progi),
                    symulacja = round(100 * prawda, 1), model_thorndike = round(100 * model_kor, 1),
                    model_bez_korekty = round(100 * model_bez, 1))
print(tab_u[c(1, 2, 4, 5, 6, 10, 14, 20), ], row.names = FALSE)

dl <- rbind(data.frame(x = 100 * przyjeci, y = 100 * prawda, co = "Symulacja: cała pula"),
            data.frame(x = 100 * przyjeci, y = 100 * model_kor, co = "Model z r po korekcie Thorndike’a"),
            data.frame(x = 100 * przyjeci, y = 100 * model_bez, co = "Model z r bez korekty"))
dl$co <- factor(dl$co, unique(dl$co))
obecny <- 100 * mean(pula$zatrudniony)
p5 <- ggplot(dl, aes(x, y, colour = co, shape = co, linetype = co)) +
  geom_hline(yintercept = 100 * p0, colour = "grey45", linetype = "13") +
  annotate("text", x = 99, y = 100 * p0 - 2.5, hjust = 1, size = 3.8, colour = "grey30",
           label = sprintf("bez testu: %.0f%% dobrych", 100 * p0)) +
  geom_vline(xintercept = obecny, colour = "grey30", linetype = "22") +
  annotate("text", x = obecny + 1, y = 93, hjust = 0, size = 3.8, label = sprintf("obecny próg %d pkt\n(%.0f%% przyjętych)", prog, obecny)) +
  geom_line(linewidth = 1) + geom_point(size = 2.2) +
  scale_colour_manual(values = unname(kol[c("Prawda", "Korekta", "Bez korekty")]), name = NULL) +
  scale_shape_manual(values = c(16, 17, 15), name = NULL) +
  scale_linetype_manual(values = c("solid", "solid", "42"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 100, 20)) + scale_y_continuous(limits = c(20, 100), breaks = seq(20, 100, 20)) +
  guides(colour = guide_legend(nrow = 2), shape = guide_legend(nrow = 2), linetype = guide_legend(nrow = 2)) +
  labs(x = "Odsetek przyjętych kandydatów (%) – im mniej, tym wyższy próg", y = "Dobrzy pracownicy wśród przyjętych (%)",
       title = "Ilu dobrych magazynierów daje próg testu?") + motyw
p5   # zapis: ggsave("trafnosc-testu-odsetek-dobrych-progi.svg", p5, width = 10, height = 5.8)
Wynik w R
       srednia_oceny_model             SD_oceny_model 
                     4.556                      0.922 
       dobrzy_w_puli_model    dobrzy_w_puli_symulacja 
                     0.315                      0.324 
dobrzy_wsrod_zatrudnionych 
                     0.571 
 przyjeci_proc prog_pkt symulacja model_thorndike model_bez_korekty
           5.2       80      71.4            69.1              52.7
          10.6       75      66.1            63.3              49.3
          22.8       69      59.3            55.4              44.9
          26.2       68      57.1            53.7              43.9
          32.1       66      53.0            51.1              42.6
          51.7       60      44.9            44.3              38.9
          71.1       54      39.9            38.9              36.0
         100.0       21      32.4            31.5              31.5

6. Kontaminacja kryterium i mała próba: Rysunek 6

Dane wejściowe: obiekty z przepisów 1–3. Losuje kolejność zatrudnionych i bootstrap (set.seed(7176)).

Co odczytać: r bez korekty i po korekcie przy rosnącym w oraz r po korekcie z przedziałem BCa dla 25, 50, 100, 200 i 315 osób.

R
# Przepis 6. Pułapki: kierownik zna wynik testu (kontaminacja kryterium) i mała próba zatrudnionych (Rysunek 6)
# (korzysta z zatr, sd_pula, r_pula z przepisu 2, thorndike2(), oszac i ci z przepisu 3, kol, motyw, r_txt() z przepisu 1)
library(boot)
library(ggplot2)
library(patchwork)

# A. Kontaminacja: kierownik, który zna wynik testu, dodaje do oceny w × SD oceny × (wynik testu w jednostkach z)
z_testu <- as.numeric(scale(zatr$test_praktyczny))
wagi <- c(0, 0.1, 0.2, 0.3, 0.4)
kont <- t(sapply(wagi, function(w) {
  ocena_k <- zatr$ocena + w * sd(zatr$ocena) * z_testu
  r <- cor(zatr$test_praktyczny, ocena_k)
  c(w = w, r = r, r_thorndike = thorndike2(r, sd_pula / sd(zatr$test_praktyczny)))
}))
round(kont, 3)

# B. Mała próba: pierwsze 25, 50, 100 i 200 osób z losowej kolejności zatrudnionych (podzbiory zagnieżdżone),
# 95% przedział BCa po korekcie; wiersz dla wszystkich 315 osób – z przepisu 3
set.seed(7176)
kolejnosc <- sample(nrow(zatr))
wielkosci <- c(25, 50, 100, 200)
male <- t(sapply(wielkosci, function(n) {
  d <- zatr[kolejnosc[1:n], ]
  b <- boot(d, function(d, i) { d <- d[i, ]; thorndike2(cor(d$test_praktyczny, d$ocena), sd_pula / sd(d$test_praktyczny)) },
            R = 2000)
  ci <- boot.ci(b, type = "bca")$bca[4:5]
  c(n = n, r_thorndike = b$t0, dolna = ci[1], gorna = ci[2], szerokosc = ci[2] - ci[1])
}))
male <- rbind(male, c(nrow(zatr), oszac[["r_thorndike"]], ci["r_thorndike", ], diff(ci["r_thorndike", ])))
round(male, 3)

ka <- data.frame(kont)
pa <- ggplot(ka, aes(w)) +
  geom_hline(yintercept = r_pula, colour = kol[["Prawda"]], linetype = "22") +
  annotate("text", x = 0.4, y = r_pula - 0.035, hjust = 1, size = 3.6, label = paste("w puli r =", r_txt(r_pula))) +
  geom_line(aes(y = r, colour = "Bez korekty")) + geom_point(aes(y = r, colour = "Bez korekty", shape = "Bez korekty"), size = 2.8) +
  geom_line(aes(y = r_thorndike, colour = "Korekta")) +
  geom_point(aes(y = r_thorndike, colour = "Korekta", shape = "Korekta"), size = 2.8) +
  scale_colour_manual(values = kol[c("Bez korekty", "Korekta")], labels = c("bez korekty", "po korekcie Thorndike’a"), name = NULL) +
  scale_shape_manual(values = c("Bez korekty" = 16, "Korekta" = 17), labels = c("bez korekty", "po korekcie Thorndike’a"), name = NULL) +
  scale_y_continuous(limits = c(0, 0.85), labels = r_txt) +
  labs(x = "Siła „podpowiedzi” z wyniku testu (w)", y = "Współczynnik trafności r",
       title = "A. Kierownik zna wynik testu") + motyw
mb <- data.frame(male)
mb$n_txt <- factor(paste0("n = ", mb$n), paste0("n = ", mb$n))
pb <- ggplot(mb, aes(r_thorndike, n_txt)) +
  geom_vline(xintercept = r_pula, colour = kol[["Prawda"]], linetype = "22") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, orientation = "y", colour = kol[["Korekta"]], linewidth = 0.9) +
  geom_point(colour = kol[["Korekta"]], shape = 17, size = 3) +
  scale_x_continuous(limits = c(-0.75, 1), breaks = seq(-0.5, 1, 0.5), labels = r_txt) +
  labs(x = "r po korekcie i 95% przedział BCa", y = NULL, title = "B. Ilu zatrudnionych zbadano") + motyw
p6 <- pa + pb + plot_layout(guides = "collect") & theme(legend.position = "bottom")
p6   # zapis: ggsave("trafnosc-testu-pulapki.svg", p6, width = 10, height = 5.4)
Wynik w R
       w     r r_thorndike
[1,] 0.0 0.268       0.458
[2,] 0.1 0.357       0.577
[3,] 0.2 0.437       0.668
[4,] 0.3 0.508       0.737
[5,] 0.4 0.570       0.788
       n r_thorndike  dolna gorna szerokosc
[1,]  25       0.499 -0.504 0.868     1.373
[2,]  50      -0.085 -0.642 0.619     1.261
[3,] 100       0.153 -0.300 0.529     0.829
[4,] 200       0.372  0.050 0.577     0.528
[5,] 315       0.458  0.279 0.590     0.311

7. Grafika: pula → próg → zatrudnieni (Rysunek 1)

Dane wejściowe: liczby z przepisów 1–3.

Co odczytać: sam rysunek – liczby na nim pochodzą z wcześniejszych przepisów.

R
# Przepis 7. Grafika: schemat „pula kandydatów → próg → zatrudnieni” (Rysunek 1)
# (korzysta z pula, zatr, prog z przepisu 1, r_zatr, u, sd_pula, sd_zatr z przepisu 2, oszac z przepisu 3, motyw i r_txt())
library(ggplot2)

n_odrz <- sum(!pula$zatrudniony)
bloki <- data.frame(
  x = c(0.2, 3.7, 7.2, 3.7), y = c(2.2, 2.2, 2.2, 0.15), w = c(3, 3, 3, 3), h = c(1.9, 1.9, 1.9, 1.5),
  rodzaj = c("a", "b", "a", "c"),
  tytul = c("1. Pula kandydatów", "2. Próg przyjęcia", "3. Zatrudnieni", "Odrzuceni"),
  tekst = c(sprintf("%d osób pisze test praktyczny\ni test uwagi.\nTest praktyczny: SD = %.1f pkt", nrow(pula), sd_pula),
            sprintf("Przyjęcie tylko przy teście\npraktycznym ≥ %d pkt\n(górne %.0f%% kandydatów)", prog, 100 * mean(pula$zatrudniony)),
            sprintf("%d osób; po 6 mies. ocena\nkierownika zmiany (1–7).\nTest praktyczny: SD = %.1f pkt", nrow(zatr), sd_zatr),
            sprintf("%d osób: brak oceny pracy –\ntrafności w całej puli nie policzysz", n_odrz)))
strzalki <- data.frame(x = c(3.25, 6.75, 5.2), xend = c(3.65, 7.15, 5.2), y = c(3.15, 3.15, 2.15), yend = c(3.15, 3.15, 1.7))
p1 <- ggplot() +
  geom_rect(data = bloki, aes(xmin = x, xmax = x + w, ymin = y, ymax = y + h, fill = rodzaj, colour = rodzaj), linewidth = 0.7) +
  geom_text(data = bloki, aes(x + 0.15, y + h - 0.3, label = tytul), hjust = 0, fontface = "bold", size = 4.6, colour = "#0f1d3a") +
  geom_text(data = bloki, aes(x + 0.15, y + h - 0.62, label = tekst), hjust = 0, vjust = 1, size = 3.9, lineheight = 1.05, colour = "grey15") +
  geom_segment(data = strzalki, aes(x = x, xend = xend, y = y, yend = yend), linewidth = 0.9, colour = "grey30",
               arrow = arrow(length = unit(0.25, "cm"), type = "closed")) +
  annotate("rect", xmin = 7.2, xmax = 10.2, ymin = 0.15, ymax = 1.65, fill = "#fdf0e6", colour = "#D55E00", linewidth = 0.7) +
  annotate("text", x = 7.35, y = 1.35, hjust = 0, fontface = "bold", size = 4.6, colour = "#0f1d3a", label = "Co z tego wynika") +
  annotate("text", x = 7.35, y = 1.03, hjust = 0, vjust = 1, size = 3.9, lineheight = 1.05, colour = "grey15",
           label = sprintf("Rozrzut testu %.1f razy mniejszy.\nr wśród zatrudnionych = %s,\npo korekcie Thorndike’a = %s",
                           u, r_txt(r_zatr), r_txt(oszac[["r_thorndike"]]))) +
  annotate("segment", x = 10.2 - 1.5, xend = 10.2 - 1.5, y = 2.15, yend = 1.7, linewidth = 0.9, colour = "grey30",
           arrow = arrow(length = unit(0.25, "cm"), type = "closed")) +
  scale_fill_manual(values = c(a = "#eaf2fa", b = "#f3f3f3", c = "#f3f3f3"), guide = "none") +
  scale_colour_manual(values = c(a = "#0072B2", b = "grey40", c = "grey60"), guide = "none") +
  scale_x_continuous(limits = c(0, 10.4), expand = c(0, 0)) + scale_y_continuous(limits = c(0, 4.25), expand = c(0, 0)) +
  labs(x = NULL, y = NULL, title = "Skąd się bierze zaniżona trafność testu rekrutacyjnego") +
  motyw + theme(axis.text = element_blank(), panel.grid.major = element_blank())
p1   # zapis: ggsave("trafnosc-testu-schemat-pula-prog-zatrudnieni.svg", p1, width = 10, height = 4.6)

8. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: pary kolorów z rysunków i – dla porównania – para czerwony–zielony.

Co odczytać: odległość barw ΔE w przestrzeni CIELAB przy typowym widzeniu oraz po symulacji deuteranopii i protanopii; im mniejsza, tym trudniej odróżnić kolory. Na rysunkach kolorowi towarzyszy kształt punktu, rodzaj linii albo podpis.

R
# Przepis 8. Kontrola palety: symulacja zaburzeń widzenia barw
library(colorspace)
pary <- list("pula – zatrudnieni" = c("grey60", "#0072B2"), "bez korekty – korekta" = c("#0072B2", "#D55E00"),
             "krok 1 – test uwagi" = c("#0072B2", "#009E73"), "prawda – korekta" = c("#0f1d3a", "#D55E00"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
col2hex <- function(k) rgb(t(col2rgb(k)), maxColorValue = 255)
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(col2hex(k)), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(col2hex(k))),
                                   protanopia = roznica(protan(col2hex(k)))))), 1)
Wynik w R
                                 widzenie_typowe deuteranopia protanopia
pula – zatrudnieni                          44.9         48.9       40.6
bez korekty – korekta                      114.6        108.3       91.9
krok 1 – test uwagi                         70.1         55.4       58.0
prawda – korekta                           101.6         96.6       81.5
czerwony – zielony (do unikania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych z rozkładu wielowymiarowego normalnego – pakiet MASS; bootstrap i przedziały BCa – pakiet boot; korelacje, regresja i całkowanie – funkcje podstawowej instalacji R. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. MASS (wersja 7.3.65): Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2
  3. boot (wersja 1.3.32): Canty, A., & Ripley, B. (2025). boot: Bootstrap functions [R package]. https://doi.org/10.32614/CRAN.package.boot
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  6. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  7. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Selekcja pośrednia. Gdy o przyjęciu decyduje też wywiad, korekta dla selekcji bezpośredniej niedoszacowuje trafności; ograniczenie zakresu w większości danych jest pośrednie (Hunter i in., 2006).
  • Odejścia przed oceną. Osoby, które odeszły przed 6. miesiącem, nie mają oceny – to druga selekcja (wpis o rotacji pracowników).
  • Rzetelność liczona nie tak. Do korekty kryterium użyj zgodności oceniających, nie alfy pozycji jednej oceny. Zauważ też, że wśród zatrudnionych rzetelność oceny jest niższa (.48) niż w puli (.60) – zawężony jest także rozrzut jakości pracy. Ogólnie o rzetelności – w słowniku.

Najczęstsze pytania

Dlaczego korelacja testu rekrutacyjnego z oceną pracy jest niska?

Najczęściej dlatego, że ocenę pracy mają tylko osoby przyjęte, a przyjęto je właśnie na podstawie testu. Wśród nich wyniki testu mało się różnią, więc korelacja spada, choć związek testu z pracą jest ten sam. W przykładzie korelacja wyniosła .27 wśród zatrudnionych i .49 w całej puli kandydatów.

Jak policzyć korektę Thorndike’a na ograniczenie zakresu?

Przy selekcji bezpośrednio po teście (przypadek II) policz u – iloraz odchylenia standardowego testu w puli kandydatów i wśród zatrudnionych. Skorygowana korelacja to r · u / √(1 − r² + r² · u²). Przykład: r = .268 i u = 1.847 dają .46. Przedział ufności wyznacz bootstrapem BCa (Chan i Chan, 2004).

Kiedy nie stosować korekty na ograniczenie zakresu?

Gdy nie znasz odchylenia standardowego testu w całej puli kandydatów albo selekcja nie była bezpośrednio po teście. Przy selekcji pośredniej korekta dla selekcji bezpośredniej niedoszacowuje trafności (Hunter i in., 2006), a w metaanalizach korekty bywały też nadmierne (Sackett i in., 2022). Opisz założenia i podaj obie wartości: obserwowaną i skorygowaną.

Co to jest kontaminacja kryterium w rekrutacji?

To sytuacja, w której ocena pracy zależy od wyniku testu, np. dlatego, że kierownik ten wynik zna. Korelacja testu z oceną rośnie wtedy sztucznie, a korekta na ograniczenie zakresu jeszcze to powiększa. Jedyna ochrona: osoby oceniające pracę nie powinny znać wyników testu.

Jak sprawdzić, czy drugi test rekrutacyjny coś wnosi?

Sprawdź trafność przyrostową w regresji hierarchicznej: w kroku 1 dotychczasowy test, w kroku 2 nowy, i oceń przyrost ΔR² z testem F. Pamiętaj, że wśród zatrudnionych przyrost może wyglądać na względnie większy, bo zawężono pierwszy test – w przykładzie test uwagi dawał 39% wyjaśnionej wariancji wśród zatrudnionych i 15% w całej puli.

Powiązane hasła

Przeczytaj też

Sprawdzasz trafność testu rekrutacyjnego albo piszesz o tym pracę?

Pomożemy policzyć współczynnik trafności z korektą na ograniczenie zakresu i rzetelność kryterium, ocenić przyrost drugiego testu i opisać wynik tak, żebyś umiał(a) go obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Chan, W., & Chan, D. W.-L. (2004). Bootstrap standard error and confidence intervals for the correlation corrected for range restriction: A simulation study. Psychological Methods, 9(3), 369–385. https://doi.org/10.1037/1082-989x.9.3.369
  2. Haynes, S. N., & Lench, H. C. (2003). Incremental validity of new clinical assessment measures. Psychological Assessment, 15(4), 456–466. https://doi.org/10.1037/1040-3590.15.4.456
  3. Hunter, J. E., Schmidt, F. L., & Le, H. (2006). Implications of direct and indirect range restriction for meta-analysis methods and findings. Journal of Applied Psychology, 91(3), 594–612. https://doi.org/10.1037/0021-9010.91.3.594
  4. Sackett, P. R., & Yang, H. (2000). Correction for range restriction: An expanded typology. Journal of Applied Psychology, 85(1), 112–118. https://doi.org/10.1037/0021-9010.85.1.112
  5. Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068. https://doi.org/10.1037/apl0000994
  6. Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274. https://doi.org/10.1037/0033-2909.124.2.262
  7. Viswesvaran, C., Ones, D. S., & Schmidt, F. L. (1996). Comparative analysis of the reliability of job performance ratings. Journal of Applied Psychology, 81(5), 557–574. https://doi.org/10.1037/0021-9010.81.5.557

Cytowania BibTeX

@article{chan2004bootstrap, author={Chan, Wai and Chan, Daniel W.-L.}, title={{Bootstrap standard error and confidence intervals for the correlation corrected for range restriction: A simulation study}}, journal={Psychological Methods}, year={2004}, volume={9}, number={3}, pages={369--385}, doi={10.1037/1082-989x.9.3.369}}
@article{haynes2003incremental, author={Haynes, Stephen N. and Lench, Heather C.}, title={{Incremental validity of new clinical assessment measures}}, journal={Psychological Assessment}, year={2003}, volume={15}, number={4}, pages={456--466}, doi={10.1037/1040-3590.15.4.456}}
@article{hunter2006implications, author={Hunter, John E. and Schmidt, Frank L. and Le, Huy}, title={{Implications of direct and indirect range restriction for meta-analysis methods and findings}}, journal={Journal of Applied Psychology}, year={2006}, volume={91}, number={3}, pages={594--612}, doi={10.1037/0021-9010.91.3.594}}
@article{sackett2000correction, author={Sackett, Paul R. and Yang, Hyuckseung}, title={{Correction for range restriction: An expanded typology}}, journal={Journal of Applied Psychology}, year={2000}, volume={85}, number={1}, pages={112--118}, doi={10.1037/0021-9010.85.1.112}}
@article{sackett2022revisiting, author={Sackett, Paul R. and Zhang, Charlene and Berry, Christopher M. and Lievens, Filip}, title={{Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range}}, journal={Journal of Applied Psychology}, year={2022}, volume={107}, number={11}, pages={2040--2068}, doi={10.1037/apl0000994}}
@article{schmidt1998validity, author={Schmidt, Frank L. and Hunter, John E.}, title={{The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings}}, journal={Psychological Bulletin}, year={1998}, volume={124}, number={2}, pages={262--274}, doi={10.1037/0033-2909.124.2.262}}
@article{viswesvaran1996comparative, author={Viswesvaran, Chockalingam and Ones, Deniz S. and Schmidt, Frank L.}, title={{Comparative analysis of the reliability of job performance ratings}}, journal={Journal of Applied Psychology}, year={1996}, volume={81}, number={5}, pages={557--574}, doi={10.1037/0021-9010.81.5.557}}
R