Statystyka · Marketing

Ocena rekomendacji offline – precision@k, pokrycie katalogu i popularność

Fikcyjny serwis z audiobookami: 5000 tytułów, 30 000 słuchaczy, 13 miesięcy odsłuchów i rząd „Dla ciebie” z 10 tytułami. Podział w czasie, trzy proste metody (najpopularniejsze, podobieństwo kosinusowe, SVD), precision@k, recall@k, hit rate i NDCG, pokrycie katalogu, krzywa Lorenza rekomendacji, bootstrap słuchaczy i przeciek z przyszłości – pięć rysunków z kodem R i zdania do pracy.

Strona główna / Blog / Ocena rekomendacji offline
W skrócie: Rekomendacje oceniaj offline na danych podzielonych w czasie (uczenie do dnia wdrożenia, test po nim), kilkoma miarami przy tym samym k i z losowym punktem odniesienia – a obok trafności podaj pokrycie katalogu i udział najpopularniejszych tytułów. W przykładzie metoda „słuchający X słuchali też Y” miała precision@10 = 1.84% wobec 0.79% dla najpopularniejszych (różnica 1.05 pp, 95% CI [0.97, 1.13]) i objęła 84.9% katalogu. Losowy podział prawie podwoił jej wynik, a prawie połowa trafień to kolejne tomy cykli, które słuchacz i tak by włączył – dlatego wybór potwierdza dopiero test A/B.

Przykład: serwis z audiobookami i pytanie „co polecić na start?”

Fikcyjny serwis z audiobookami w abonamencie ma 5000 tytułów (862 z nich to tomy cykli) i 30 000 słuchaczy. Mamy dziennik odsłuchów z 13 miesięcy: kto i w którym miesiącu pierwszy raz włączył tytuł – razem 295 213 odsłuchów 27 713 słuchaczy. Na ekranie startowym aplikacji jest rząd „Dla ciebie” z 10 tytułami. Pytanie zespołu: którą z trzech prostych metod tam wstawić – i jak to sprawdzić na danych historycznych, zanim ruszy eksperyment.

Dane są fikcyjne i wiemy, co w nich ukryliśmy. Tytuły należą do 8 gatunków po 5 nisz, a ich atrakcyjność ma rozkład z długim ogonem. Słuchacz ma gust skupiony na kilku niszach: 75% odsłuchów pochodzi z nich, 25% z tego, czego słuchają wszyscy. Nowość jest najsilniejsza tuż po premierze, a po tomie cyklu słuchacz z prawdopodobieństwem 0.55 włącza tom następny. Parametry ustawiliśmy ręcznie, ziarna (769 i kolejne) – raz. Dane pobierzesz jako ocena-rekomendacji-odsluchy.csv (dziennik: wiersz to słuchacz i miesiąc, kolumna tytuly – numery tytułów włączonych po raz pierwszy w tym miesiącu, rozdzielone spacją; jak rozwinąć je do jednego odsłuchu w wierszu, pokazuje komentarz w przepisie 1) i ocena-rekomendacji-tytuly.csv (katalog: numer, gatunek, nisza, miesiąc wydania – 0 i mniej to tytuły sprzed okresu danych, cykl i tom).

Podział w czasie: uczymy na miesiącach 1–12, a sprawdzamy na miesiącu 13 – tak jak działałby system wdrożony na koniec miesiąca 12. Oceniamy 14 137 słuchaczy, którzy słuchali w obu okresach; w miesiącu 13 włączyli 25 204 tytuły (średnio 1.78). Dlaczego nie losowo, pokażemy na rysunku 5; ogólnie o tym błędzie – wpis o przecieku danych i walidacji w czasie.

Rysunek 1: długi ogon i nowości, których nikt jeszcze nie słuchał

A: liczba słuchaczy tytułu w miesiącach 1–12 według miejsca w rankingu na osi logarytmicznej; najpopularniejszy tytuł ma 1362 słuchaczy, krzywa opada łagodnie, przerywana linia przy 50. miejscu, top 1% tytułów to 11.1% odsłuchów. B: słupki dla miesięcy 1–13 z odsetkiem odsłuchów tytułów wydanych w tym samym miesiącu – od 15.1 do 22.8% w miesiącach uczenia i 13.9% w miesiącu testowym
Rysunek 1. Liczba słuchaczy tytułów uporządkowanych od najpopularniejszego (A) i odsetek odsłuchów nowości wydanych w tym samym miesiącu (B). Obliczenia: R, pakiety ggplot2 i patchwork (dane fikcyjne, set.seed(769)).

Co widać. Mediana to 26 słuchaczy na tytuł, maksimum – 1362; 50 najpopularniejszych tytułów (1%) zebrało 11.1% odsłuchów, a 142 tytuły nie miały żadnego. Co miesiąc 15–23% odsłuchów to tytuły wydane w tym samym miesiącu – w teście 13.9%.

Jak może zmylić. Te 13.9% to zimny start: tytuł wydany w miesiącu 13 nie istniał w danych uczących, więc żadna z trzech metod go nie poleci. Część trafności jest więc nieosiągalna z góry. Koncentrację opisuje krzywa Lorenza – wrócimy do niej przy rysunku 4.

Trzy proste metody

  • Najpopularniejsze – 10 tytułów z największą liczbą słuchaczy w dwóch ostatnich miesiącach uczenia, z pominięciem już wysłuchanych. Wszyscy dostają prawie tę samą listę.
  • „Słuchający X słuchali też Y” – podobieństwo kosinusowe dwóch tytułów: liczba wspólnych słuchaczy podzielona przez √(słuchacze X × słuchacze Y). Wynik tytułu dla słuchacza to suma jego podobieństw do tytułów z historii (Sarwar i in., 2001). Ten sam pomysł dla koszyków zakupów opisuje wpis o analizie koszykowej i rekomendacjach.
  • Czynniki ukryte (SVD) – macierz słuchacz × tytuł (1 = słuchał) rozkładamy na 50 czynników, jak w PCA, i rzutujemy historię słuchacza na te czynniki. Rozkład macierzy pozwala łatwo dołożyć dane niejawne, takie jak odsłuchy, i efekty czasu (Koren i in., 2009). Tu robimy go ręcznie funkcją svd() na macierzy zredukowanej do 1550 z 4892 tytułów, które miały co najmniej 50 słuchaczy – to one dały 62.5% odsłuchów w miesiącu 13.

Rysunek 2: k rekomendacji – co to są trafienia

Karta jednej słuchaczki (nr 1664): po lewej 8 tytułów z jej historii, głównie literatura obyczajowa z kilku cykli; pośrodku lista top-10 metody kosinusowej, na której pozycje 1, 2 i 5 zostały włączone w miesiącu 13 (pozycja 1 to kolejny tom cyklu, który już zna); po prawej miary: precision@10 = 0.30, recall@10 = 0.75, hit@10 = 1, NDCG@10 = 0.788; czwarty włączony tytuł był poza listą
Rysunek 2. Lista 10 rekomendacji dla jednej słuchaczki i miary trafności tej listy. Grafika: R, pakiet ggplot2 (dane fikcyjne).

Co widać. Słuchaczka nr 1664 włączyła w miesiącu 13 cztery tytuły; trzy były na liście, na pozycjach 1, 2 i 5. Miary dla jednej listy długości k:

  • precision@k – odsetek trafień na liście: 3/10 = 0.30;
  • recall@k – odsetek włączonych tytułów, które były na liście: 3/4 = 0.75;
  • hit@k – czy trafiło cokolwiek (0 albo 1); średnia po słuchaczach to hit rate;
  • NDCG@k – trafienia wyżej na liście ważą więcej (dzielimy przez log2(pozycja + 1) i przez wynik idealnej kolejności): tu .788. Rachunek krok po kroku jest we wpisie o NDCG w wyszukiwarce sklepu.

Każdą miarę liczymy dla słuchacza i uśredniamy po słuchaczach. W zadaniu „pokaż kilka tytułów” liczy się trafność krótkiej listy, a nie błąd przewidywanej oceny (Cremonesi i in., 2010).

Jak może zmylić. Pozycja 1 to kolejny tom cyklu, którego tom 1 słuchaczka już zna – pewnie włączyłaby go i bez rekomendacji. Trafienie offline to zgodność z przyszłością, a nie zasługa listy (rysunek 5).

Podpis do pracy:

Rysunek 2. Lista dziesięciu rekomendacji metody opartej na podobieństwie kosinusowym tytułów dla jednej słuchaczki i miary jej trafności. Uwaga. Dane symulowane; lista powstała z odsłuchów z miesięcy 1–12, trafienie to tytuł włączony w miesiącu 13.

Rysunek 3: precision@k i recall@k trzech metod

Te same miary dla wszystkich 14 137 słuchaczy i list długości k = 1–20. Niepewność różnic liczymy bootstrapem słuchaczy (2000 prób): losujemy słuchaczy ze zwracaniem i porównujemy metody na tych samych osobach – to porównanie w parach.

A: dwa panele – precision@k maleje z długością listy, recall@k rośnie; przy każdym k metoda kosinusowa jest najwyżej, SVD pośrodku, najpopularniejsze najniżej. B: różnice precision@10 z 95% przedziałami: kosinus − najpopularniejsze 1.05 pp [0.97, 1.13], SVD − najpopularniejsze 0.38 pp [0.31, 0.45], kosinus − SVD 0.67 pp [0.61, 0.73]
Rysunek 3. Precision@k i recall@k trzech metod dla list długości 1–20 (A) oraz różnice precision@10 z 95% przedziałami bootstrapowymi (B). Obliczenia: R, pakiety Matrix, ggplot2 i patchwork (dane fikcyjne, set.seed(7693)).

Co widać. Przy k = 10 metoda kosinusowa ma precision@10 = 1.84%, recall@10 = 10.20%, hit rate 16.53% i NDCG@10 = .071. SVD: 1.16%, 6.42%, 10.77% i .041. Najpopularniejsze: 0.79%, 4.58%, 7.71% i .031. Losowe 10 tytułów dałoby 0.036%. Przewaga metody kosinusowej nad najpopularniejszymi to 1.05 punktu procentowego, 95% CI [0.97, 1.13], a nad SVD – 0.67 pp [0.61, 0.73].

Jak może zmylić. Precyzja na poziomie 2% wygląda słabo, ale słuchacz włącza w miesiącu średnio 1.78 tytułu – kto włączył dwa, nie może mieć precision@10 wyższej niż 20%. Porównuj metody między sobą i z losowym punktem odniesienia, przy tym samym k. Precision i recall zmieniają się z k w przeciwnych kierunkach, podobnie jak na krzywej precyzja–czułość. Wąski przedział ufności mówi tylko, że różnica nie jest przypadkiem tej próby słuchaczy – nie mówi, że lista zwiększy słuchanie.

Zdanie do Wyników:

Lista dziesięciu rekomendacji opartych na podobieństwie kosinusowym tytułów miała precision@10 = 1.84% i recall@10 = 10.20% wobec 0.79% i 4.58% dla listy najpopularniejszych tytułów (różnica precision@10: 1.05 punktu procentowego, 95% CI [0.97, 1.13]; bootstrap 2000 prób słuchaczy, N = 14 137).

Rysunek 4: pokrycie katalogu i skrzywienie w stronę popularnych

Trafność to nie wszystko. Herlocker i in. (2004) zalecają, by przed oceną ustalić zadanie użytkownika i oceniać także cechy rekomendacji inne niż trafność. Dwie z nich (Ge i in., 2010):

  • pokrycie katalogu – odsetek dostępnych tytułów, które trafiły na co najmniej jedną listę top-10;
  • skrzywienie w stronę popularnych – udział 50 najpopularniejszych tytułów (1%) w rekomendacjach, krzywa Lorenza liczby rekomendacji na tytuł i indeks Giniego.
A: krzywe Lorenza liczby rekomendacji na tytuł; krzywa najpopularniejszych leży przy prawej krawędzi, SVD tuż obok, krzywa kosinusowa niżej niż przekątna, ale wyżej od SVD, krzywa faktycznych odsłuchów najbliżej przekątnej. B: pokrycie katalogu – najpopularniejsze 0.3%, kosinus 84.9%, SVD 12.7%, faktyczne odsłuchy 75.8%; udział top 1% tytułów – 58.1%, 22.0%, 23.3% i 8.1%
Rysunek 4. Krzywe Lorenza liczby rekomendacji na tytuł (A) oraz pokrycie katalogu i udział 1% najpopularniejszych tytułów w listach top-10 (B), na tle faktycznych odsłuchów w miesiącu 13. Obliczenia: R, pakiety ineq, ggplot2 i patchwork (dane fikcyjne).

Co widać. Z 4892 dostępnych tytułów lista najpopularniejszych użyła 14 (pokrycie 0.3%), SVD – 621 (12.7%), metoda kosinusowa – 4152 (84.9%). Faktyczne odsłuchy w miesiącu 13 objęły 3707 tytułów. Popularna 1% tytułów to 8.1% faktycznych odsłuchów, ale 22.0% rekomendacji kosinusowych, 23.3% rekomendacji SVD i 58.1% list najpopularniejszych. Indeks Giniego: najpopularniejsze .998, SVD .947, kosinus .835, a faktyczne odsłuchy .671.

Jak może zmylić. Wysokie pokrycie nie oznacza trafnych propozycji: listy dla 14 137 osób to 141 370 miejsc, więc nawet przypadkowe tytuły „pokryłyby” katalog. Czytaj pokrycie razem z trafnością. Skrzywienie się wzmacnia: tytuł polecany dostaje odsłuchy, więc jutro jest jeszcze bardziej „popularny”. Symulacje Fledera i Hosanagara (2009) pokazały, że rekomendacje oparte na sprzedaży mogą zmniejszać łączną różnorodność, choć pojedynczym osobom podsuwają nowe produkty. Trafność zwykle spada w stronę długiego ogona, a użytkownicy w badaniu Stecka (2011) docenili tylko niewielkie przesunięcie ku mniej popularnym tytułom. Ta sama krzywa Lorenza opisuje koncentrację rynku.

Zdanie do Wyników:

Listy top-10 metody kosinusowej objęły 84.9% z 4892 dostępnych tytułów (SVD: 12.7%, lista najpopularniejszych: 0.3%); 1% najpopularniejszych tytułów stanowił 22.0% rekomendacji kosinusowych wobec 8.1% faktycznych odsłuchów w miesiącu testowym (indeks Giniego liczby rekomendacji na tytuł .835 wobec .671).

Rysunek 5: przeciek z przyszłości i trafienia, które i tak by się zdarzyły

Zróbmy błąd celowo: do testu losujemy 26 465 odsłuchów (tyle, ile miał miesiąc 13) z wszystkich 13 miesięcy, a resztę dajemy do uczenia. Metody i miary są te same. Osobno sprawdzamy, ile trafień z podziału czasowego to kolejne tomy cykli, których poprzedni tom słuchacz już znał.

A: precision@10 w podziale czasowym i losowym: najpopularniejsze 0.79% i 0.34%, kosinus 1.84% i 3.55%, SVD 1.16% i 2.08%. B: skład trafień list top-10 w podziale czasowym: kolejne tomy znanych cykli to 46.9% trafień metody kosinusowej, 32.3% trafień SVD i 2.2% trafień listy najpopularniejszych
Rysunek 5. Precision@10 trzech metod przy podziale czasowym i losowym (A) oraz odsetek trafień, które są kolejnym tomem znanego cyklu (B). Obliczenia: R, pakiety Matrix, ggplot2 i patchwork (dane fikcyjne, set.seed(7695)).

Co widać. Losowy podział prawie podwaja wynik metod osobistych: kosinus 1.84% → 3.55% (1.93 raza), SVD 1.16% → 2.08%. Model widzi wtedy odsłuchy z tego samego i późniejszych miesięcy, więc „zna” nowości i sąsiednie tomy. Lista najpopularniejszych spada z 0.79% do 0.34%, bo popularność z dwóch ostatnich miesięcy nie pasuje do testu rozsianego po roku. Zmienia się więc nie tylko poziom, ale i przewaga metod.

Jak może zmylić. Kolejne tomy to tylko 6.4% odsłuchów miesiąca 13, ale 46.9% trafień metody kosinusowej. Bez nich jej precision@10 spada z 1.84% do 0.98%. Takie trafienia słuchacz zapewne zrobiłby sam – lista tylko je „przewidziała”.

Zdanie do Wyników:

Losowy podział odsłuchów na zbiór uczący i testowy zawyżył precision@10 metody kosinusowej z 1.84% do 3.55%, a metody SVD z 1.16% do 2.08%, natomiast obniżył precision@10 listy najpopularniejszych z 0.79% do 0.34%. W podziale czasowym 46.9% trafień metody kosinusowej stanowiły kolejne tomy cykli znanych słuchaczowi.

Offline to nie online

Ocena offline odpowiada na pytanie „czy lista zgadza się z tym, co słuchacz i tak włączył?”. Firmę interesuje inne: czy lista zmienia słuchanie – czas odsłuchu, utrzymanie abonamentu. Zgodność z historią to nie przyczynowość (zob. korelacja a przyczynowość), a historia jest już skrzywiona przez wcześniejsze rekomendacje – to błąd selekcji. Jannach i Jugovac (2019) w przeglądzie testów w działających serwisach krytycznie oceniają wartość eksperymentów offline i wskazują, że realny efekt biznesowy rekomendacji trudno zmierzyć. Ostateczną oceną jest test A/B: losowa część słuchaczy widzi nową listę, reszta starą. Kogo w ogóle warto ruszać rekomendacją, pokazuje wpis o modelowaniu uplift.

Co z tym zrobić w marketingu

  • Dziel dane w czasie. Uczenie do dnia wdrożenia, test po nim. Losowy podział zawyżył wynik prawie dwukrotnie.
  • Raportuj kilka miar przy tym samym k. Precision@10, recall@10, hit rate, NDCG@10 – i losowy punkt odniesienia.
  • Dodaj pokrycie i udział top 1%. Lista najpopularniejszych użyła 14 z 4892 tytułów – katalog, za który płacisz licencje, leży niewidoczny.
  • Odfiltruj oczywistości. Kolejny tom pokaż w osobnym rzędzie „Kontynuuj cykl”, a w „Dla ciebie” oceniaj trafienia bez niego (0.98% zamiast 1.84%).
  • Zaplanuj miejsce dla nowości. 13.9% odsłuchów to tytuły z bieżącego miesiąca; żadna z metod ich nie poleci – potrzebny jest osobny rząd albo cechy tytułu (gatunek, lektor).
  • Wybór potwierdź testem A/B na czasie słuchania i rezygnacjach z abonamentu; przejścia między planami opisuje wpis o zmianie planu abonamentu.

Model szansy zakupu w sprzedaży B2B pokazuje wpis o sprzedaży krzyżowej modułów, a progi cenowe – wpis o progach rabatu ilościowego. Więcej z serii: statystyka w pracy z marketingu.

Jak opisać w pracy

Opisz: zadanie (lista top-k), podział w czasie, kogo oceniasz, jak traktujesz tytuły już znane, metody z parametrami, miary z k, niepewność (bootstrap użytkowników) i miary poza trafnością. Napisz wprost, że ocena offline nie mierzy wpływu rekomendacji.

Metoda. Analizowano 295 213 pierwszych odsłuchów 5000 tytułów przez 27 713 słuchaczy z 13 miesięcy (dane symulowane). Zbiór uczący stanowiły miesiące 1–12, a testowy – miesiąc 13; oceniano 14 137 słuchaczy aktywnych w obu okresach. Porównano trzy metody tworzenia listy dziesięciu tytułów z pominięciem tytułów znanych słuchaczowi: najpopularniejsze tytuły z dwóch ostatnich miesięcy, podobieństwo kosinusowe tytułów oraz rozkład SVD binarnej macierzy słuchacz × tytuł (50 czynników, 1550 tytułów z co najmniej 50 słuchaczami). Trafność oceniano miarami precision@10, recall@10, hit rate i NDCG@10, a różnice precision@10 – 95% przedziałami percentylowymi z 2000 prób bootstrapowych słuchaczy. Dodatkowo obliczono pokrycie katalogu, udział 1% najpopularniejszych tytułów w rekomendacjach i indeks Giniego liczby rekomendacji na tytuł. Obliczenia wykonano w R 4.5.3 (pakiety Matrix i ineq).
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy paletę, motyw, katalog tyt i dziennik ods, przepis 2 – funkcję rekomenduj() i listy rek, przepis 3 – macierze trafień H. Przepisy 1–5 kończą się nazwą wykresu (p1–p5), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów p1–p5, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne. Pakiety recommenderlab i arules nie są potrzebne – wszystko liczy się macierzami z pakietu Matrix.

Każdy blok, który losuje, zaczyna od własnego set.seed(): 769 w przepisie 1, 7693 w przepisie 3 (bootstrap, 2000 prób), 7695 w przepisie 5 (losowy podział); przepisy 2, 4 i 6 nie losują. Ziarna ustalono raz i nie zmieniano ich. Ręcznie ustalono: 8 gatunków × 5 nisz, 260 cykli po 2–5 tomów co 3 miesiące, 72% tytułów sprzed okresu danych, rozkład atrakcyjności (log-normalny, σ = 1.2), gust słuchaczy (Dirichlet, 0.08), tempo słuchania (średnio 0.85 tytułu miesięcznie), 70% słuchaczy od miesiąca 1, udział odsłuchów z gustu (75%), premię nowości (0.3 + 4 × e−wiek/1.5) i prawdopodobieństwo kolejnego tomu (0.55) w przepisie 1; popularność z dwóch ostatnich miesięcy, 50 czynników, próg 50 słuchaczy do SVD i listy 20 tytułów w przepisie 2; regułę wyboru słuchaczki na karcie (pierwsza z 3 trafieniami, 4 odsłuchami w teście i 5–8 tytułami w historii). Po pierwszym uruchomieniu zmieniono (parametry danych i ziarna zostały bez zmian): (1) próg do SVD z 25 na 50 słuchaczy, bo svd() macierzy 2606 × 2606 liczyła się 41 s; (2) szybszy wybór 10 najwyższych wyników w wierszu (sortowanie częściowe) zamiast pętli po słuchaczach; (3) na rysunku 1 linia z 400 punktów zamiast 4858 (pierwszy plik SVG miał 283 KB) i krótszy podtytuł; (4) na karcie oznaczono gwiazdką kolejny tom znanego cyklu – dopisane po zobaczeniu, że takie są trafienia – i skrócono nagłówek; (5) na rysunku 3 miary w procentach i różnice w punktach procentowych; (6) plik z dziennikiem zapisujemy jako jeden wiersz na słuchacza i miesiąc (zamiast jednego na odsłuch), żeby był mniejszy – wyniki się nie zmieniły; (7) analizę „kolejnych tomów” w przepisie 5 i wypisanie wielkości macierzy SVD w przepisie 2 dodano po pierwszym przeglądzie wyników; usunięto mylący wiersz o tomach z przepisu 1. Przepisy 2 i 5 liczą się po ok. 30 s, pozostałe w kilka sekund.

1. Dane: Rysunek 1

Dane wejściowe: nic – przepis losuje katalog 5000 tytułów i odsłuchy 30 000 słuchaczy z 13 miesięcy (parametry w kodzie) i zapisuje dwa pliki CSV w katalogu roboczym. Na początku paleta Okabe–Ito kol i motyw motyw.

Co odczytać: liczbę tytułów, słuchaczy i odsłuchów, udział 1% najpopularniejszych tytułów, medianę odsłuchów oraz odsetek nowości w każdym miesiącu.

R
# Rysunek 1. Fikcyjny serwis z audiobookami w abonamencie: 5000 tytułów, 30 000 słuchaczy, 13 miesięcy odsłuchów
library(ggplot2)
library(patchwork)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(niebieski = "#0072B2", pomaranczowy = "#D55E00", blekit = "#56B4E9", zielony = "#009E73",
         zolty = "#E69F00", rozowy = "#CC79A7", szary = "#999999", granat = "#0f1d3a")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# Parametry ustawione ręcznie: 8 gatunków × 5 nisz, cykle (serie tomów), nowości, 30 000 słuchaczy, 13 miesięcy
set.seed(769)
gatunki <- c("kryminał", "fantastyka", "obyczajowa", "reportaż", "historia", "biografia", "poradnik", "romans")
M <- 13; U <- 30000; N_NISZ <- 40
# Cykle: 260 serii po 2–5 tomów, kolejny tom co 3 miesiące; tomy, które wyjdą po miesiącu 13, nie istnieją
cykle <- do.call(rbind, lapply(1:260, function(s) {
  L <- sample(2:5, 1); r1 <- sample(-30:10, 1)
  data.frame(cykl = s, tom = 1:L, wydanie = r1 + 3 * (0:(L - 1)), nisza = sample(N_NISZ, 1))
}))
cykle <- cykle[cykle$wydanie <= M, ]
n_poj <- 5000 - nrow(cykle)
poj <- data.frame(cykl = NA, tom = NA, nisza = sample(N_NISZ, n_poj, replace = TRUE),
                  wydanie = ifelse(runif(n_poj) < 0.72, sample(-60:0, n_poj, replace = TRUE),
                                   sample(1:M, n_poj, replace = TRUE)))
tyt <- rbind(cykle[, c("cykl", "tom", "nisza", "wydanie")], poj)
tyt <- tyt[sample(nrow(tyt)), ]; tyt$tytul <- seq_len(nrow(tyt)); rownames(tyt) <- NULL
tyt$gatunek <- gatunki[(tyt$nisza - 1) %/% 5 + 1]
tyt$atrakcyjnosc <- exp(rnorm(nrow(tyt), 0, 1.2))          # „jakość” tytułu – rozkład z długim ogonem
tyt$nastepny <- NA                                          # numer kolejnego tomu tego samego cyklu
ic <- which(!is.na(tyt$cykl))
klucz <- paste(tyt$cykl, tyt$tom)
tyt$nastepny[ic] <- match(paste(tyt$cykl[ic], tyt$tom[ic] + 1), klucz)

# Słuchacze: gust skupiony na kilku niszach (Dirichlet), tempo słuchania, miesiąc dołączenia
gust <- matrix(rgamma(U * N_NISZ, shape = 0.08), U); gust <- gust / rowSums(gust)
gust_cum <- t(apply(gust, 1, cumsum))
tempo <- rgamma(U, shape = 1.5, rate = 1.5 / 0.85)          # średnio 0.85 tytułu w miesiącu
dolacza <- ifelse(runif(U) < 0.7, 1, sample(2:M, U, replace = TRUE))

# Miesiąc po miesiącu: 75% odsłuchów z ulubionych nisz, 25% z „tego, co słuchają wszyscy”
# Waga tytułu w miesiącu m: atrakcyjność × (0.3 + 4 × e^(−wiek/1.5)) – nowości są najmocniejsze tuż po premierze
ods <- vector("list", M)
for (m in 1:M) {
  dost <- tyt$wydanie <= m
  w <- ifelse(dost, tyt$atrakcyjnosc * (0.3 + 4 * exp(-pmax(m - tyt$wydanie, 0) / 1.5)), 0)
  akt <- which(dolacza <= m); n <- rpois(length(akt), tempo[akt]); s <- rep(akt, n)
  z_gustu <- runif(length(s)) < 0.75
  nisza <- rowSums(runif(length(s)) > gust_cum[s, , drop = FALSE]) + 1
  t <- integer(length(s))
  for (k in 1:N_NISZ) { i <- which(z_gustu & nisza == k); kand <- which(tyt$nisza == k & dost)
    t[i] <- kand[sample.int(length(kand), length(i), replace = TRUE, prob = w[kand])] }
  i <- which(!z_gustu); t[i] <- sample.int(nrow(tyt), length(i), replace = TRUE, prob = w)
  ods[[m]] <- data.frame(sluchacz = s, tytul = t, miesiac = m)
}
ods <- do.call(rbind, ods)
# Cykle: po tomie k słuchacz z prawdopodobieństwem 0.55 włącza tom k + 1 (gdy wyjdzie, po 0–3 miesiącach)
nowe <- ods
for (krok in 1:4) {
  i <- which(!is.na(tyt$nastepny[nowe$tytul]) & runif(nrow(nowe)) < 0.55)
  nt <- tyt$nastepny[nowe$tytul[i]]
  mies <- pmax(nowe$miesiac[i], tyt$wydanie[nt]) + rgeom(length(i), 0.5)
  nowe <- data.frame(sluchacz = nowe$sluchacz[i], tytul = nt, miesiac = mies)[mies <= M, ]
  ods <- rbind(ods, nowe)
}
ods <- ods[order(ods$miesiac), ]
ods <- ods[!duplicated(ods[, c("sluchacz", "tytul")]), ]   # liczy się pierwszy odsłuch tytułu
ods$nowosc <- tyt$wydanie[ods$tytul] == ods$miesiac        # tytuł wydany w tym samym miesiącu
rownames(ods) <- NULL

cat("Tytuły:", nrow(tyt), "| w cyklach:", sum(!is.na(tyt$cykl)), "| wydane w miesiącach 1–13:", sum(tyt$wydanie >= 1), "\n")
cat("Słuchacze z co najmniej jednym odsłuchem:", length(unique(ods$sluchacz)), "| odsłuchy:", nrow(ods), "\n")
pop <- tabulate(ods$tytul[ods$miesiac <= 12], nrow(tyt))
cat("Udział 1% najczęściej słuchanych tytułów (50) w odsłuchach miesięcy 1–12:",
    round(100 * sum(sort(pop, decreasing = TRUE)[1:50]) / sum(pop), 1), "% | tytuły bez odsłuchu:", sum(pop == 0), "\n")
cat("Mediana odsłuchów tytułu:", median(pop), "| maksimum:", max(pop), "\n")
mies <- aggregate(cbind(odsluchy = 1, nowosc = nowosc) ~ miesiac, data = ods, FUN = sum)
mies$nowosc_proc <- round(100 * mies$nowosc / mies$odsluchy, 1)
print(mies, row.names = FALSE)

# Zapis danych (CSV w katalogu roboczym): dziennik odsłuchów (wiersz = słuchacz × miesiąc, numery tytułów
# rozdzielone spacją) i katalog tytułów
agg <- aggregate(tytul ~ sluchacz + miesiac, data = ods, FUN = function(x) paste(sort(x), collapse = " "))
names(agg)[3] <- "tytuly"
write.csv(agg[order(agg$sluchacz, agg$miesiac), ], "ocena-rekomendacji-odsluchy.csv", quote = FALSE, row.names = FALSE)
write.csv(tyt[, c("tytul", "gatunek", "nisza", "wydanie", "cykl", "tom")], "ocena-rekomendacji-tytuly.csv",
          quote = FALSE, row.names = FALSE, na = "")
# Odczyt z pliku z powrotem do postaci „jeden wiersz = jeden odsłuch”:
#   d <- read.csv("ocena-rekomendacji-odsluchy.csv"); t <- strsplit(d$tytuly, " ")
#   ods <- data.frame(sluchacz = rep(d$sluchacz, lengths(t)), tytul = as.integer(unlist(t)), miesiac = rep(d$miesiac, lengths(t)))

# Rysunek 1: (A) długi ogon popularności, (B) udział nowości w odsłuchach miesiąca
d1 <- data.frame(miejsce = seq_along(pop), odsluchy = sort(pop, decreasing = TRUE))
co <- unique(round(10^seq(0, log10(sum(pop > 0)), length.out = 400)))   # 400 punktów wystarczy do linii
pA <- ggplot(d1[co, ], aes(miejsce, odsluchy)) +
  geom_area(fill = kol[["blekit"]], alpha = 0.35) + geom_line(colour = kol[["niebieski"]], linewidth = 0.9) +
  geom_vline(xintercept = 50, linetype = "dashed", colour = kol[["pomaranczowy"]]) +
  annotate("text", x = 70, y = max(pop) * 0.85, hjust = 0, size = 3.8, colour = kol[["pomaranczowy"]],
           label = paste0("top 1% (50 tytułów):\n", round(100 * sum(d1$odsluchy[1:50]) / sum(pop), 1), "% odsłuchów")) +
  scale_x_log10(breaks = c(1, 10, 50, 100, 1000, 5000), labels = c("1", "10", "50", "100", "1000", "5000")) +
  labs(title = "A. Długi ogon: odsłuchy tytułów", subtitle = "miesiące 1–12, tytuły od najczęściej słuchanego",
       x = "miejsce tytułu w rankingu (skala log)", y = "liczba słuchaczy") + motyw
pB <- ggplot(mies, aes(factor(miesiac), nowosc_proc)) +
  geom_col(aes(fill = miesiac == 13), width = 0.7) +
  geom_text(aes(label = sprintf("%.1f", nowosc_proc)), vjust = -0.4, size = 3.3) +
  scale_fill_manual(values = c(`FALSE` = kol[["szary"]], `TRUE` = kol[["pomaranczowy"]]),
                    labels = c("uczenie (1–12)", "test (13)"), name = NULL) +
  scale_y_continuous(limits = c(0, max(mies$nowosc_proc) * 1.15)) +
  labs(title = "B. Zimny start: nowości z tego miesiąca", subtitle = "% odsłuchów: tytuły wydane w tym miesiącu",
       x = "miesiąc", y = "% odsłuchów") + motyw
p1 <- pA + pB + plot_layout(widths = c(1.1, 1))
p1                       # do pliku: ggsave("ocena-rekomendacji-dlugi-ogon.svg", p1, width = 10, height = 5.4)
Wynik w R
Tytuły: 5000 | w cyklach: 862 | wydane w miesiącach 1–13: 1394 
Słuchacze z co najmniej jednym odsłuchem: 27713 | odsłuchy: 295213 
Udział 1% najczęściej słuchanych tytułów (50) w odsłuchach miesięcy 1–12: 11.1 % | tytuły bez odsłuchu: 142 
Mediana odsłuchów tytułu: 26 | maksimum: 1362 
 miesiac odsluchy nowosc nowosc_proc
       1    18187   3748        20.6
       2    19203   3659        19.1
       3    19839   3787        19.1
       4    20982   3863        18.4
       5    21392   4109        19.2
       6    22018   4661        21.2
       7    22751   3984        17.5
       8    23289   4168        17.9
       9    24490   5584        22.8
      10    24866   3747        15.1
      11    25289   5722        22.6
      12    26442   4784        18.1
      13    26465   3686        13.9

2. Trzy metody i karta: Rysunek 2

Dane wejściowe: obiekty ods, tyt, kol i motyw z przepisu 1.

Co odczytać: liczbę ocenianych słuchaczy, wielkość macierzy do SVD oraz listę i miary dla słuchaczki z karty.

R
# Rysunek 2. Trzy metody rekomendacji uczone na miesiącach 1–12 i karta „k rekomendacji – trafienia” jednej słuchaczki
# (korzysta z ods, tyt, kol i motyw z przepisu 1)
library(ggplot2)
library(Matrix)

# Funkcja: z dziennika odsłuchów „uczenie” robi listy top-K dla wskazanych słuchaczy trzema metodami.
# Tytuły, które słuchacz już zna z uczenia, są pomijane.
rekomenduj <- function(uczenie, kto, K = 20, czynniki = 50, min_ods = 50) {
  nT <- nrow(tyt); nU <- max(ods$sluchacz)
  X <- sparseMatrix(i = uczenie$sluchacz, j = uczenie$tytul, x = 1, dims = c(nU, nT))
  X@x[] <- 1                                               # 1 = słuchał (bez powtórek)
  n_t <- colSums(X)
  # 1) Najpopularniejsze: liczba słuchaczy w dwóch ostatnich miesiącach uczenia (remisy: cała historia)
  ost <- max(uczenie$miesiac)
  pop <- tabulate(uczenie$tytul[uczenie$miesiac >= ost - 1], nT) + n_t / 1e6
  # 2) „Słuchający X słuchali też Y”: podobieństwo kosinusowe tytułów, wynik = suma podobieństw do historii
  C <- crossprod(X)                                        # liczba wspólnych słuchaczy par tytułów
  diag(C) <- 0
  norm <- 1 / sqrt(pmax(n_t, 1))
  S <- Diagonal(x = norm) %*% C %*% Diagonal(x = norm)
  # 3) Czynniki ukryte: SVD macierzy słuchacz × tytuł zredukowanej do tytułów z ≥ min_ods słuchaczami.
  #    Prawe wektory osobliwe X to wektory osobliwe X'X, więc svd() liczymy na małej macierzy X'X.
  zred <- which(n_t >= min_ods)
  G <- as.matrix(crossprod(X[, zred]))
  V <- svd(G, nu = 0, nv = czynniki)$v
  topK <- function(M) t(apply(M, 1, function(x) {            # K najwyższych wyników w wierszu
    prog <- -sort(-x, partial = K)[K]; i <- which(x >= prog); i[order(-x[i])][1:K] }))
  wyn <- list(popularne = NULL, kosinus = NULL, svd = NULL)
  for (b in split(seq_along(kto), ceiling(seq_along(kto) / 2000))) {
    Xb <- X[kto[b], , drop = FALSE]
    znane <- summary(Xb)[, c("i", "j")]; znane <- cbind(znane$i, znane$j)   # tytuły znane z uczenia
    P <- matrix(pop, length(b), nT, byrow = TRUE); P[znane] <- -Inf
    Sk <- as.matrix(Xb %*% S) + P / 1e9                    # bez wspólnych słuchaczy – remis rozstrzyga popularność
    Pr <- matrix(-1e9, length(b), nT); Pr[, zred] <- as.matrix(Xb[, zred] %*% V) %*% t(V); Pr[znane] <- -Inf
    wyn$popularne <- rbind(wyn$popularne, topK(P))
    wyn$kosinus <- rbind(wyn$kosinus, topK(Sk))
    wyn$svd <- rbind(wyn$svd, topK(Pr))
  }
  wyn
}

# Podział w czasie: miesiące 1–12 to uczenie, miesiąc 13 to test
ucz <- ods[ods$miesiac <= 12, ]; test <- ods[ods$miesiac == 13, ]
kto <- sort(intersect(unique(ucz$sluchacz), unique(test$sluchacz)))      # słuchacze oceniani
trafne <- split(test$tytul, factor(test$sluchacz, levels = kto))        # co naprawdę włączyli w miesiącu 13
cat("Oceniani słuchacze:", length(kto), "| ich odsłuchy w miesiącu 13:", sum(lengths(trafne)),
    "| średnio na słuchacza:", round(mean(lengths(trafne)), 2), "\n")
rek <- rekomenduj(ucz, kto)                              # ok. 20 s
n_t12 <- tabulate(ucz$tytul, nrow(tyt))
cat("Macierz do SVD: tytuły z ≥ 50 słuchaczami w miesiącach 1–12:", sum(n_t12 >= 50), "z", sum(tyt$wydanie <= 12),
    "| ich udział w odsłuchach miesiąca 13:", round(100 * mean(n_t12[test$tytul] >= 50), 1), "%\n")

# Karta: jedna słuchaczka, jej historia, lista top-10 metody kosinusowej i trafienia
opis <- function(t) paste0("nr ", t, " (", tyt$gatunek[t], ifelse(is.na(tyt$tom[t]), "", paste0(", tom ", tyt$tom[t])), ")")
traf10 <- sapply(seq_along(kto), function(j) sum(rek$kosinus[j, 1:10] %in% trafne[[j]]))
kandydatki <- which(traf10 == 3 & lengths(trafne) == 4 & sapply(kto, function(u) sum(ucz$sluchacz == u)) %in% 5:8)
j <- kandydatki[1]; u <- kto[j]
hist <- ucz$tytul[ucz$sluchacz == u]; lista <- rek$kosinus[j, 1:10]; traf <- lista %in% trafne[[j]]
dcg <- sum(traf / log2(1 + 1:10)); idcg <- sum(1 / log2(1 + 1:min(10, length(trafne[[j]]))))
cat("Słuchaczka nr", u, "| historia:", length(hist), "tytułów | w miesiącu 13 włączyła:", length(trafne[[j]]), "\n")
cat("Lista top-10 (kosinus):", paste(ifelse(traf, paste0("[", lista, "]"), lista), collapse = " "), "\n")
cat("precision@10 =", sum(traf) / 10, "| recall@10 =", round(sum(traf) / length(trafne[[j]]), 2),
    "| hit@10 =", as.integer(any(traf)), "| NDCG@10 =", round(dcg / idcg, 3), "\n")
kolejny <- lista %in% tyt$nastepny[hist]                  # kolejny tom cyklu, którego tom słuchaczka już zna
cat("Pozycje trafień:", which(traf), "| w tym kolejne tomy znanych cykli:", which(traf & kolejny),
    "| poza listą:", paste(setdiff(trafne[[j]], lista), collapse = ", "), "\n")

karta <- data.frame(poz = 1:10, y = 10:1, tekst = sapply(lista, opis), traf = traf,
                    znak = ifelse(kolejny, "✓ włączyła*", "✓ włączyła"))
hist_t <- data.frame(y = seq(9.5, by = -1, length.out = length(hist)), tekst = sapply(hist, opis))
p2 <- ggplot() +
  annotate("rect", xmin = 0, xmax = 3.3, ymin = 0.3, ymax = 11.2, fill = "#f4f2ee", colour = "#dedbd4") +
  annotate("text", x = 0.15, y = 10.7, hjust = 0, fontface = "bold", size = 4.2, colour = kol[["granat"]],
           label = "Historia (mies. 1–12)") +
  geom_text(data = hist_t, aes(0.2, y, label = tekst), hjust = 0, size = 3.6, colour = "grey25") +
  annotate("rect", xmin = 3.6, xmax = 8.2, ymin = 0.3, ymax = 11.2, fill = "white", colour = "#dedbd4") +
  annotate("text", x = 3.75, y = 10.7, hjust = 0, fontface = "bold", size = 4.2, colour = kol[["granat"]],
           label = "Top-10 „słuchający X słuchali też Y”") +
  geom_tile(data = karta, aes(3.95, y, fill = traf), width = 0.42, height = 0.78, colour = "white") +
  geom_text(data = karta, aes(3.95, y, label = poz), size = 3.6, colour = "white", fontface = "bold") +
  geom_text(data = karta, aes(4.3, y, label = tekst), hjust = 0, size = 3.6, colour = "grey20") +
  geom_text(data = karta[karta$traf, ], aes(6.9, y, label = znak), hjust = 0, size = 3.6,
            colour = kol[["niebieski"]], fontface = "bold") +
  scale_fill_manual(values = c(`FALSE` = kol[["szary"]], `TRUE` = kol[["niebieski"]]), guide = "none") +
  annotate("rect", xmin = 8.5, xmax = 11.9, ymin = 0.3, ymax = 11.2, fill = "#f4f2ee", colour = "#dedbd4") +
  annotate("text", x = 8.65, y = 10.7, hjust = 0, fontface = "bold", size = 4.2, colour = kol[["granat"]], label = "Miary dla k = 10") +
  annotate("text", x = 8.65, y = c(9.2, 7.6, 6.0, 4.4), hjust = 0, vjust = 1, size = 3.7, lineheight = 0.95, colour = "grey20",
           label = c(sprintf("precision@10 = %d/10 = %.2f\nile z listy trafiło", sum(traf), sum(traf) / 10),
                     sprintf("recall@10 = %d/%d = %.2f\nile z włączonych było na liście", sum(traf), length(trafne[[j]]), sum(traf) / length(trafne[[j]])),
                     sprintf("hit@10 = %d\nczy trafiło cokolwiek", as.integer(any(traf))),
                     sprintf("NDCG@10 = %.3f\npremia za trafienia wysoko\n(pozycje %s)", dcg / idcg, paste(which(traf), collapse = ", ")))) +
  annotate("text", x = 8.65, y = 1.3, hjust = 0, size = 3.4, colour = "grey35", lineheight = 0.95,
           label = sprintf("W miesiącu 13 włączyła %d tytuły;\n%d spoza listy: %s", length(trafne[[j]]),
                           length(setdiff(trafne[[j]], lista)), paste0("nr ", setdiff(trafne[[j]], lista), collapse = ", "))) +
  coord_cartesian(xlim = c(0, 12), ylim = c(0.2, 11.3), expand = FALSE) +
  labs(title = paste0("k rekomendacji – trafienia (słuchaczka nr ", u, ")"),
       subtitle = "Lista z miesięcy 1–12; trafienie = tytuł włączony w miesiącu 13; * kolejny tom cyklu, który już zna",
       x = NULL, y = NULL) +
  motyw + theme(panel.grid.major = element_blank(), axis.text = element_blank())
p2                       # do pliku: ggsave("ocena-rekomendacji-karta-k.svg", p2, width = 10, height = 5.6)
Wynik w R
Oceniani słuchacze: 14137 | ich odsłuchy w miesiącu 13: 25204 | średnio na słuchacza: 1.78 
Macierz do SVD: tytuły z ≥ 50 słuchaczami w miesiącach 1–12: 1550 z 4892 | ich udział w odsłuchach miesiąca 13: 62.5 %
Słuchaczka nr 1664 | historia: 8 tytułów | w miesiącu 13 włączyła: 4 
Lista top-10 (kosinus): [736] [1039] 696 1486 [4797] 552 506 3216 481 1935 
precision@10 = 0.3 | recall@10 = 0.75 | hit@10 = 1 | NDCG@10 = 0.788 
Pozycje trafień: 1 2 5 | w tym kolejne tomy znanych cykli: 1 | poza listą: 4366 

3. Miary trafności i bootstrap: Rysunek 3

Dane wejściowe: obiekty rek, trafne i kto z przepisu 2.

Co odczytać: precision@10, recall@10, hit rate i NDCG@10 trzech metod, losowy punkt odniesienia oraz różnice precision@10 z 95% przedziałami.

R
# Rysunek 3. Precision@k, recall@k, hit rate i NDCG@k trzech metod oraz bootstrap słuchaczy dla różnicy precision@10
# (korzysta z rek, trafne, kto, kol i motyw z przepisów 1–2)
library(ggplot2)
library(patchwork)

metody <- c(popularne = "najpopularniejsze", kosinus = "słuchający X słuchali też Y", svd = "czynniki ukryte (SVD)")
# Macierz trafień: wiersz = słuchacz, kolumna = pozycja na liście (1 = tytuł włączony w miesiącu 13)
trafienia <- function(lista, trafne) t(sapply(seq_len(nrow(lista)), function(j) lista[j, ] %in% trafne[[j]]))
H <- lapply(rek, trafienia, trafne = trafne)
n_traf <- lengths(trafne)
miary_k <- function(h, k) {                                 # miary dla każdego słuchacza przy liście długości k
  hk <- h[, 1:k, drop = FALSE]; tr <- rowSums(hk)
  idcg <- sapply(pmin(n_traf, k), function(n) sum(1 / log2(1 + seq_len(n))))
  data.frame(precision = tr / k, recall = tr / n_traf, hit = as.numeric(tr > 0),
             ndcg = as.vector(hk %*% (1 / log2(1 + 1:k))) / idcg)
}
wyniki <- do.call(rbind, lapply(names(metody), function(m) do.call(rbind, lapply(1:20, function(k)
  data.frame(metoda = metody[[m]], k = k, t(colMeans(miary_k(H[[m]], k))))))))
w10 <- wyniki[wyniki$k == 10, ]; w10[, 3:6] <- round(w10[, 3:6], 4)
cat("Miary przy k = 10 (średnie po", length(kto), "słuchaczach):\n"); print(w10, row.names = FALSE)
cat("Losowa lista 10 tytułów – oczekiwana precision@10:", round(mean(n_traf) / (nrow(tyt) - 1), 5), "\n")

# Niepewność: bootstrap słuchaczy (2000 prób), różnice w parach – ci sami słuchacze w obu metodach
p10 <- sapply(names(metody), function(m) miary_k(H[[m]], 10)$precision)
pary <- list(c("kosinus", "popularne"), c("svd", "popularne"), c("kosinus", "svd"))
krotko <- c(popularne = "najpopularniejsze", kosinus = "kosinus", svd = "SVD")
set.seed(7693)
B <- 2000; los <- replicate(B, sample.int(nrow(p10), replace = TRUE))
boot <- do.call(rbind, lapply(pary, function(pr) { r <- p10[, pr[1]] - p10[, pr[2]]
  bs <- apply(los, 2, function(i) mean(r[i]))
  data.frame(para = paste(krotko[[pr[1]]], "−", krotko[[pr[2]]]), roznica = mean(r),
             dolna = quantile(bs, 0.025), gorna = quantile(bs, 0.975)) }))
boot[, 2:4] <- round(boot[, 2:4], 4); rownames(boot) <- NULL
cat("Różnice precision@10 (95% przedział percentylowy, bootstrap", B, "prób słuchaczy):\n"); print(boot, row.names = FALSE)

# Rysunek 3: (A) precision@k i recall@k, (B) różnice precision@10 z 95% przedziałem
dl <- rbind(data.frame(wyniki[, c("metoda", "k")], miara = "precision@k (%)", wartosc = 100 * wyniki$precision),
            data.frame(wyniki[, c("metoda", "k")], miara = "recall@k (%)", wartosc = 100 * wyniki$recall))
dl$metoda <- factor(dl$metoda, levels = metody)
kol_m <- setNames(kol[c("szary", "niebieski", "pomaranczowy")], metody)
pA <- ggplot(dl, aes(k, wartosc, colour = metoda, shape = metoda, linetype = metoda)) +
  geom_line(linewidth = 0.9) + geom_point(data = dl[dl$k %in% c(1, 5, 10, 15, 20), ], size = 2.4) +
  facet_wrap(~ miara, scales = "free_y") +
  scale_colour_manual(values = kol_m, name = NULL) + scale_shape_manual(values = c(15, 16, 17), name = NULL) +
  scale_linetype_manual(values = c("dashed", "solid", "dotdash"), name = NULL) +
  scale_x_continuous(breaks = c(1, 5, 10, 15, 20)) +
  labs(title = "A. Trafność list wraz z ich długością k", x = "długość listy k", y = NULL) +
  motyw + theme(legend.position = "bottom")
boot$para <- factor(boot$para, levels = rev(boot$para))
pB <- ggplot(boot, aes(100 * roznica, para)) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_errorbar(aes(xmin = 100 * dolna, xmax = 100 * gorna), width = 0.25, orientation = "y", colour = kol[["niebieski"]], linewidth = 0.9) +
  geom_point(size = 3, colour = kol[["niebieski"]]) +
  geom_text(aes(label = sprintf("%.2f [%.2f, %.2f]", 100 * roznica, 100 * dolna, 100 * gorna)), vjust = -1.1, size = 3.4) +
  scale_x_continuous(limits = c(0, 1.25)) +
  labs(title = "B. Różnica precision@10 z 95% CI (bootstrap słuchaczy)", x = "różnica w punktach procentowych", y = NULL) + motyw
p3 <- pA / pB + plot_layout(heights = c(1.5, 1))
p3                       # do pliku: ggsave("ocena-rekomendacji-precision-recall.svg", p3, width = 10, height = 7.6)
Wynik w R
Miary przy k = 10 (średnie po 14137 słuchaczach):
                      metoda  k precision recall    hit   ndcg
           najpopularniejsze 10    0.0079 0.0458 0.0771 0.0313
 słuchający X słuchali też Y 10    0.0184 0.1020 0.1653 0.0713
       czynniki ukryte (SVD) 10    0.0116 0.0642 0.1077 0.0412
Losowa lista 10 tytułów – oczekiwana precision@10: 0.00036 
Różnice precision@10 (95% przedział percentylowy, bootstrap 2000 prób słuchaczy):
                        para roznica  dolna  gorna
 kosinus − najpopularniejsze  0.0105 0.0097 0.0113
     SVD − najpopularniejsze  0.0038 0.0031 0.0045
               kosinus − SVD  0.0067 0.0061 0.0073

4. Pokrycie i krzywe Lorenza: Rysunek 4

Dane wejściowe: obiekty rek, ucz, test i metody z przepisów 2–3.

Co odczytać: pokrycie katalogu, udział 1% najpopularniejszych tytułów, indeks Giniego i liczbę różnych tytułów na listach oraz odsetek odsłuchów nowości z miesiąca 13.

R
# Rysunek 4. Pokrycie katalogu i skrzywienie w stronę popularnych: krzywe Lorenza rekomendacji
# (korzysta z rek, ucz, test, kto, tyt, metody, kol i motyw z przepisów 1–3)
library(ggplot2)
library(patchwork)
library(ineq)

dostepne <- which(tyt$wydanie <= 12)                       # tytuły, które można było polecić po miesiącu 12
pop12 <- tabulate(ucz$tytul, nrow(tyt))
top1 <- order(-pop12)[1:50]                                 # 1% najczęściej słuchanych tytułów w uczeniu
liczniki <- c(lapply(rek, function(l) tabulate(l[, 1:10], nrow(tyt))),
              list(odsluchy = tabulate(test$tytul[test$sluchacz %in% kto], nrow(tyt))))
nazwy <- c(metody, odsluchy = "faktyczne odsłuchy w miesiącu 13")
pk <- do.call(rbind, lapply(names(liczniki), function(m) { x <- liczniki[[m]][dostepne]
  data.frame(metoda = nazwy[[m]], pokrycie_proc = round(100 * mean(x > 0), 1),
             udzial_top1_proc = round(100 * sum(liczniki[[m]][top1]) / sum(liczniki[[m]]), 1),
             gini = round(ineq(x, type = "Gini"), 3), roznych_tytulow = sum(x > 0)) }))
cat("Tytuły dostępne po miesiącu 12:", length(dostepne), "| listy top-10:", length(kto), "\n")
print(pk, row.names = FALSE)
cat("Odsłuchy z miesiąca 13 w tytułach wydanych w miesiącu 13 (nie do polecenia):",
    round(100 * mean(tyt$wydanie[test$tytul[test$sluchacz %in% kto]] == 13), 1), "%\n")

# Rysunek 4: (A) krzywe Lorenza: jaki odsetek rekomendacji przypada na najmniej polecane tytuły, (B) pokrycie i top 1%
lor <- do.call(rbind, lapply(names(liczniki), function(m) { L <- Lc(liczniki[[m]][dostepne])
  i <- unique(round(seq(1, length(L$p), length.out = 300)))
  data.frame(metoda = nazwy[[m]], p = L$p[i], L = L$L[i]) }))
lor$metoda <- factor(lor$metoda, levels = nazwy)
kol_n <- setNames(c(kol[c("szary", "niebieski", "pomaranczowy")], kol[["zielony"]]), nazwy)
pA <- ggplot(lor, aes(p, L, colour = metoda, linetype = metoda)) +
  geom_abline(slope = 1, intercept = 0, colour = "grey60", linewidth = 0.4) +
  geom_line(linewidth = 1) +
  scale_colour_manual(values = kol_n, name = NULL) +
  scale_linetype_manual(values = c("dashed", "solid", "dotdash", "dotted"), name = NULL) +
  scale_x_continuous(labels = function(x) paste0(100 * x, "%")) + scale_y_continuous(labels = function(x) paste0(100 * x, "%")) +
  labs(title = "A. Krzywe Lorenza", subtitle = "tytuły od najrzadziej polecanych",
       x = "skumulowany % tytułów", y = "skumulowany % rekomendacji") +
  guides(colour = guide_legend(ncol = 2), linetype = guide_legend(ncol = 2)) + motyw
pd <- rbind(data.frame(metoda = pk$metoda, miara = "pokrycie katalogu (%)", wartosc = pk$pokrycie_proc),
            data.frame(metoda = pk$metoda, miara = "udział top 1% tytułów (%)", wartosc = pk$udzial_top1_proc))
pd$metoda <- factor(pd$metoda, levels = rev(nazwy))
pB <- ggplot(pd, aes(wartosc, metoda, fill = metoda)) + geom_col(width = 0.65) +
  geom_text(aes(label = sprintf("%.1f", wartosc)), hjust = -0.15, size = 3.5) +
  facet_wrap(~ miara, ncol = 1) + scale_fill_manual(values = kol_n, guide = "none") +
  scale_x_continuous(limits = c(0, 115), breaks = c(0, 50, 100)) +
  labs(title = "B. Pokrycie katalogu i top 1%", x = "%", y = NULL) + motyw
p4 <- pA + pB + plot_layout(widths = c(1, 1.15)) & theme(legend.position = "bottom")
p4                       # do pliku: ggsave("ocena-rekomendacji-lorenz-pokrycie.svg", p4, width = 10, height = 6)
Wynik w R
Tytuły dostępne po miesiącu 12: 4892 | listy top-10: 14137 
                           metoda pokrycie_proc udzial_top1_proc  gini
                najpopularniejsze           0.3             58.1 0.998
      słuchający X słuchali też Y          84.9             22.0 0.835
            czynniki ukryte (SVD)          12.7             23.3 0.947
 faktyczne odsłuchy w miesiącu 13          75.8              8.1 0.671
 roznych_tytulow
              14
            4152
             621
            3707
Odsłuchy z miesiąca 13 w tytułach wydanych w miesiącu 13 (nie do polecenia): 14 %

5. Losowy podział i kolejne tomy: Rysunek 5

Dane wejściowe: funkcja rekomenduj() i obiekty z przepisów 1–3.

Co odczytać: precision@10 przy podziale czasowym i losowym, skład trafień i precision@10 metody kosinusowej bez kolejnych tomów.

R
# Rysunek 5. Losowy podział zamiast czasowego (przeciek z przyszłości) i trafienia, które „i tak by się zdarzyły”
# (korzysta z rekomenduj, ods, tyt, H, metody, miary_k, rek, kto, trafne, ucz, test, kol i motyw z przepisów 1–4)
library(ggplot2)
library(patchwork)

# Losowy podział: tyle samo odsłuchów co w miesiącu 13 trafia do testu, ale losowo z całych 13 miesięcy
set.seed(7695)
i_test <- sample.int(nrow(ods), nrow(test))
ucz_l <- ods[-i_test, ]; test_l <- ods[i_test, ]
kto_l <- sort(intersect(unique(ucz_l$sluchacz), unique(test_l$sluchacz)))
trafne_l <- split(test_l$tytul, factor(test_l$sluchacz, levels = kto_l))
rek_l <- rekomenduj(ucz_l, kto_l)                          # ok. 20 s
n_traf_l <- lengths(trafne_l)
p10_l <- sapply(rek_l, function(l) mean(rowSums(t(sapply(seq_len(nrow(l)), function(j) l[j, 1:10] %in% trafne_l[[j]]))) / 10))
p10_c <- sapply(H, function(h) mean(rowSums(h[, 1:10]) / 10))
porown <- data.frame(metoda = metody[names(rek)], czasowy = round(p10_c, 4), losowy = round(p10_l, 4),
                     zawyzenie_razy = round(p10_l / p10_c, 2))
cat("Oceniani słuchacze – podział losowy:", length(kto_l), "| czasowy:", length(kto), "\n")
cat("precision@10: podział czasowy (miesiąc 13) vs losowy (te same 13 miesięcy):\n"); print(porown, row.names = FALSE)

# Trafienia metody kosinusowej: ile to kolejne tomy cykli, których poprzedni tom słuchacz już znał z uczenia
znane_tomy <- unique(paste(ucz$sluchacz, tyt$nastepny[ucz$tytul]))
rodzaj <- function(lista, h) {                              # trafienia z list top-10: kolejny tom vs reszta
  j <- row(h[, 1:10])[h[, 1:10]]; t <- lista[, 1:10][h[, 1:10]]
  ifelse(paste(kto[j], t) %in% znane_tomy, "kolejny tom znanego cyklu", "inny tytuł") }
tr <- do.call(rbind, lapply(names(rek), function(m) { r <- rodzaj(rek[[m]], H[[m]])
  data.frame(metoda = metody[[m]], rodzaj = r) }))
tab <- as.data.frame(table(metoda = tr$metoda, rodzaj = tr$rodzaj))
tab$proc <- round(100 * tab$Freq / ave(tab$Freq, tab$metoda, FUN = sum), 1)
cat("Trafienia list top-10 według rodzaju:\n"); print(tab[order(tab$metoda), ], row.names = FALSE)
cat("Odsłuchy miesiąca 13 (oceniani słuchacze), które są kolejnym tomem znanego cyklu:",
    round(100 * mean(paste(test$sluchacz, test$tytul)[test$sluchacz %in% kto] %in% znane_tomy), 1), "%\n")
# Precision@10 kosinusa bez kolejnych tomów znanych cykli (gdyby ich nie liczyć jako zasługi rekomendacji)
bez <- sapply(seq_along(kto), function(j) { l <- rek$kosinus[j, 1:10]
  sum(l %in% trafne[[j]] & !(paste(kto[j], l) %in% znane_tomy)) / 10 })
cat("precision@10 kosinusa bez kolejnych tomów:", round(mean(bez), 4), "\n")

# Rysunek 5: (A) czasowy vs losowy, (B) skład trafień
dA <- rbind(data.frame(metoda = porown$metoda, podzial = "czasowy (test = miesiąc 13)", p = porown$czasowy),
            data.frame(metoda = porown$metoda, podzial = "losowy (przeciek z przyszłości)", p = porown$losowy))
dA$metoda <- factor(dA$metoda, levels = rev(metody))
pA <- ggplot(dA, aes(100 * p, metoda)) +
  geom_line(aes(group = metoda), colour = "grey70", linewidth = 1.2) +
  geom_point(aes(colour = podzial, shape = podzial), size = 3.4) +
  geom_text(aes(label = sprintf("%.2f", 100 * p), colour = podzial), vjust = -1, size = 3.4, show.legend = FALSE) +
  scale_colour_manual(values = c(kol[["niebieski"]], kol[["pomaranczowy"]]), name = NULL) +
  scale_shape_manual(values = c(16, 17), name = NULL) +
  scale_x_continuous(limits = c(0, NA), expand = expansion(mult = c(0, 0.12))) +
  labs(title = "A. Ten sam model, inny podział", x = "precision@10 (%)", y = NULL) +
  guides(colour = guide_legend(ncol = 1), shape = guide_legend(ncol = 1)) + motyw
tab$metoda <- factor(tab$metoda, levels = rev(metody))
pB <- ggplot(tab, aes(proc, metoda, fill = rodzaj)) + geom_col(width = 0.6) +
  geom_text(aes(label = ifelse(proc >= 8, sprintf("%.1f", proc), "")), position = position_stack(vjust = 0.5),
            size = 3.4, colour = "white") +
  scale_fill_manual(values = c(`inny tytuł` = kol[["szary"]], `kolejny tom znanego cyklu` = kol[["niebieski"]]), name = NULL) +
  labs(title = "B. Co trafia? (top-10)", x = "% trafień", y = NULL) +
  guides(fill = guide_legend(ncol = 1)) + motyw
p5 <- pA + pB + plot_layout(widths = c(1.1, 1))
p5                       # do pliku: ggsave("ocena-rekomendacji-przeciek.svg", p5, width = 10, height = 5.4)
Wynik w R
Oceniani słuchacze – podział losowy: 14234 | czasowy: 14137 
precision@10: podział czasowy (miesiąc 13) vs losowy (te same 13 miesięcy):
                      metoda czasowy losowy zawyzenie_razy
           najpopularniejsze  0.0079 0.0034           0.43
 słuchający X słuchali też Y  0.0184 0.0355           1.93
       czynniki ukryte (SVD)  0.0116 0.0208           1.79
Trafienia list top-10 według rodzaju:
                      metoda                    rodzaj Freq proc
       czynniki ukryte (SVD)                inny tytuł 1114 67.7
       czynniki ukryte (SVD) kolejny tom znanego cyklu  532 32.3
           najpopularniejsze                inny tytuł 1089 97.8
           najpopularniejsze kolejny tom znanego cyklu   24  2.2
 słuchający X słuchali też Y                inny tytuł 1379 53.1
 słuchający X słuchali też Y kolejny tom znanego cyklu 1219 46.9
Odsłuchy miesiąca 13 (oceniani słuchacze), które są kolejnym tomem znanego cyklu: 6.4 %
precision@10 kosinusa bez kolejnych tomów: 0.0098 

6. Sprawdzenie palety pod kątem zaburzeń widzenia barw

Dane wejściowe: nic.

Co odczytać: odległości barw ΔE dla typowego widzenia, deuteranopii i protanopii. Szary i zielony są przy deuteranopii bliskie (ΔE = 11.8), dlatego na rysunku 4 mają różne rodzaje linii i podpisane słupki.

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("szary – niebieski" = c("#999999", "#0072B2"), "szary – pomarańczowy" = c("#999999", "#D55E00"),
             "niebieski – pomarańczowy" = c("#0072B2", "#D55E00"), "niebieski – zielony" = c("#0072B2", "#009E73"),
             "pomarańczowy – zielony" = c("#D55E00", "#009E73"), "szary – zielony" = c("#999999", "#009E73"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                 widzenie_typowe deuteranopia protanopia
szary – niebieski                           44.9         48.9       40.6
szary – pomarańczowy                        77.2         62.9       56.0
niebieski – pomarańczowy                   114.6        108.3       91.9
niebieski – zielony                         70.1         55.4       58.0
pomarańczowy – zielony                     102.4         53.5       37.3
szary – zielony                             47.8         11.8       19.0
czerwony – zielony (do unikania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie, rozkład SVD (svd()) i bootstrap obliczono funkcjami pakietów base i stats (z podstawowej instalacji R), macierze rzadkie – pakietem Matrix, krzywe Lorenza i indeks Giniego – pakietem ineq. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. Matrix (wersja 1.7.4): Bates, D., Maechler, M., & Jagan, M. (2025). Matrix: Sparse and dense matrix classes and methods [R package]. https://doi.org/10.32614/CRAN.package.Matrix
  3. ineq (wersja 0.2.13): Zeileis, A. (2014). ineq: Measuring inequality, concentration, and poverty [R package]. https://doi.org/10.32614/CRAN.package.ineq
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  6. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  7. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Losowy podział zamiast czasowego – przeciek z przyszłości zawyża metody osobiste i zmienia ranking metod (rysunek 5).
  • Precision@k bez punktu odniesienia – 1.84% to ok. 50 razy więcej niż lista losowa (rysunek 3).
  • Różne k w porównaniu – precision maleje, recall rośnie z długością listy.
  • Sama trafność – najtrafniejsza z prostych list może polecać ciągle te same tytuły (rysunek 4).
  • Trafienia oczywiste – kolejne tomy cykli to prawie połowa trafień metody kosinusowej.
  • Zimny start – nowości z miesiąca testu są poza zasięgiem metod uczonych na historii (rysunek 1).
  • Dobór parametrów na zbiorze testowym – liczbę czynników czy próg SVD wybieraj na osobnym miesiącu walidacyjnym, inaczej grozi przeuczenie.

Najczęstsze pytania

Co to jest precision@k w systemach rekomendacyjnych?

To odsetek trafień na liście k rekomendacji: ile z k pokazanych tytułów użytkownik naprawdę wybrał w okresie testowym. Liczysz go dla każdego użytkownika i uśredniasz. Gdy lista ma 10 pozycji, a słuchacz włączył 3 z nich, precision@10 = 0.30. Obok podawaj recall@k, czyli jaki odsetek wybranych tytułów był na liście.

Dlaczego dane do oceny rekomendacji dzieli się w czasie, a nie losowo?

Bo system po wdrożeniu zna tylko przeszłość. Losowy podział wpuszcza do uczenia odsłuchy z tego samego i późniejszych okresów, więc model „zna” nowości i kolejne tomy. W przykładzie losowy podział podniósł precision@10 metody kosinusowej z 1.84% do 3.55%, a listę najpopularniejszych obniżył z 0.79% do 0.34% – zmienił więc i poziom, i ranking metod.

Co to jest pokrycie katalogu w rekomendacjach?

To odsetek dostępnych produktów, które trafiły na co najmniej jedną listę rekomendacji. Lista najpopularniejszych może mieć dobrą trafność i pokrycie bliskie zera – w przykładzie 14 z 4892 tytułów (0.3%). Pokrycie czytaj razem z trafnością i udziałem najpopularniejszych tytułów w rekomendacjach.

Jak zmierzyć skrzywienie rekomendacji w stronę popularnych produktów?

Policz udział np. 1% najpopularniejszych produktów w rekomendacjach i porównaj z ich udziałem w faktycznych wyborach, a rozkład liczby rekomendacji na produkt pokaż krzywą Lorenza z indeksem Giniego. W przykładzie 1% tytułów to 8.1% odsłuchów, ale 22.0% rekomendacji metody kosinusowej; indeks Giniego wynosił .835 wobec .671 w odsłuchach.

Czy dobra ocena offline wystarczy, żeby wdrożyć nowy algorytm rekomendacji?

Nie. Ocena offline mierzy zgodność listy z tym, co użytkownik i tak wybrał, a nie wpływ listy na jego zachowanie. W przykładzie 46.9% trafień metody kosinusowej to kolejne tomy cykli znanych słuchaczowi. O wdrożeniu rozstrzyga test A/B na mierze biznesowej, np. czasie słuchania lub utrzymaniu abonamentu.

Powiązane hasła

Przeczytaj też

Piszesz pracę o systemach rekomendacyjnych albo oceniasz algorytm w firmie?

Pomożemy zaplanować podział danych w czasie, dobrać miary trafności i pokrycia, policzyć niepewność i opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Cremonesi, P., Koren, Y., & Turrin, R. (2010). Performance of recommender algorithms on top-N recommendation tasks. In Proceedings of the Fourth ACM Conference on Recommender Systems (pp. 39–46). ACM. https://doi.org/10.1145/1864708.1864721
  2. Fleder, D., & Hosanagar, K. (2009). Blockbuster culture's next rise or fall: The impact of recommender systems on sales diversity. Management Science, 55(5), 697–712. https://doi.org/10.1287/mnsc.1080.0974 ● Otwarty dostęp: pełny tekst
  3. Ge, M., Delgado-Battenfeld, C., & Jannach, D. (2010). Beyond accuracy: Evaluating recommender systems by coverage and serendipity. In Proceedings of the Fourth ACM Conference on Recommender Systems (pp. 257–260). ACM. https://doi.org/10.1145/1864708.1864761
  4. Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems, 22(1), 5–53. https://doi.org/10.1145/963770.963772
  5. Jannach, D., & Jugovac, M. (2019). Measuring the business value of recommender systems. ACM Transactions on Management Information Systems, 10(4), 1–23. https://doi.org/10.1145/3370082 ● Otwarty dostęp: pełny tekst
  6. Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30–37. https://doi.org/10.1109/mc.2009.263
  7. Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. In Proceedings of the 10th International Conference on World Wide Web (pp. 285–295). ACM. https://doi.org/10.1145/371920.372071
  8. Steck, H. (2011). Item popularity and recommendation accuracy. In Proceedings of the Fifth ACM Conference on Recommender Systems (pp. 125–132). ACM. https://doi.org/10.1145/2043932.2043957

Cytowania BibTeX

@inproceedings{cremonesi2010performance, author={Cremonesi, Paolo and Koren, Yehuda and Turrin, Roberto}, title={{Performance of recommender algorithms on top-N recommendation tasks}}, booktitle={Proceedings of the Fourth ACM Conference on Recommender Systems}, year={2010}, pages={39--46}, publisher={ACM}, doi={10.1145/1864708.1864721}}
@article{fleder2009blockbuster, author={Fleder, Daniel and Hosanagar, Kartik}, title={{Blockbuster culture's next rise or fall: The impact of recommender systems on sales diversity}}, journal={Management Science}, year={2009}, volume={55}, number={5}, pages={697--712}, doi={10.1287/mnsc.1080.0974}}
@inproceedings{ge2010beyond, author={Ge, Mouzhi and Delgado-Battenfeld, Carla and Jannach, Dietmar}, title={{Beyond accuracy: Evaluating recommender systems by coverage and serendipity}}, booktitle={Proceedings of the Fourth ACM Conference on Recommender Systems}, year={2010}, pages={257--260}, publisher={ACM}, doi={10.1145/1864708.1864761}}
@article{herlocker2004evaluating, author={Herlocker, Jonathan L. and Konstan, Joseph A. and Terveen, Loren G. and Riedl, John T.}, title={{Evaluating collaborative filtering recommender systems}}, journal={ACM Transactions on Information Systems}, year={2004}, volume={22}, number={1}, pages={5--53}, doi={10.1145/963770.963772}}
@article{jannach2019measuring, author={Jannach, Dietmar and Jugovac, Michael}, title={{Measuring the business value of recommender systems}}, journal={ACM Transactions on Management Information Systems}, year={2019}, volume={10}, number={4}, pages={1--23}, doi={10.1145/3370082}}
@article{koren2009matrix, author={Koren, Yehuda and Bell, Robert and Volinsky, Chris}, title={{Matrix factorization techniques for recommender systems}}, journal={Computer}, year={2009}, volume={42}, number={8}, pages={30--37}, doi={10.1109/mc.2009.263}}
@inproceedings{sarwar2001item, author={Sarwar, Badrul and Karypis, George and Konstan, Joseph and Riedl, John}, title={{Item-based collaborative filtering recommendation algorithms}}, booktitle={Proceedings of the 10th International Conference on World Wide Web}, year={2001}, pages={285--295}, publisher={ACM}, doi={10.1145/371920.372071}}
@inproceedings{steck2011item, author={Steck, Harald}, title={{Item popularity and recommendation accuracy}}, booktitle={Proceedings of the Fifth ACM Conference on Recommender Systems}, year={2011}, pages={125--132}, publisher={ACM}, doi={10.1145/2043932.2043957}}
R