Presná definícia
Čo znamená TF-IDF?
TF-IDF váži termín podľa jeho frekvencie v dokumente a nepriamou frekvenciou dokumentov v kolekcii. Zvýrazňuje výrazy časté v konkrétnom texte, ale zriedkavé v korpuse. Existuje viac definícií TF, IDF a normalizácie, preto názov bez vzorca nešpecifikuje presnú metriku.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Analytik vytvorí TF-IDF vektory na vyhľadávanie alebo výber kľúčových slov a uloží použitý slovník i vzorec. Dokumenty a dopyty sa spracujú rovnakým analyzérom a často L2-normalizujú pre kosínus. Eval porovná výsledok s BM25 a sleduje zmenu pri prírastku korpusu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje TF-IDF?
Term frequency sa transformuje a násobí logaritmickou IDF odvodenou z počtu dokumentov obsahujúcich termín.
Kedy má TF-IDF praktický význam?
Analytik vytvorí TF-IDF vektory na vyhľadávanie alebo výber kľúčových slov a uloží použitý slovník i vzorec.
S čím si pojem nezamieňať?
BM25 navyše saturuje frekvenciu a parametricky koriguje dĺžku; TF-IDF je jednoduchšia rodina váh.
Ako sa výsledok kontroluje?
Kontroluje sa vzorec na malej matici, slovník, normalizácia, sparsity a retrieval či klasifikačný výkon.
Na čo si dať pozor?
Vzácny preklep môže dostať vysokú váhu a po zmene korpusu sa menia IDF aj porovnateľnosť starých vektorov.