Presná definícia
Čo znamená vzorkovanie top-k?
Vzorkovanie top-k v každom kroku ponechá iba k tokenov s najvyššou pravdepodobnosťou, ostatným nastaví nulovú hmotnosť, zvyšok renormalizuje a náhodne vyberie token. Veľkosť kandidátnej množiny je pevná bez ohľadu na tvar rozdelenia: rovnaké k sa použije pri veľmi istej aj neistej predikcii.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa na obmedzenie nepravdepodobných pokračovaní pri zachovaní variability. Hodnota k sa ladí na dĺžke, faktickosti a rozmanitosti výstupov; testujú sa aj prípady s ostrým a plochým rozdelením. Nastavenie treba uviesť spolu s teplotou a poradím penalizácií, pretože operácie sa navzájom ovplyvňujú.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje vzorkovanie top-k?
Logity sa zoradia, zachová sa prvých k položiek, aplikuje sa softmax nad týmto podmnožinovým vektorom a z neho sa vzorkuje.
Kedy má vzorkovanie top-k praktický význam?
Používa sa na obmedzenie nepravdepodobných pokračovaní pri zachovaní variability.
S čím si pojem nezamieňať?
Top-p volí premenlivý počet tokenov podľa kumulatívnej pravdepodobnosti, kým top-k drží počet kandidátov konštantný.
Ako sa výsledok kontroluje?
Kontroluje sa skutočná veľkosť kandidátnej množiny, entropia, opakovanie, kvalita celej sekvencie a citlivosť na k.
Na čo si dať pozor?
Malé k môže odstrániť správny zriedkavý token; veľké k pri plochom rozdelení prepustí slabé možnosti a nezaručí stabilnú kvalitu.