Presná definícia
Čo znamená vzorkovanie top-p?
Vzorkovanie top-p zoradí tokeny podľa pravdepodobnosti a ponechá najmenšiu množinu, ktorej kumulatívna hmotnosť dosiahne prah p; z nej po renormalizácii vzorkuje. Počet kandidátov sa preto mení podľa neistoty modelu. Tento postup je známy aj ako jadrové alebo nucleus sampling.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa pri otvorenom generovaní, keď má byť výber úzky pri istej predikcii a širší pri neistej. Prah p sa ladí spolu s teplotou a hodnotí na viacerých semenách. Implementácia musí jasne určiť zahrnutie tokenu, ktorý prah prekročí, minimálny počet kandidátov a poradie ostatných filtrov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje vzorkovanie top-p?
Softmaxové pravdepodobnosti sa zoradia, kumulatívne sčítajú, chvost za jadrom sa vynuluje a z renormalizovaného jadra sa vyberie token.
Kedy má vzorkovanie top-p praktický význam?
Používa sa pri otvorenom generovaní, keď má byť výber úzky pri istej predikcii a širší pri neistej.
S čím si pojem nezamieňať?
Top-k má fixný počet kandidátov; top-p má fixný prah pravdepodobnostnej hmotnosti a dynamickú veľkosť jadra.
Ako sa výsledok kontroluje?
Sleduje sa veľkosť jadra v jednotlivých krokoch, rozmanitosť, koherencia, opakovanie a citlivosť výsledku na p.
Na čo si dať pozor?
Veľké p môže pripustiť dlhý nespoľahlivý chvost, malé p odstrániť potrebnú alternatívu; výsledok závisí aj od kalibrácie modelu.