Slovník výrazov AI/Veľké jazykové modely

Veľké jazykové modely

penalizácia prítomnosti

Anglický výraz presence penalty

pokročiléheslo č. 4895 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená penalizácia prítomnosti?

Penalizácia prítomnosti upraví logit kandidátneho tokenu podľa toho, či sa už aspoň raz objavil v doterajšom výstupe, bez ohľadu na ďalší počet výskytov. Kladná hodnota podporuje zavádzanie nových tokenov alebo tém. Presný rozsah, znamienko a to, ktorú časť kontextu API počíta, treba čítať v dokumentácii.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Používa sa na zvýšenie tematickej alebo lexikálnej rozmanitosti pri brainstormingu. Hodnota sa testuje proti faktickosti a súdržnosti, pretože tlak na nové tokeny môže odkláňať odpoveď. Pri extrakcii, preklade a kóde býva bezpečnejšie nulové alebo veľmi opatrné nastavenie.

Overiteľnosť

Odborné zdroje

  1. OpenAI API - parametre generovania odpovedeplatform.openai.com
  2. The Curious Case of Neural Text Degenerationarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje penalizácia prítomnosti?

Dekodér vedie množinu už použitých tokenov a od ich budúcich logitov jednorazovo odčíta zvolený koeficient.

Kedy má penalizácia prítomnosti praktický význam?

Používa sa na zvýšenie tematickej alebo lexikálnej rozmanitosti pri brainstormingu.

S čím si pojem nezamieňať?

Frekvenčná penalizácia sa zväčšuje s počtom opakovaní; presence penalty rozlišuje iba použitý verzus nepoužitý token.

Ako sa výsledok kontroluje?

Kontroluje sa počet nových tokenov a tém, koherencia, povinné opakovania, stabilita formátu a úspešnosť úlohy.

Na čo si dať pozor?

Silná penalizácia môže nútiť model meniť terminológiu, rozbíjať odkazy a pridávať nesúvisiace témy len kvôli novosti.