Promptovanie

obmedzené dekódovanie

Anglický výraz constrained decoding

pokročiléheslo č. 5835 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená obmedzené dekódovanie?

Obmedzené dekódovanie povoľuje v každom kroku iba tokeny, ktoré vedú k výstupu spĺňajúcemu formálne pravidlá, zoznam možností alebo čiastočnú schému. Na rozdiel od následnej opravy zabraňuje niektorým neplatným pokračovaniam už počas generovania. Neoveruje však vecný význam povolených hodnôt.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri generovaní príkazu sa povolia iba operácie z bezpečného inventára a syntakticky platné argumenty, potom server vykoná doménovú validáciu a autorizáciu. Implementácia meria latenciu a prípady, keď žiadne pokračovanie nie je možné. Pre voľný text sa obmedzenia používajú len na štruktúrne časti.

Overiteľnosť

Odborné zdroje

  1. OpenAI - Function calling and Structured Outputsplatform.openai.com
  2. JSON Schema - specificationjson-schema.org

Praktické odpovede

Často kladené otázky

Ako funguje obmedzené dekódovanie?

Automat alebo parser sleduje stav čiastočného výstupu a maskuje pravdepodobnosti tokenov, ktoré by porušili pravidlá.

Kedy má obmedzené dekódovanie praktický význam?

Pri generovaní príkazu sa povolia iba operácie z bezpečného inventára a syntakticky platné argumenty, potom server vykoná doménovú validáciu a autorizáciu.

S čím si pojem nezamieňať?

Post-processing opravuje až hotový text; constrained decoding zužuje priestor možností počas každého kroku.

Ako sa výsledok kontroluje?

Kontroluje sa formálna validita, dead-end rate, latencia, správnosť obsahu a úplnosť pokrytia povoleného jazyka.

Na čo si dať pozor?

Chybná gramatika vylúči platnú odpoveď, tokenové hranice komplikujú maskovanie a bezpečný tvar nezaručuje bezpečnú akciu.