Presná definícia
Čo znamená učenie v kontexte?
Učenie v kontexte je prispôsobenie výstupu modelu podľa inštrukcie alebo príkladov vložených priamo do promptu bez aktualizácie jeho váh. Model rozpozná vzor mapovania či formátu v aktuálnom kontexte a pokračuje podľa neho. Po odstránení kontextu sa táto adaptácia spravidla nestráca do parametrov ani automaticky neprenáša do ďalšej relácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa na few-shot klasifikáciu, extrakciu a zmenu formátu bez tréningového procesu. Príklady majú reprezentovať hraničné prípady, mať konzistentné označenia a neobsahovať citlivé údaje. Eval náhodne mení poradie a formuláciu, aby odhalil napodobnenie povrchu, citlivosť na najbližší príklad a príliš dlhý prompt.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje učenie v kontexte?
Pozornosť sprístupní demonštrácie pri každej predikcii a model podmieni ďalšie tokeny vzorom, ktorý sa naučil využívať počas predtrénovania.
Kedy má učenie v kontexte praktický význam?
Používa sa na few-shot klasifikáciu, extrakciu a zmenu formátu bez tréningového procesu.
S čím si pojem nezamieňať?
Dolaďovanie mení parametre a správanie pretrváva; učenie v kontexte spotrebuje okno a platí iba pre aktuálny vstup.
Ako sa výsledok kontroluje?
Meria sa výkon pre zero-, one- a few-shot, citlivosť na poradie, náhodné či nesprávne labely, dĺžku a prenos na nové príklady.
Na čo si dať pozor?
Model môže kopírovať chybu demonštrácie, ignorovať vzdialený príklad alebo poslúchnuť škodlivú inštrukciu vloženú v získanom texte.