Slovník výrazov AI/Veľké jazykové modely

Veľké jazykové modely

emergentná schopnosť

Anglický výraz emergent capability

špecializovanéheslo č. 4935 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená emergentná schopnosť?

Emergentná schopnosť je správanie, ktoré sa pri menších modeloch javí ako neprítomné alebo slabé a pri určitej škále sa objaví výrazne. Označenie opisuje pozorovaný priebeh metriky, nie nevyhnutne náhly vznik nového vnútorného mechanizmu; prahové či nespojité hodnotenie môže vytvoriť zdanlivý skok zo spojito rastúceho výkonu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri škálovaní sa úlohy merajú kontinuálnymi aj binárnymi metrikami na viacerých veľkostiach a s intervalmi neistoty. Nová schopnosť spúšťa samostatný bezpečnostný a spoľahlivostný eval pred nasadením, pretože staršie testy ju nemuseli pokrývať. Tvrdenie o emergencii má uviesť rozsah modelov, promptovanie a metriku.

Overiteľnosť

Odborné zdroje

  1. Emergent Abilities of Large Language Modelsarxiv.org
  2. Scaling Laws for Neural Language Modelsarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje emergentná schopnosť?

Rast kapacity a dát mení výkon; ak metrika udeľuje úspech až po prekročení prahu, séria môže vyzerať náhle aj pri hladkom zlepšení pravdepodobností.

Kedy má emergentná schopnosť praktický význam?

Pri škálovaní sa úlohy merajú kontinuálnymi aj binárnymi metrikami na viacerých veľkostiach a s intervalmi neistoty.

S čím si pojem nezamieňať?

Učenie v kontexte je konkrétna schopnosť používať príklady v prompte; emergentná schopnosť je opis škálovacieho profilu ľubovoľného správania.

Ako sa výsledok kontroluje?

Kontrolujú sa husté škálovacie body, viac metrík, štatistická neistota, robustnosť promptu a replikácia na nezávislých úlohách.

Na čo si dať pozor?

Riedke merania a výber úspešných benchmarkov môžu preháňať skok; neočakávané schopnosti môžu priniesť aj neotestované riziká.