Presná definícia
Čo znamená učenie učiteľ-žiak?
Učenie učiteľ-žiak prenáša informáciu z učiteľského modelu do žiaka prostredníctvom mäkkých výstupov, reprezentácií, pseudoštítkov alebo konzistenčného cieľa. Učiteľ môže byť väčší, zoskupený alebo časovým priemerom žiaka. Žiak sa neučí iba finálnu triedu: rozdelenie pravdepodobností môže niesť vzťahy medzi triedami, no aj skreslenia učiteľa.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Veľký model vytvorí logity na tréningových dátach a menší žiak kombinuje distilačnú stratu s pravými štítkami. Teplota a váha strát sa ladia na validácii; porovnáva sa žiak od nuly pri rovnakej architektúre. Tím meria presnosť, kalibráciu, latenciu a výkon podskupín, pretože kompresia môže nerovnomerne zhoršiť zriedkavé prípady. Testovacie predikcie učiteľa sa do učenia nesmú dostať.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Musí byť človek?
Nie, ide o referenčný model alebo agregát modelov.
Čo obsahujú?
Relatívne pravdepodobnosti aj pre nevybranú triedu.
Načo slúži?
Zmäkčuje alebo zaostruje rozdelenie učiteľových výstupov.
Musí byť menší?
Často je, ale princíp možno použiť aj medzi rovnako veľkými modelmi.
Prenesú sa aj chyby?
Áno, preto treba zachovať pravé štítky a auditovať podskupiny.