Presná definícia
Čo znamená lineárne sondovanie?
Lineárne sondovanie hodnotí pevnú reprezentáciu tréningom jedinej lineárnej predikčnej vrstvy nad zmrazenými príznakmi. Meria, do akej miery je cieľová informácia v reprezentácii lineárne dostupná bez zmeny enkódera. Nie je úplným meraním kvality reprezentácie: nelineárna sonda alebo dolaďovanie môžu odhaliť informáciu, ktorú lineárna hranica nevyužije.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Po samodohľadovom predtrénovaní sa enkóder zmrazí a nad výstupom sa trénuje logistická regresia s presne stanoveným predspracovaním. Regularizácia sondy sa ladí na validácii a porovná sa s náhodne inicializovaným enkóderom. Všetky reprezentácie musia dostať rovnaký optimalizačný rozpočet. Tím vedľa sondy uvádza aj výsledok plného dolaďovania, aby nerozšíril záver nad to, čo lineárny test meria.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená dobrá sonda?
Cieľ je v pevnej reprezentácii lineárne oddeliteľný.
Aktualizuje sa enkóder?
Nie, počas sondovania zostáva zmrazený.
Je sonda vždy jedna lineárna vrstva?
Áno; inak ide o nelineárne sondovanie.
Prečo treba rovnaký protokol?
Rôzna regularizácia či počet epoch môže zmeniť poradie reprezentácií.
Dokazuje slabé skóre absenciu informácie?
Nie, informácia nemusí byť lineárne dostupná.