Presná definícia
Čo znamená model Flamingo?
Flamingo je vizuálno-jazyková architektúra pre few-shot učenie z kontextu, ktorá pripája vizuálny enkóder k predtrénovanému jazykovému modelu cez Perceiver Resampler a vložené vrstvy krížovej pozornosti. Spracúva prekladané sekvencie obrázkov, videa a textu a generuje text.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Výskumný prototyp dostane niekoľko ukážok správneho opisovania technických snímok a potom rieši nový príklad bez aktualizácie váh. Ukážky sa vyberajú bez citlivých údajov a eval porovná zero-shot, few-shot aj vplyv poradia demonštrácií.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje model Flamingo?
Resampler zredukuje premenný počet vizuálnych prvkov na pevnú sadu tokenov a gated cross-attention nimi podmieňuje zmrazený jazykový model.
Kedy má model Flamingo praktický význam?
Výskumný prototyp dostane niekoľko ukážok správneho opisovania technických snímok a potom rieši nový príklad bez aktualizácie váh.
S čím si pojem nezamieňať?
CLIP vytvára dvojicu embeddingov na podobnosť; Flamingo autoregresívne generuje text z prekladaného multimodálneho kontextu.
Ako sa výsledok kontroluje?
Kontroluje sa few-shot transfer, VQA, captioning, viac obrazov, dlhý kontext, poradie ukážok a halucinácie.
Na čo si dať pozor?
Model môže slepo napodobniť formát alebo chybu ukážok a pri dlhom kontexte ignorovať obraz relevantný pre aktuálnu otázku.