Presná definícia
Čo znamená multimodálny prompt?
Multimodálny prompt je vstupná inštrukcia zostavená z dvoch alebo viacerých modalít, napríklad textovej otázky, obrázka a označeného regiónu. Význam promptu vzniká aj poradím a väzbou medzi časťami; priložený súbor bez jasnej inštrukcie nemusí určovať požadovanú úlohu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používateľ priloží graf a požiada: „Porovnaj roky 2024 a 2025, používaj len hodnoty viditeľné v grafe.“ Rozhranie zachová poradie príloh a upozorní na nízke rozlíšenie. Testy menia formuláciu, poradie obrázkov aj nerelevantnú prílohu a sledujú faktickosť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje multimodálny prompt?
Procesor prevedie každú časť na tokeny s informáciou o modalite a pozícii, potom ich model spoločne interpretuje podľa inštrukcie.
Kedy má multimodálny prompt praktický význam?
Používateľ priloží graf a požiada: „Porovnaj roky 2024 a 2025, používaj len hodnoty viditeľné v grafe.“ Rozhranie zachová poradie príloh a upozorní na nízke rozlíšenie.
S čím si pojem nezamieňať?
Textový prompt obsahuje iba jazyk; multimodal prompt dáva modelu aj obrazový, zvukový alebo iný vstup, na ktorý sa text odvoláva.
Ako sa výsledok kontroluje?
Kontroluje sa viazanosť odpovede na prílohy, poradie, citlivosť na nejasné odkazy, injekcie v obraze, chýbajúce dáta a bezpečné odmietnutie.
Na čo si dať pozor?
Text ukrytý v obrázku môže zmeniť správanie modelu a neurčité zámeno môže priradiť pokyn k nesprávnej prílohe.