Slovník výrazov AI/Vysvetliteľnosť a interpretácia

Vysvetliteľnosť a interpretácia

model typu čierna skrinka

Anglický výraz black-box model

základnéheslo č. 11565 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená model typu čierna skrinka?

Model typu čierna skrinka je model, ktorého vnútorné rozhodovacie mechanizmy nie sú pre daného pozorovateľa priamo dostupné alebo prakticky pochopiteľné, hoci možno skúmať jeho vstupy a výstupy. Čierna skrinka je relatívna k prístupu a publiku.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím pri proprietárnom modeli používa kontrastné testy, segmentové metriky, lokálne vysvetlenia a monitoring. Kritické rozhodnutie neodvodí iba z marketingového tvrdenia, že model je inteligentný.

Overiteľnosť

Odborné zdroje

  1. NIST - Four Principles of Explainable Artificial Intelligencedoi.org
  2. Molnar - Interpretable Machine Learningchristophm.github.io

Praktické odpovede

Často kladené otázky

Čo presne znamená model typu čierna skrinka?

Model typu čierna skrinka je model, ktorého vnútorné rozhodovacie mechanizmy nie sú pre daného pozorovateľa priamo dostupné alebo prakticky pochopiteľné, hoci možno skúmať jeho vstupy a výstupy.

Kedy sa model typu čierna skrinka používa?

Tím pri proprietárnom modeli používa kontrastné testy, segmentové metriky, lokálne vysvetlenia a monitoring.

Od čoho treba model typu čierna skrinka odlíšiť?

Komplexný model môže mať otvorené váhy a stále byť ťažko pochopiteľný; black-box neznamená nevyhnutne tajný kód.

Ako sa model typu čierna skrinka kontroluje?

Kontroluje sa prístup k artefaktom, opakovateľnosť vstupov, citlivosť, lokálne a globálne sondy, neistota a obmedzenia API.

Aké obmedzenie má model typu čierna skrinka?

Pozorovanie konečného počtu vstupov nemôže úplne charakterizovať správanie vo vysokorozmernom priestore ani skryté závislosti.