Slovník výrazov AI/MLOps a nasadenie

MLOps a nasadenie

monitorovanie modelu

Anglický výraz model monitoring

pokročiléheslo č. 9885 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená monitorovanie modelu?

Monitorovanie modelu je priebežné sledovanie nasadeného ML systému pomocou technických, vstupných, predikčných a po získaní štítkov aj výkonnostných metrík. Každý signál potrebuje baseline, segmentáciu, časové okno a reakciu; drift sám nepotvrdzuje zhoršenie kvality.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Model reklamácií sleduje schému, chýbanie, drift príznakov, rozdelenie skóre, latenciu a presnosť po doručení výsledkov. Alarm vytvorí incident iba pri trvalej odchýlke a pripojí dotknutú verziu i segment.

Overiteľnosť

Odborné zdroje

  1. Google Cloud - Vertex AI Model Monitoringcloud.google.com
  2. Breck et al. - The ML Test Scoreresearch.google

Praktické odpovede

Často kladené otázky

Ako funguje monitorovanie modelu?

Telemetria spája požiadavky, verzie, príznaky, predikcie a neskoršie ciele do časových metrík a pravidiel.

Kedy má monitorovanie modelu praktický význam?

Model reklamácií sleduje schému, chýbanie, drift príznakov, rozdelenie skóre, latenciu a presnosť po doručení výsledkov.

S čím si pojem nezamieňať?

Monitoring sleduje celý nasadený systém; sledovanie experimentov eviduje kontrolované vývojové behy.

Ako sa výsledok kontroluje?

Overujú sa baseline, pokrytie telemetrie, oneskorenie štítkov, segmenty, prahy, falošné alarmy a nacvičená reakcia.

Na čo si dať pozor?

Bez referenčných cieľov možno pozorovať zmenu vstupov, ale nie spoľahlivo určiť, či sa zhoršila správnosť.