Presná definícia
Čo znamená detekcia odľahlých hodnôt?
Detekcia odľahlých hodnôt hľadá menšinové body nezodpovedajúce väčšinovej štruktúre v dátach, ktoré môžu byť už pri tréningu kontaminované. Model odhaduje skóre alebo hranicu robustnú voči predpokladanému podielu odľahlostí. Odľahlosť je relatívna k reprezentácii a susedstvu; nemusí znamenať chybu a globálne aj lokálne metódy ju môžu posúdiť odlišne.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri čistení finančných záznamov sa najprv rozlíšia nemožné hodnoty od vzácnych legitímnych klientov. Isolation forest zachytí globálne neobvyklé body, LOF lokálne riedke prípady a robustná kovariancia eliptické jadro. Podiel kontaminácie sa neháda iba podľa algoritmu; odvodí sa z auditov a citlivostnej analýzy. Odstránenie bodov sa vykoná až po doménovom preskúmaní a celý postup sa naučí iba na tréningovej časti. Výkon sa hodnotí na označenej vzorke aj podľa dopadu na následný model.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Je odľahlý bod automaticky chybný?
Nie. Môže byť vzácny, ale platný a pre úlohu zásadný.
Čo je lokálna odľahlosť?
Bod je riedky voči svojim susedom, hoci globálne nemusí byť ďaleko.
Čo znamená parameter contamination?
Predpokladaný alebo použitý podiel bodov za hranicou pri nastavovaní prahu.
Má sa každý označený bod odstrániť?
Nie. Najprv sa overí pôvod a vplyv; automatické mazanie môže odstrániť dôležitú menšinu.
Prečo sú vysoké rozmery problém?
Vzdialenosti a hustoty strácajú kontrast a irelevantné príznaky zakryjú anomáliu.