Feature Importance
Kvantifikácia vplyvu jednotlivých vstupných premenných na finálny výstup modelu. Používame normalizované váhy na určenie priority dátových bodov v reálnom čase.
Technická dokumentácia metodík pre auditovateľnosť algoritmov a dešifrovanie rozhodovacích procesov v neurónových sieťach.
Kvantifikácia vplyvu jednotlivých vstupných premenných na finálny výstup modelu. Používame normalizované váhy na určenie priority dátových bodov v reálnom čase.
Aproximácia komplexných modelov pomocou lineárnych regresií alebo rozhodovacích stromov pre zjednodušenú interpretáciu celkového správania systému.
Vizualizácia distribučných váh v Transformer architektúrach, umožňujúca sledovať, na ktoré segmenty dát sa model sústredí pri generovaní odpovede.
Pre zabezpečenie objektívnej analýzy využívame dva primárne prístupy k lokálnej vysvetliteľnosti. Zatiaľ čo LIME (Local Interpretable Model-agnostic Explanations) vytvára lokálne verné modely v okolí konkrétneho predpokladu, SHAP (SHapley Additive exPlanations) poskytuje matematicky podložené rozdelenie hodnôt na základe teórie hier.
| Parameter | LIME | SHAP |
|---|---|---|
| Konzistencia | Nižšia (lokálna nestabilita) | Vysoká (matematická záruka) |
| Výpočtová náročnosť | Nízka (rýchla aproximácia) | Vysoká (exponenciálna zložitosť) |
| Typ interpretácie | Lokálna | Lokálna aj Globálna |
Výber metodiky závisí od kritickosti aplikácie. Pri modeloch pracujúcich s citlivými informáciami (pozri Ochrana osobných údajov) preferujeme SHAP pre jeho teoretickú presnosť.
Každý zásah do modelu a každé vygenerované rozhodnutie sú zaznamenávané v immutable logoch. Tento systém umožňuje spätne rekonštruovať logiku modelu v ľubovoľnom čase t-1.
Prejdite si naše metodiky auditu alebo kontaktujte našich inžinierov pre hĺbkovú analýzu vašich súčasných modelov.