Saruna ar datu zinātnieku par to, ko XAI nozīmē ikdienā

Arvīds Ķeņģis strādā ar kredītriska modeļiem Baltijas finanšu sektorā. Viņš XAI sāka lietot nevis tāpēc, ka to prasīja vadība, bet tāpēc, ka modelis kļūdījās un neviens nezināja kāpēc.

Kā izskatās problēma praksē

Jautājums: Kad tu pirmo reizi sapratu, ka XAI ir nepieciešams?

Arvīds: Modelis noraidīja pieteikumus no konkrēta reģiona ar augstu biežumu. Bez SHAP vērtībām mēs to nebūtu pamanījuši vēl mēnešus.

Kādi rīki tiek lietoti

Jautājums: Ko tu izmanto ikdienā?

Arvīds: Galvenokārt SHAP — tas ļauj redzēt, kuri mainīgie ietekmēja konkrētu lēmumu. Vizualizācijām izmantojam arī Alibi bibliotēku.

Ko XAI nevar izdarīt

Jautājums: Kur XAI robežas?

Arvīds: Tas neizskaidro, vai modelis ir taisnīgs — tas parāda, ko modelis izmantoja. Taisnīguma vērtēšana joprojām ir cilvēka uzdevums.

XAI ir kā rentgens — tas parāda struktūru, bet diagnoze joprojām ir ārsta rokās.Arvīds Ķeņģis