Im Zuge der digitalen Revolution, die uns immer wieder neue, fortschrittliche Modelle beschert, habe ich mich intensiv mit Erklärbarkeitsmethoden beschäftigt. In vorherigen Blogbeiträgen habe ich bereits darüber berichtet, wie BERT Transformer-Modelle gegen Herausforderungen wie Hassreden eingesetzt werden können und wie solche Modelle für den Menschen nachvollziehbarer bzw. erklärbarer gemacht werden können. Heute möchte ich genauer auf die Ergebnisse und Erkenntnisse meiner Arbeit eingehen.

Ergebnisse im Detail

Alle meiner trainierten BERT Modelle waren fähig Hass-und Gegenrede in Texten ausreichend gut zu erkennen. Das bildete den Grundstein für weitere Untersuchung bezüglich verschiedener Erklärbarkeitsmethoden. Nach der eingehenden Evaluierung vier ausgewählter Erklärbarkeitsmethoden (ProtoTEx, LIME, GlobEnc, Integrated Gradients) für BERT-Klassifikatoren ergaben sich folgende Schlüsselerkenntnisse:

• ProtoTEx: Trotz des Potenzials, das in dieser Methode steckte, stellte sie sich als nicht optimal für meine Studie heraus. Das ideale Szenario wäre gewesen, dass die Methode gelernte Trainingsdaten wiedergibt ("Prototypen") die ähnlich der vorhergesagten Klasse während der Klassifikation des Input Textes sind. Ein zentrales Problem war die Tatsache, dass die ausgewählten Prototypen oft nicht zu dieser tatsächlich vorhergesagten Klasse des Modells passten, was für die Erklärbarkeit für den Menschen nicht intuitiv ist. Auf Grund dessen wurde diese Methode verworfen. 

• Integrated Gradients und GlobEnc: Auch wenn sie in der Theorie überzeugend wirkten, erfüllten sie in der Praxis die Kriterien nicht ausreichend genug um als Nützlich für den Menschen angesehen zu werden. 

• LIME: Im Gegensatz dazu zeigte LIME vielversprechendere Resultate. Vor allem in den Bereichen Verständlichkeit und Genauigkeit schnitt diese Methode besser ab.

Blick in die Zukunft

Es ist offensichtlich, dass trotz aller Fortschritte noch einiges an Verbesserungsbedarf besteht. Die immer komplexeren Transformer-Modelle erfordern ausgefeilte Tools und Ansätze für ihre Interpretation und Erklärbarkeit. Meine Arbeit zeigte, dass gerade die Erklärbarkeit für Modelle die mit schwierigen Aufgabenstellungen wie des erkennen von Hass- und Gegenrede nicht ausreichend sind um in realen Settings verwendet zu werden. Außerdem könnte Zukünftig ein spannender Weg sein, verschiedene Methodiken miteinander zu kombinieren, um deren Vorteile zu bündeln. Ein weiterer Fokus sollte auf einer nutzerzentrierten Forschung liegen, um Interfaces zu kreieren, die wirklich den Bedürfnissen der Nutzer:innen entsprechen, sowie das in Betracht ziehen von mehr Kontext rund um die Texte, um den Sinn und Zweck der Sätze besser nachvollziehen zu können.

Abschließend bleibt zu sagen: Es ist noch viel zu tun bezüglich von Sicherheit im Netz und Erklärbarkeit von KI Modellen. Die (meine) Forschung geht jedenfalls weiter!