Um Gerichtsurteile zu analysieren, würden wir in einer Vorstufe gerne die Sprache genauer unter die Lupe nehmen. Dies ist wichtig, um etwa Vorbringen (stets im Konjunktiv) und Feststellungen (Mitvergangenheit) unterscheiden zu können. Diese Aufgaben sind im Jargon als "Natural Language Processing" aufzufinden.

Für uns beide eher ein neues Gebiet, wollten wir uns in einem ersten Schritt der trivialen Aufgabe, Text in unterschiedliche Sätze aufzuteilen, widmen. In der Informatik ist das als "Sentence splitting" bekannt. Unsere ersten Gehversuche machten wir mit stanford-corenlp. Die Ernüchterung stellte sich schnell ein: Obwohl deutsche Sprache an sich unterstützt wird, scheitert das Gesamtsystem bereits an trivialen Unterschieden zwischen Deutsch und Österreich - wird eine Datumsangabe wie "17. Januar 2024" richtig getrennt, scheitert das System am "17. Jänner 2024" deshalb, weil "Jänner" im deutschen Wortschatz nicht vorkommt. Diese Ungenauigkeit konnten wir mit einem Pull Request beheben. Die nächste Ernüchterung stellte sich dann ein, als wir merkten, dass im deutschen lediglich die Titel "Dr." und "Prof." als solche erkannt werden - im österreichischen Titel-Wirr-Warr gleicht es einer Sisyphus-Aufgabe, alle Titel und deren möglichen Abkürzungen, vom Dipl.-HTL-Ing. bis zum Mag.sc.hum. einzutragen. 

Selbst modernere Bibliotheken wir das großartige spacy scheitern im regelbasierten Splitting scheinbar an Titeln: Unser Beispielsatz:

Am 17. Januar 2024 wurde mir der LL.M. (WU) verliehen. Bereits am 24.1.2024 wurde ich danach zum Dr.ius. benannt - dieser ist höherwertiger als ein Mag.iur. oder ein Mag.a.iur, auf der Visitenkarte wird danach RA Dr. Meier stehen, denn weder der Univ.-Ass., noch der Dipl.-Ing. werden dort angeführt. Wohnhaft bleibe ich in der Bergg. 4-7 im 2. Stock, Top 18.

Wird von Spacy fast richtig auf

• Am 17. Januar 2024 wurde mir der LL.M. (WU) verliehen.
• Bereits am 24.1.2024 wurde ich danach zum Dr.ius.
• benannt - dieser ist höherwertiger als ein Mag.iur.
• oder ein Mag.a.iur, auf der Visitenkarte wird danach RA Dr. Meier stehen, denn weder der Univ.-Ass.,
• noch der Dipl.-Ing. werden dort angeführt.
• Wohnhaft bleibe ich in der Bergg.
• 4-7 im 2. Stock, Top 18.

aufgeteilgt - manche Titel werden richtig erkannt, Abkürzungen von Straßen beispielsweise fälschlich nicht.

Die Lösung dazu lag dann im Machine Learning: wtpsplit ist eine Bibliothek, die auf machine-learning-models aufsetzt. Wenngleich mit höherer Rechenleistung war es uns damit dann möglich, zufriedenstellende Ergebnisse zu erzielen. Im obigen Beispielsatz wurde ohne Nacharbeiten richtig getrennt:

• Am 17. Januar 2024 wurde mir der LL.M. (WU) verliehen.
• Bereits am 24.1.2024 wurde ich danach zum Dr.ius. benannt - dieser ist höherwertiger als ein Mag.iur. oder ein Mag.a.iur, auf der Visitenkarte wird danach RA Dr. Meier stehen, denn weder der Univ.-Ass., noch der Dipl.-Ing. werden dort angeführt.
• Wohnhaft bleibe ich in der Bergg. 4-7 im 2. Stock, Top 18.