Einen Überblick über die (vorläufige) technische Architektur zeigt das folgende Diagramm:

Im Folgenden geben wir eine kurze Beschreibung der Komponenten von obigem Diagramm an, stellen herausgearbeitete Anforderungen an verwendete Technologien in KomMKonLLM dar und präsentieren ausgewählte Software-Technologien, die in KomMKonLLM verwendet werden sollen.

Architektur-Kurzübersicht

Die einzelnen Komponenten im obigen Diagramm haben folgende Aufgaben:

• „Fragen“: Korpus aus Frage/Ja-Nein-Antwort Paaren in maschinen-lesbarem Format.
• „Synonyme“: Synonymdatensatz für Worte.
• “Runner”: Ausführung, Protokollierung und Auswertung von erzeugten Konsistenztests gegen LLMs.
• „Kombinatorische Arrays“: Repository aus kombinatorischen Arrays als Grundlage für die strukturierte Frageerzeugung zur Konsistenzevaluierung.
• „Resultate-DB“: DBMS zur Speicherung der Ergebnisse.
• „LLM-Schnittstelle“: Transformation von (erzeugten) Fragen in LLM-spezifische Prompts.
• LLMs/SUTs: Die getesteten Instanzen von LLMs, hier mit der englischen Abkürzung „SUT“ und einer Indexnummer angegeben (Abkürzung steht für die englische Bezeichnung „system under test“ – sinngemäß als getestetes System übersetzt).

Anforderungen

 Wir wählen zu verwendete Technologien in Hinblick auf folgende Kriterien aus:

• Popularität bei Entwicklern: Um die Verbreitung und Weiterentwicklung von KomMKonLLM zu vereinfachen, sollten Technologien weit genutzt werden (basierend auf GitHub Statistiken, oder unser eigener Erfahrung nach).
• Aktive Entwicklung: Um das Risiko von Softwareobsoleszenz von verwendeten Komponenten zu mitigieren, sollten eingebundene Technologien nicht nur zum jetzingen Zeitpunkt aktuell gehalten sein, sondern es sollte auch eine aktive Weiterentwicklung in der Zukunft anzunehmen sein. Für diese Entscheidungen werden wir auch die Einschätzungen von CrOSSD [1] verwenden.
• Lizenzkompatibilität: Ausgewählte Technologien können keine Einschränkungen auf die Lizensierung von KomMKonLLM [2] haben.

Programmiersprachen & Technologien

Zur technischen Umsetzung von KomMKonLLM haben wir Folgendes ausgewählt:

• Programmiersprache: Der Hauptteil von KomMKonLLM wird in Python 3 implementiert werden. 
• Orchestrierung/Virtualisierung: Das Aufsetzen der Infrastruktur wird mittels Docker Compose durchgeführt, welches ein Docker plugin ist, das das Zusammenstellen von ganzen Infrastrukturen von voneinander-abhängigen Containern ermöglicht.
• Persistenz: Das relationale Datenbankmanagementsystem PostgreSQL wird für die dauerhafte Speicherung der Testergebnisse und als Grundlage für deren Auswertung verwendet. Der Datenaustausch mit dem DBMS und Python 3 ist über das pyscopg-Packet. Weiters wird die Auswertung pandas und numpy verwenden.
• Inter-Prozess Kommunikation (engl. IPC): IPC wird durch http ermöglicht, vor allem durch REST APIs. Auf Server-Seite wird Flask zum Einsatz kommen und die entsprechende Kommunikation auf Client-Seite wird mittels der requests Bibliothek ermöglicht werden.
• Linguistische Datenverarbeitung: Das „NLTK“ (engl., natural language toolkit) stellt eine Vielzahl an Funktionalität für Aufgaben im Bereich der linguistischen Datenverarbeitung dar, unter anderem auch Tokenisierung und Worttyp-Erkennung. Zusätzlich ist die Verwendung der spaCy Bibliothek geplant.
• LLM-Schnittstelle: Diese Schnittstelle wird für jedes untersuchte LLM einzeln implementiert, um eine entsprechende Transformation auf das individuelle Eingabeformat zu ermöglichen. Hierzu kann auch die Unterstützung von bevorzugten Protokollen von LLM zählen.

[1] CrOSSD ist ein Netidee gefördertes Projekt (2022): https://www.netidee.at/crossd; bzw Nachfolge-Projekt CrOSSD2 | netidee Netidee Call #19 (2024): https://www.netidee.at/crossd2

[2] Die Lizenz von Softwareergebnissen von KomMKonLLM ist MIT license.