Nach der Vorstellung der Methodik von KomMKonLLM (aufgeteilt auf einen ersten und zweiten Blog-Post), wollen wir nun ein konkretes Beispiel durchgehen, um die einzelnen Schritte im Methodik-Prozess von KomMKonLLM darzustellen.

Dazu betrachten wir folgende Ja/Nein-Frage: „Kann man im Winter in der Steiermark schifahren?“

In dieser Frage wählen wir nun die folgende drei Teile [1] zur Synonymersetzung aus:

• „im Winter“
• „in der Steiermark“
• „schifahren“

Als nächsten müssen wir uns Synonyme für diese Worte überlegen. Damit dieses Beispiel nicht zu umfangreich wird, werden wir jeweils nur ein Synonym auswählen. Und zwar:

• Als Synonym für “Winter” wählen wir (in entsprechender Deklination): „in der kalten Jahreszeit“.
• Als Synonym für Steiermark wählen wir (in entsprechender Deklination): „im grünen Herzen Österreichs“ [2].
• Als Synonym für “schifahren” wählen wir „skifoan“ [3].

Wir erhalten damit nun drei Synonymlisten, alle mit jeweils zwei Einträgen:

• SynList_Winter: „im Winter“, „in der kalten Jahreszeit“
• SynList_Steiermark: „in der Steiermark“, „im grünen Herzen Österreichs“
• SynList_schifahren: „schifahren“, „skifoan“

Im Sinne eines kombinatorischen Satzmodels haben wir nun drei Parameter mit jeweils zwei Werten. Dieses abstrakte Modell können wir nun in Software für kombinatorischen Testen als IPM erstellen. Im Folgenden verwenden wir das Tool CAgen, und ein Screenshot des IPMs in der Web-Version von CAgen sieht so aus:

Wir erzeugen nun eine paarweise-Fragemenge, das heisst, wir verwenden CAgen um ein abdeckendes Array (engl., covering array) der Stärke zwei zu erstellen:

Die kombinatorische Stärke zwei bedeutet nun, dass für jede ungeordnete Auswahl von zwei verschiedenen Spalten, jedes Paar an möglichen Parameter-Werten mindestens einmal auftritt. Weiters sei darauf hingewiesen, dass die Worte selbst in der ersten Zeile vorkommen. Wir wollen die Leserinnen und Leser dieses Blog-Posts ermutigen, das Auftreten aller anderen Werte-Paare auch zu überprüfen! 😉

Diese vier Zeilen im erzeugten Array werden nun wieder in Fragen umgewandelt, wobei die Array-Elemente in die Frage an die entsprechenden Positionen gesetzt werden. Dann erhält man, unter Beibehaltung obiger Reihenfolge der Zeilen, die folgenden Fragen:

1. Kann man im Winter in der Steiermark schifahren?
2. Kann man im Winter im grünen Herzen Österreichs skifoan?
3. Kann man in der kalten Jahreszeit in der Steiermark schifahren?
4. Kann man in der kalten Jahreszeit im grünen Herzen Österreichs skifoan?

Diese vier Fragen kann man nun an ein LLM stellen! Dabei ist zu beachten, dass ein entsprechender Prompt garantiert, dass man nur „Ja“ oder „Nein“ als einzige Antwort bekommt, um diese erhaltene Antwort dann auf einfache Weise maschinell weiterzuverarbeiten.

Probiert es doch mal selbst aus! 😊

In einem weiteren Blog-Post werden wir die in KomMKonLLM verwendeten Kombinatorik etwas genauer erklären.

[1] Der Einfachheit halber und um grammatikalisch korrekte Fragen zu erhalten, ersetzen wir in diesem Beispiel nicht nur Worte selbst, sondern auch ihre unmittelbare Satz-Umgebung.

[2] Die Terminologie wird – beispielsweise – von der Steirischen Tourismus und Standortmarketin GmbH-STG auf dem Webauftritt www.steiermark.com verwendet.

[3] Diese umgangssprachliche Schreibweise des Verbes “schifahren“ könnte in einem Chat bzw mobilen Messenger auf einem mobilen Endgerät geschrieben werden.