Lokale Modelle und RAG-Integration

Statusupdate

In den letzten Wochen haben wir uns intensiv mit der Evaluierung lokaler Modelle für unseren WebSecBot beschäftigt. Um sicherzustellen, dass unser Chatbot für die Sicherheitsanalyse von Webapplikationen optimal funktioniert, haben wir die Modelle Llama 3.1, Mistral und Vicuna gegen das etablierte GPT-4 getestet.

Evaluierung der Modelle

Unser Ziel war es, ein Modell zu finden, das leistungsstark genug ist, um komplexe Sicherheitsfragen zu beantworten, gleichzeitig aber lokal betrieben werden kann, um Unabhängigkeit von großen API-Anbietern wie OpenAI zu gewährleisten. Bei unseren Tests stellten wir fest, dass Llama 3.1 im Vergleich zu Mistral und Vicuna in den meisten Szenarien am besten abschnitt. Während GPT-4 nach wie vor in einigen Bereichen, insbesondere bei der Generierung umfangreicherer Antworten, führend ist, bot Llama 3.1 die beste Balance zwischen Performance, Ressourcenverbrauch und Qualität der sicherheitsrelevanten Antworten.

Implementierung des RAG-Systems

Nach der Auswahl von Llama 3.1 haben wir das Modell in unser Retrieval Augmented Generation (RAG)-System integriert. Das RAG-System ermöglicht es, zusätzlich zum Wissen, welches das LLM bereits integriert hat, gezielt auf externe Wissensquellen zuzugreifen, um detailliertere und präzisere Informationen bereitzustellen. Hierbei haben wir uns vor allem auf OWASP-Ressourcen konzentriert, einschließlich der OWASP Top Ten, des Web Security Testing Guide und der Cheatsheet Series. Diese Dokumentationen stellen die Grundlage für viele Sicherheitstests dar, und ihre Einbindung ins RAG-System hat die Qualität der Antworten erheblich verbessert.

Ergebnisse der RAG-Integration

Unsere Tests vor und nach der Implementierung des RAG-Systems zeigten deutliche Verbesserungen in der Genauigkeit und Tiefe der Antworten. Während der Chatbot vorher generische Vorschläge machte, kann er nun viel gezielter und präziser auf spezifische Schwachstellen von Webapplikationen eingehen. Durch den Zugriff auf die OWASP-Ressourcen bietet er nun konkrete Anweisungen und Best Practices zur Behebung von Schwachstellen. Dies unterstützt unsere Benutzer*innen noch besser bei der Durchführung von Sicherheitstests und ermöglicht fundierte Entscheidungen, basierend auf anerkannten Sicherheitsstandards.