Qualität

Dieses Kapitel führt die Messgrößen, an denen sich das System beweist. Drei Kategorien von Metriken stehen nebeneinander, dazu sieben Testmengen für Randfälle und drei Ebenen automatisierter Tests. Die ausführlichen Definitionen pro Metrik und pro Testmenge liegen jeweils auf einer eigenen Detailseite, hier reicht der Überblick mit Zielwert und Begründung. Das vollständige Evaluations-Playbook mit Inter-Annotator-Regeln und Goldstandard-Aufbau wird vom Evaluations-Team gepflegt und liegt außerhalb dieses Werks.

Zahlen statt Bauchgefühl: Qualitätsmessung

Ob das System seine Aufgabe gut macht, lässt sich nur an Zahlen erkennen. Dafür gibt es messbare Metriken und definierte Testmengen, die im laufenden Betrieb erhoben werden und an deren Werten sich Veränderungen festmachen lassen.

Drei Kategorien von Metriken

Das System definiert seine Qualitätsmetriken in drei Kategorien, jede mit eigenem Zielwert und eigener Wirkung im Betrieb.

Geschäftskritisch: Diese Metriken fangen die Fälle ab, deren Verstoß direkt das Vertrauen in das System beschädigt. Eine Email, die ohne Freigabe rausgeht, lässt sich nicht zurückholen, eine dringende Beschwerde, die als unkritisch eingeordnet wird, kann teuer werden. Die Zielwerte sind hier kompromisslos: 0 falsch-positive Automatik-Antworten, 0 falsch-negative Eskalationen, mindestens 90 Prozent Klassifikationsgenauigkeit bei der Hauptkategorie und mindestens 50 Prozent Akzeptanzrate für Entwürfe, die ohne substanzielle Änderung versendet werden können.

Betriebsrelevant: Diese Metriken zeigen, ob die Infrastruktur den laufenden Betrieb trägt. Dazu gehören mindestens 99 Prozent Erfolgsquote beim MIME-Parsing, mindestens 95 Prozent Recall bei der Priorisierung kritischer Emails, mindestens 99 Prozent API-Verfügbarkeit und 100 Prozent Audit-Vollständigkeit, also lückenlose Protokollierung jeder Aktion.

Technisch vertiefend: Diese Metriken helfen bei der Optimierung und werden seltener nach außen kommuniziert, dafür intern systematisch ausgewertet. Dazu gehören mindestens 75 Prozent Genauigkeit bei der Unterkategorie, mindestens 95 Prozent korrekte Thread-Rekonstruktion, mindestens 70 Prozent Precision bei den ersten fünf RAG-Treffern, mindestens 85 Prozent Recall bei den Top-20-Treffern und ein Mean Reciprocal Rank von mindestens 0.6. Zusätzlich werden die drei Retrieval-Kanäle Dense (Vektorsuche), Sparse (BM25) und Graph (ArangoDB) je separat ausgewertet, bevor Reciprocal Rank Fusion sie zusammenführt, sodass erkennbar bleibt, welcher Kanal bei welcher Anfrageklasse schwächelt.

Sieben Testmengen für Randfälle

Neben den laufenden Metriken gibt es sieben definierte Testmengen, die das System gegen klar umrissene Herausforderungen prüfen. Jede Testmenge spielt einen anderen Edge-Case durch, sodass Schwächen früh sichtbar werden.

• Goldstandard-Emails: Manuell klassifizierte Referenz-Emails, an denen sich Klassifikator und Pipeline messen lassen.
• Fehlerhafte MIME: Kaputte Kodierungen, fehlende Boundaries und ungültige Header, an denen das Parsing nicht zerbrechen darf.
• Prompt-Injection: Emails mit eingebetteten Versuchen, das Sprachmodell zu Aktionen zu überreden, die es nicht ausführen soll.
• Lange Threads: Konversationen mit vielen Antworten und verschachtelten Zitaten, an denen die Thread-Rekonstruktion ihre Stabilität zeigt.
• Mehrsprachigkeit: Emails in unterschiedlichen Sprachen, gemischt sowohl im Body als auch im Betreff.
• Anhang-Sonderfälle: Große Dateien, ungewöhnliche Formate und verschachtelte Anhänge, die den Anhang-Schritt fordern.
• Schwierige Randfälle: Leere Emails, extrem lange Betreffs und Sonderzeichen, die in der Praxis selten vorkommen, aber dann die Pipeline zum Stolpern bringen können.

Drei Ebenen automatisierter Tests

Über den Testmengen liegen automatisierte Tests auf drei Ebenen, die sicherstellen, dass die Infrastruktur korrekt funktioniert. Unit-Tests prüfen die Domain-Wertobjekte, Interface-Tests prüfen die Pipeline-Schritte gegen ihre Ports, und API-Endpunkt-Tests prüfen das Verhalten an der Außenseite des Systems. Diese Ebenen prüfen nicht die inhaltliche Qualität der LLM-Antworten, weil Sprachverständnis sich nicht ohne Weiteres in Unit-Tests abbilden lässt; dafür gibt es die Testmengen oben. Was die automatisierten Tests aber zuverlässig abfangen, sind technische Regressionen, also Fehler, die sich durch Code-Änderungen einschleichen.