Versand und Feedback

Grundlagen

Besser werden: Feedback-Schleifen

Im vorherigen Kapitel hat ein Mensch den Entwurf geprüft und freigegeben, möglicherweise nach einer Bearbeitung. Genau diese Bearbeitung ist Gold wert: sie zeigt dem System, wo es gut war und wo nicht.

Die Feedback-Schleife (en: Feedback Loop) erfasst den Unterschied zwischen dem, was das Sprachmodell vorgeschlagen hat, und dem, was der Mensch tatsächlich versendet hat.

LLM-Entwurforiginal draft_text

Editierter Textapproved_text

Diff-Berechnungsimilar_text()

diff_ratio0,00 = identisch, 1,00 = komplett anders

edit_typeformatting, content, tone

feedback-Tabellepermanent gespeichert

Wann Feedback entsteht

Nicht jede freigegebene Email erzeugt einen Feedback-Eintrag. Feedback entsteht nur, wenn der Mensch den Entwurf vor dem Versand bearbeitet hat. Das System vergleicht den ursprünglichen draft_text mit dem approved_text. Sind beide identisch, gab es nichts zu korrigieren und kein Feedback wird gespeichert.

Unterscheiden sie sich, berechnet das System den Diff-Anteil (diff_ratio): ein Wert zwischen 0,0 (identisch) und 1,0 (komplett umgeschrieben). Die Berechnung nutzt die PHP-Funktion similar_text(), die den prozentualen Anteil übereinstimmender Zeichen ermittelt.

Die Arten von Änderungen

Jeder Feedback-Eintrag wird einem Änderungstyp (en: Edit Type) zugeordnet:

formatting: Nur Formatierung geändert (Absätze, Aufzählungen, Hervorhebungen)
content: Inhaltliche Korrektur (andere Fakten, andere Aussagen)
tone: Tonalität angepasst (formeller, freundlicher, kürzer)
rejected: Der Entwurf wurde komplett verworfen

Wofür das Feedback genutzt wird

Jeder Feedback-Eintrag speichert den Originaltext und den editierten Text vollständig. Das ermöglicht zwei Dinge:

Prompt-Optimierung: Wenn Entwürfe systematisch in dieselbe Richtung korrigiert werden (etwa immer kürzer, immer formeller), lässt sich der Prompt entsprechend anpassen.
Qualitätsmessung: Das Erfolgskriterium aus dem Zielbild besagt, dass Entwürfe in weniger als 50% der Fälle substanziell geändert werden sollen. "Substanziell" ist definiert als ein diff_ratio über 0,30. Die Feedback-Tabelle liefert die Zahlen dafür.

Die Feedback-Schleife startet, sobald der erste Mensch einen Entwurf bearbeitet und freigibt. Mit jedem editierten Entwurf wird das Bild klarer: wo ist das Modell gut, und wo braucht es bessere Anweisungen.