Grundlagen KI- und Speicher-Technik

Warum dieser Schritt

Warum die KI-Begriffe vor der Pipeline kommen

Die Pipeline-Schritte verwenden eine Reihe von Begriffen, die nicht im Email-Format selbst stecken: Token, Kontextfenster, Sprachmodell, Embedding, Vektor, Vektorspeicher, Wissensgraph, RAG. Wer den Pipeline-Schritten Klassifikation, Wissensextraktion, Vektorspeicher und Retrieval folgen will, braucht diese Begriffe in dem Sinn, in dem sie im System verwendet werden.

Dieses Kapitel führt sie der Reihe nach ein: vom Token zur Tokenisierung, vom lokal betriebenen Sprachmodell zur Aufgabentrennung, vom strukturierten Prompt zum JSON-Antwortformat, vom Embedding zur Vektorsuche und schließlich zum Zusammenspiel der drei Speicher (relationale Datenbank, Vektorspeicher, Wissensgraph) im Retrieval-Schritt.