Kontextfenster
Auch: Context Window, Kontextlänge
Definition
Das Kontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer Anfrage gleichzeitig berücksichtigen kann, inklusive Verlauf und Dokumenten.
Alles, was außerhalb des Kontextfensters liegt, kennt das Modell in diesem Moment nicht. In ein großes Fenster passen ganze Verträge oder Handbücher. Das Modell beachtet dann aber nicht jedes Detail darin gleich gut. Für große Wissensbestände ist RAG oft zuverlässiger und günstiger als alles in den Kontext zu laden.