Kontextfenster
Auch: Context Window, Kontextlänge
Definition
Das Kontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer Anfrage gleichzeitig berücksichtigen kann, inklusive Verlauf und Dokumenten.
Alles, was außerhalb des Kontextfensters liegt, kennt das Modell in diesem Moment nicht. Große Fenster erlauben es, ganze Verträge oder Handbücher auf einmal hochzuladen, garantieren aber nicht, dass jedes Detail gleich gut beachtet wird. Für große Wissensbestände ist RAG oft zuverlässiger und günstiger als alles in den Kontext zu laden.