THE-DECODER.de

Context Engineering schlägt Prompt Engineering. Das glauben jedenfalls Shopify-CEO Tobi Lütke und Ex-OpenAI-Forscher Andrej Karpathy. Beide bevorzugen den Begriff, weil er besser beschreibe, worum es bei der Arbeit mit großen Sprachmodellen gehe: nämlich darum, den Kontext so aufzubereiten, dass ein Modell eine Aufgabe sinnvoll lösen kann. Lütke nennt es die "Kernfähigkeit" im Umgang mit LLMs, für Karpathy ist es "sowohl Wissenschaft als auch Intuition."

Zu wenig oder in der falschen Form – und das LLM hat nicht den richtigen Kontext für optimale Leistung. Zu viel oder zu wenig relevant – und die Kosten für das LLM steigen, während die Leistung sinken kann. Das richtig zu machen, ist alles andere als einfach.

Andrej Karpathy

Die Optimierung des Kontexts ist auch deshalb wichtig, weil die Genauigkeit von KI-Modellen – selbst bei großen Kontextfenstern – bei sehr umfangreichen Inhalten abnimmt.