Amazon führt für seinen KI-Dienst Bedrock eine automatische Prompt-Optimierung ein. Die Funktion verspricht deutliche Leistungsverbesserungen bei verschiedenen KI-Aufgaben.
Amazon hat für seinen KI-Dienst Bedrock eine neue Funktion zur automatischen Prompt-Optimierung eingeführt. Wie der AWS Machine Learning Blog berichtet, können Nutzer ihre Prompts für verschiedene KI-Modelle mit einem einzigen API-Aufruf oder per Knopfdruck in der Amazon Bedrock-Konsole optimieren.
Laut Amazon unterstützt die neue Funktion derzeit die Modelle Claude 3 von Anthropic, Llama 3 von Meta, Large von Mistral sowie Amazons eigenes Modell Titan Text Premier.
Bei Tests mit Open-Source-Datensätzen konnte AWS signifikante Verbesserungen erzielen: Bei der Textzusammenfassung (XSUM) wurde eine Leistungssteigerung von 18 Prozent erreicht, bei der RAG-basierten Dialogfortführung (DSTC) von 8 Prozent und bei Funktionsaufrufen (GLAIVE) sogar von 22 Prozent.
Einfache Bedienung über die Konsole
Als Anwendungsbeispiel nennt AWS die Optimierung eines Prompts zur Klassifizierung von Chat- oder Anrufprotokollen. Der ursprüngliche Prompt wird automatisch umformuliert und präzisiert, um die gewünschte Ausgabe zu gewährleisten. Variablen wie das Chat-Protokoll selbst können einfach hinzugefügt und getestet werden.
Mit der automatischen Optimierung will Amazon nach eigenen Angaben den zeitaufwändigen Prozess des manuellen Prompt-Engineering vereinfachen. Bisher mussten Entwickler oft monatelang experimentieren, um optimale Prompts für bestimmte Modelle und Aufgaben zu finden, so Amazon.
Der Mensch muss weiter mitdenken
Auch Anthropic und OpenAI bieten bereits ähnliche Prompt-Optimierer an und versprechen, auf Knopfdruck mehr Leistung aus bestehenden Prompts herauszuholen. Eine zentrale Herausforderung bleibt dabei die Frage, an welchen Kriterien man die maschinell verbesserten Prompts misst und wie viel Expertenwissen bereits in die manuellen Ausgangsprompts eingeflossen ist.
Zumindest nach meiner Erfahrung ist keiner der Prompt-Optimierer in der Lage, gut geschriebene und auf Beispielen basierende Prompts zu verbessern - eher im Gegenteil. Das Hintergrundwissen über die Anforderungen und das Ziel einer Aufgabe und das darauf aufbauende Prompt-Engineering muss weiterhin von Menschen kommen.
