Short
OpenAI führt die Evals API ein, mit der Entwickler Tests programmgesteuert definieren, Auswertungsläufe automatisieren und Prompts schnell iterieren können. Über die API können Evals direkt in Arbeitsabläufe in KI-Tools eingebunden werden. Die Konfiguration der Auswertung, die Testdaten und die Parameter für Testläufe sind über die API genauso konfigurierbar wie in der schon bekannten Evals-Benutzeroberfläche im Dashboard. Mehr Informationen gibt es im OpenAI Cookbook und der API-Dokumentation. Die Evals-API wählt auch Ergebnisse von Nicht-OpenAI-Modellen aus, sofern diese im "Chat Completions API"-Format vorliegen.
