OpenAI führt eine neue Batch API ein, die bis zu 50 Prozent Ermäßigung für asynchrone API-Aufgaben wie Zusammenfassung, Übersetzung und Bildklassifizierung bietet. Die Batch API ermöglicht es, Ergebnisse für eine große Anzahl von API-Anfragen innerhalb von 24 Stunden zu erhalten. Dazu muss eine JSONL-Datei mit den Anfragen im Batch-Format hochgeladen werden. Derzeit wird nur der Endpunkt /v1/chat/completions unterstützt. Neben der Anfragedatei und dem Endpunkt muss auch ein 24-Stunden-Zeitfenster für die Bearbeitung angegeben werden. Optional können benutzerdefinierte Metadaten zum Batch hinzugefügt werden. Die neue Batch API spart Kosten und bietet höhere Limits für asynchrone Aufgaben. OpenAI erwartet dadurch eine effizientere Nutzung seiner APIs für Anwendungen, die eine große Anzahl von Anfragen benötigen.
