Anzeige
Skip to content
Read full article about: Renommierte Mathematiker sehen LLMs als starke Rechenwerkzeuge, aber nicht als kreative Denker

LLMs can't jump. Die Mathematiker Timothy Gowers und Peter Sarnak schreiben großen Sprachmodellen zwar bedeutende mathematische Fähigkeiten zu, sehen aber Grenzen bei wirklich neuen Ideen. Gowers argumentiert, aktuelle Modelle seien stark darin, bekannte Methoden zu kombinieren und viele Suchpfade auszuprobieren. Was ihnen fehle, sei die Intuition für die wenigen fruchtbaren Wege in einem riesigen Suchraum. Sarnak sieht es ähnlich: Eine KI könne aus vorhandener Theorie Resultate ableiten, scheitere aber daran, aus einer elementaren Frage heraus selbst jene Abstraktionen und Theorien zu entwickeln, auf denen große Beweise beruhen.

Zu einem vergleichbaren Schluss kam der DeepMind-Forscher Tom Zahavy. In seinem Positionspapier "LLMs can't jump" nennt er den Engpass "manipulative Abduktion": das Erfinden neuer Grundannahmen, für die es keine sprachliche Vorlage gibt. Weltmodelle könnten einen Ausweg bieten. Die Aussagen reihen sich in eine größere Debatte ein, ob LLMs wirklich vielseitiger werden oder vor allem spezialisierter auf Benchmarks und bekannte Lösungsräume.

Read full article about: OpenAI löst Sicherheitsteam für katastrophale KI-Risiken auf

OpenAI hat Ende Juli sein "Preparedness"-Team aufgelöst, das bewerten sollte, ob die KI-Modelle des Unternehmens schwere oder katastrophale Risiken bergen könnten, berichtet die Financial Times unter Berufung auf mehrere interne Quellen. Die Zuständigkeiten für einzelne Bereiche wie Bio- und Cyberrisiken wurden auf bestehende Teams verteilt.

Der bisherige Leiter der Einheit, Dylan Scandinaro, untersucht nun die Sicherheitsrisiken von "rekursiv selbstverbessernder" KI - also Systemen, die sich selbst optimieren und andere Modelle trainieren können. Mitgründer Greg Brockman sagte, OpenAI habe Sicherheitsarbeit tiefer in die Modellentwicklung integriert.

Mehrere Mitarbeiter aus dem Sicherheitsbereich haben das Unternehmen zuletzt verlassen, darunter Ethik-Chefin Chloe Bakalar und Joshua Achiam. Intern wächst die Unruhe: Eine Quelle sprach von einem "brodelnden Gefühl der Verantwortung und Angst", dass OpenAI beim Thema Sicherheit nicht genug tue. Auch extern äußerten sich Angestellte kritisch, insbesondere nach dem autonomen Hacking-Vorfall von Hugging Face. Ein Angestellter meinte, er hoffe, OpenAI verstehe diesen Vorfall als "Warnschuss".

Anzeige
Read full article about: Anthropics Bio-Waffen-Filter war fast ein Jahr lang nicht aktiv – 133 Millionen Anfragen liefen ungeschützt

Ausgerechnet Anthropic. Das Unternehmen, dessen CEO Dario Amodei das Risiko der KI-Entwicklung chemisch-biologischer Waffen für gefährlicher hält als Cyberangriffe, hat in einem Sicherheitsbericht offengelegt, dass ein internes Sicherheitssystem fast ein Jahr lang nicht aktiv war. Von Mai 2025 bis April 2026 liefen sämtliche Daten von externen Dienstleistern, die menschliches Feedback für Anthropics KI-Modelle liefern, ohne sogenannte blockierende biologische Klassifikatoren. Diese Filter sollen verhindern, dass gefährliches Wissen über chemische oder biologische Waffen aus den Modellen abgegriffen wird.

Screenshot

Betroffen war ein Pool von rund 50.000 Personen, die insgesamt etwa 133 Millionen Chats mit den Modellen durchführten. Laut Anthropic wurden diese Personen lediglich von den externen Anbietern überprüft, deren Screening-Prozesse oft nicht ausreichten.

Nach eigener Untersuchung fand Anthropic keine Hinweise auf tatsächlichen Missbrauch. Das Unternehmen hat die Anforderungen an seine Dienstleister inzwischen verschärft.

Anthropic veränderte zuletzt die Strenge der Klassifikatoren bei Fable 5, nachdem es von Forschenden Kritik gab, dass sie so streng eingestellt sind, dass sie legitime Forschung verhindern.

Artificial Analysis stellt Optima vor: Maßgeschneiderte KI-Benchmarks für eigene Anwendungsfälle

Artificial Analysis launcht mit Optima eine Plattform, auf der Nutzer eigene KI-Benchmarks aus individuellen Daten oder Anwendungsfällen erstellen und Modelle nach Qualität, Kosten und Geschwindigkeit pro Aufgabe vergleichen können. Damit adressiert Optima ein bekanntes Problem: Öffentliche Benchmarks bilden konkrete Einsatzzwecke oft nur unzureichend ab.

Anzeige

Debatte um KI-Blase: Nvidia reduziert Risiko, Anthropic performt aus

Nvidia halbiert seine Garantie für OpenAIs geplantes Rechenzentrum in Ohio von 250 auf knapp 120 Milliarden Dollar: Investoren war angeblich das Risiko zu groß. Parallel liefert Anthropic mit einem Umsatzsprung von 4,7 auf 11,5 Milliarden Dollar in einem Quartal ein Gegenargument zur KI-Blasen-These.

US-Kläger versteckt manipulative KI-Befehle in Gerichtsdokumenten und wird vom Richter abgestraft

Ein Kläger in Connecticut hat unsichtbare Prompt Injections in Gerichtsschriftsätze eingebettet – in 3-Punkt-Schrift und weißer Farbe auf weißem Hintergrund –, um ein mögliches KI-Prüfsystem zu manipulieren. Richter Spader verglich den Versuch mit heimlicher Geschworenen-Beeinflussung und entzog dem Kläger das Recht zur elektronischen Einreichung.

Anzeige

World Labs zeigt, wie Roboter komplexe Aufgaben ohne reale Trainingsdaten lernen

World Labs, das mit einer Milliarde Dollar finanzierte Start-up von KI-Pionierin Fei-Fei Li, stellt eine Simulationsengine vor, die Roboter-Steuerungen vollständig virtuell trainiert. Aus einer einzigen realen Aufgabe erzeugt das System tausende kontrollierte Varianten. Trainierte Modelle liefen auf fünf verschiedenen Roboterplattformen jeweils eine Stunde lang ohne menschlichen Eingriff. Wie robust sich die Ergebnisse auf komplexere Alltagssituationen übertragen lassen, ist noch offen.