OpenAI stellt IH-Challenge vor, einen Trainingsdatensatz, der KI-Modellen beibringt, vertrauenswürdige Anweisungen zuverlässig über nicht vertrauenswürdige zu stellen. Erste Ergebnisse zeigen deutliche Verbesserungen bei Sicherheit und Prompt-Injection-Abwehr.
Anthropic hat das neue "Anthropic Institute" gestartet, eine interne Denkfabrik, die die Auswirkungen leistungsstarker KI auf Gesellschaft, Wirtschaft und Sicherheit untersuchen soll. Geleitet wird das Institut von Mitgründer Jack Clark, der dafür eine neue Rolle als "Head of Public Benefit" übernimmt.
Das Institut will unter anderem erforschen, wie KI Arbeitsplätze verändert, welche neuen Risiken durch Missbrauch entstehen, welche "Werte" KI-Systeme ausdrücken und wie Menschen die Kontrolle über sich selbst verbessernde KI-Systeme behalten können.
Das Team umfasst rund 30 Personen aus drei bestehenden Forschungsgruppen: dem Frontier Red Team, dem Societal-Impacts-Team und dem Wirtschaftsforschungsteam. Zu den ersten Mitarbeitern gehören Matt Botvinick (ehemals Google Deepmind), Anton Korinek (Universität Virginia) und Zoë Hitzig (zuvor OpenAI).
Der Start fällt in eine turbulente Phase: Anthropic hat das US-Verteidigungsministerium verklagt, nachdem es als Lieferkettenrisiko eingestuft wurde. Laut The Verge sagte Clark, er habe "keine Bedenken" wegen der Forschungsfinanzierung. Anthropic eröffnet zudem ein Büro in Washington, D.C.
Die Sicherheitsfirma Codewall ließ einen offensiven KI-Agenten auf McKinseys interne KI-Plattform Lilli los, ein System, das über 43.000 Mitarbeiter für Strategiearbeit, Mandantenrecherche und Dokumentenanalyse nutzen. Ohne Zugangsdaten, ohne Insiderwissen, ohne menschliche Hilfe. Innerhalb von zwei Stunden hatte der Agent vollständigen Lese- und Schreibzugriff auf die Produktionsdatenbank.
Amazon hat vor einem Bundesgericht in San Francisco eine einstweilige Verfügung gegen das KI-Startup Perplexity erwirkt. Das Unternehmen muss vorerst aufhören, seinen KI-Browseragenten Comet für Einkäufe auf Amazon einzusetzen.
Amazon hatte Perplexity im November verklagt und dem Startup Betrug vorgeworfen, weil Comet nicht offenlege, wenn es im Namen einer realen Person einkaufe, und Amazons Aufforderung ignoriere, damit aufzuhören. Richterin Maxine Chesney befand, Amazon habe starke Beweise vorgelegt, dass Perplexity zwar mit Erlaubnis der Nutzer, aber ohne Autorisierung durch Amazon auf deren passwortgeschützte Konten zugreife. Perplexity muss zudem Kopien von Amazon-Daten löschen und hat eine Woche Zeit für eine Berufung.
Der Fall zeigt, wie Gerichte Regeln für KI-Agenten schaffen müssen, die zunehmend komplexe Aufgaben wie Online-Einkäufe übernehmen. Erwähnenswert ist in diesem Kontext, dass Amazon neuerdings Großinvestor bei OpenAI ist, das Produktrecherche und Online-Shopping ebenfalls als relevante KI-Chat-Funktionen betrachtet. OpenAI gelang es bislang jedoch nicht, die Abrechnung direkt im Chat zu machen, und setzt vorerst auf externe Anbieter.
ChatGPT erklärt Mathe und Physik jetzt mit interaktiven Visualisierungen. OpenAI führt in ChatGPT dynamische visuelle Erklärungen für mehr als 70 Konzepte aus Mathematik und Naturwissenschaften ein. Nutzer sollen Variablen in Echtzeit verändern und die Auswirkungen auf Graphen und Formeln direkt beobachten können. Allerdings ist die Themenliste derzeit primär auf Highschool- und College-Lernende zugeschnitten. Sie umfasst Themen wie Binomialquadrat, Exponentialzerfall, Ohmsches Gesetz, Zinseszins oder trigonometrische Identitäten.
Die interaktiven Erklärungen sind laut OpenAI ab sofort weltweit für alle eingeloggten Nutzer verfügbar, unabhängig vom gewählten Abo-Plan. Langfristig plant OpenAI, die Lernmodule auf zusätzliche Fächer auszuweiten.
Das Landgericht Frankfurt hat entschieden, dass ein von einer Person geschriebener Liedtext urheberrechtlich geschützt bleibt, auch wenn die zugehörige Musik per KI (SunoAI) erzeugt wurde.
Nach einer Serie von mutmaßlich KI-verursachten Ausfällen macht Amazon seine Senior Engineers zum menschlichen Filter für KI-generierten Code.
"Leute, wie ihr wahrscheinlich wisst, war die Verfügbarkeit der Seite und der zugehörigen Infrastruktur in letzter Zeit nicht gut", schreibt Dave Treadwell, Senior Vice President bei Amazon, in einer internen E-Mail, die der Financial Times vorliegt. Ein Briefing benennt einen "Trend von Vorfällen" mit "hoher Reichweite", verknüpft mit "GenAI-gestützten Änderungen". Zuletzt gab es Berichte, dass Amazons KI-Coding-Tools auch zwei AWS-Ausfälle mitverursacht haben sollen.
Die Konsequenz: Junior- und Mid-Level-Ingenieure benötigen ab sofort die Freigabe eines Senior-Engineers für alle KI-gestützten Codeänderungen. Standard-Code-Reviews gab es bei Amazon schon immer, doch eine eigene Freigabepflicht speziell für KI-generierten Output ist neu. Erfahrene Entwickler werden damit de facto zu menschlichen Qualitätsfiltern für maschinell erzeugten Code. Ihre Rolle verschiebt sich damit ein Stück: weg vom Bauen, hin zum Prüfen dessen, was die Maschine gebaut hat.
Als Ursache nennt das interne Briefing unter anderem "neuartige GenAI-Nutzung, für die Best Practices und Schutzmaßnahmen noch nicht vollständig etabliert sind."
Nvidia und Thinking Machines Lab, das KI-Startup von Ex-OpenAI-Managerin Mira Murati, gehen eine langfristige Partnerschaft ein. Thinking Machines erhält mindestens ein Gigawatt an Rechenleistung durch Nvidias neue Vera Rubin-Systeme, um eigene KI-Modelle zu trainieren. Die Bereitstellung soll Anfang nächsten Jahres starten.
Nvidia hat sich zudem finanziell an Thinking Machines beteiligt – die genaue Summe wurde nicht genannt. Das Startup hatte bereits rund 2 Milliarden Dollar in einer von Andreessen Horowitz geführten Seed-Runde eingesammelt, bei einer Bewertung von 12 Milliarden Dollar. Nvidia war damals ebenfalls Investor. Zuletzt soll Thinking Machines eine weitere Finanzierungsrunde anstreben. Allerdings hat das Startup auch Abgänge zu verzeichnen: Mitgründer Barret Zoph und Luke Metz kehrten zu OpenAI zurück.
Gemeinsam wollen beide Unternehmen Trainings- und Bereitstellungssysteme für Nvidia-Hardware entwickeln und Frontier-KI-Modelle für Unternehmen und Forschung zugänglich machen. Murati hatte OpenAI 2024 verlassen und Thinking Machines Lab mitgegründet.
Meta hat Moltbook übernommen. Moltbook ist eine Art Reddit, das speziell für KI-Agenten entwickelt wurde. Die Gründer Matt Schlicht und Ben Parr wechseln laut Axios zu Metas Superintelligence Labs (MSL), geleitet von Ex-Scale-AI-Chef Alexandr Wang. Der Kaufpreis wurde nicht genannt, der Abschluss wird für Mitte März erwartet.
Moltbook wurde Ende Januar als experimenteller Raum gestartet, in dem KI-Agenten sich vernetzen und Aufgaben koordinieren können. Schlicht baute die Plattform großteils mit Hilfe seines eigenen KI-Assistenten. Zwei Studien zeigten seitdem, dass der aufgekommene Sci-Fi-Hype ("Agenten gründen neue Zivilisation") ungerechtfertigt ist: Die Agentenzahl soll deutlich geringer sein als angegeben, und es gibt keinen echten sozialen Austausch.
Was interessiert Meta an Moltbook? Metas Vishal Shah schreibt in einem Axios vorliegenden Blogpost, das Moltbook-Team habe "Agenten eine Möglichkeit gegeben, ihre Identität zu verifizieren und sich im Auftrag ihrer Menschen miteinander zu verbinden". Damit entstehe "ein Register, in dem Agenten verifiziert und an menschliche Besitzer gebunden sind".
Bestehende Moltbook-Kunden könnten die Plattform vorerst weiter nutzen, allerdings nur vorübergehend. Zuvor hatte OpenAI Peter Steinberger, den Entwickler des verwandten Agenten-Frameworks OpenClaw, eingestellt.
