Anzeige
Skip to content

Anthropic-Chef Dario Amodei warnt vor KI-Selbstverbesserung und fordert ein Tempolimit für die Branche

Anthropic-Chef Dario Amodei fordert eine kontrollierte Verlangsamung der KI‑Entwicklung. Rekursive Selbstverbesserung könne in sechs bis zwölf Monaten das gesamte Internet gefährden. Er schlägt eingebettete Prüfer in KI-Firmen, gemeinsame Sicherheitsstandards und globale Abkommen nach Vorbild der SALT‑Abrüstungsverträge vor, und das kurz vor dem größten Börsengang der Geschichte.

Read full article about: Auch KI-Pionier Yoshua Bengio warnt vor Kontrollverlust durch täuschende KI-Agenten

Der bekannte KI-Forscher Yoshua Bengio stimmt ein ins KI‑Katastrophenlied. In einem Aufsatz warnt er vor systemischem Kontrollverlust. Je besser KI-Agenten Ziele optimieren, desto besser könnten sie auch täuschen, Regeln ausnutzen, sich absprechen und Fehlverhalten verbergen. Das Verhalten entsteht laut Bengio durch den Trainingsprozess selbst, von der Imitation menschlicher Texte bis zum Belohnungslernen. Bei unsauber definierten Zielen optimiert das System möglicherweise gegen die menschliche Absicht. Bengios Ansicht wird unter anderem von Anthropics Forschung gestützt.

Der Deep-Learning-Pionier fordert schon seit Jahren, Fortschritte zu bremsen und nur bei überzeugendem unabhängigem Sicherheitsnachweis weiterzutrainieren oder zu deployen. Mit LawZero gründete er vor rund einem Jahr eine eigene Organisation für sichere KI-Systeme. Er reiht sich in zahlreiche Warnungen ein, die zuletzt vor allem aus den KI-Laboren selbst kamen, sodass inzwischen eine Verlangsamung der Entwicklung im Raum steht.

Das sieht Donald Trump anders. Der US-Präsident vermutet keine Gefahr und will weiter China abhängen. Er sorge sich, dass die USA in eine "sehr schlechte Position" geraten, wenn sie das KI-Rennen nicht gewinnen. Die USA führten mit deutlichem Vorsprung vor China, und das solle so bleiben.

Read full article about: OpenAI zeigt sich offen für eine gemeinsame KI-Bremse der Branche, erste Gespräche mit dem US-Kongress

OpenAI will laut mehreren mit der Sache vertrauten Personen von Mitgliedern des US-Kongresses wissen, ob eine branchenweite Verlangsamung der KI-Entwicklung rechtlich zulässig wäre. Das berichtet WIRED. Der Grund: Eine Abstimmung zwischen KI-Laboren zu Sicherheitsfragen könnte gegen das US-Kartellrecht (Sherman Antitrust Act) verstoßen.

CEO Sam Altman sagte laut Bloomberg diese Woche intern, OpenAI könne sein Tempo drosseln, womöglich gemeinsam mit anderen Laboren, doch einige würden wohl nicht mitziehen. Chefwissenschaftler Jakub Pachocki forderte in einem Blogbeitrag eine Koordination zur Verlangsamung, bis gemeinsame Sicherheitsstandards festgelegt seien. Auslöser sind Sicherheitsvorfälle wie OpenAI-Agenten, die eine fremde Website hackten.

Vorwürfe eines ehemaligen Mitarbeiters von OpenAI und Anthropic, die KI‑Unternehmen würden mit dem Untergang der Menschheit spielen, hatten in den vergangenen Tagen auch in den Massenmedien für Aufmerksamkeit gesorgt. Im Juli forderten zudem mehr als 1.000 Mitarbeiter großer KI-Firmen in einer Petition einen Mechanismus zur Drosselung.

Ein bereits im Juli eingebrachter, überparteilicher Gesetzentwurf ("Collaboration on Adversarial Threats and Security Risks Act") soll es Laboren erlauben, bei Sicherheitsfragen zusammenzuarbeiten, liegt aber noch beim Justizausschuss.

Read full article about: Anthropic muss 1,5 Milliarden Dollar wegen Urheberrechtsverletzung zahlen, doch bei der Auszahlung herrscht Chaos

Autoren und Verlage streiten um die Aufteilung des 1,5-Milliarden-Dollar-Vergleichs mit Anthropic, dem größten Urheberrechtsvergleich der US-Geschichte. Anthropic muss 3.000 Dollar pro illegal heruntergeladenem Buch zahlen, das zum Training seines Chatbots Claude genutzt wurde. Über 482.000 Titel sind betroffen.

Doch bei der Auszahlung melden Autoren und Verlage wiederholt konkurrierende Ansprüche beim Vergleichsverwalter an, berichtet die New York Times. Mary Rasenberger, Chefin der Authors Guild, sagt, viele Verlage führten keine genauen Aufzeichnungen über zurückgefallene Rechte. Besonders Lehrbuchautoren seien betroffen und manche erhielten laut Vertrag nur 10 bis 15 Prozent. Auch Literaturagenturen beanspruchen laut Writer Beware Anteile, obwohl sie keinen Anspruch haben.

Autorin April Henry entdeckte beispielsweise, dass HarperCollins Rechte an einem Buch beanspruchte, die längst an sie zurückgefallen waren. Eine Ratgeberautorin berichtete, ihr Verlag wolle ihr nur 10 Prozent zugestehen. Ein Gericht hatte Anthropics Nutzung illegal beschaffter Bücher als rechtswidrig eingestuft, das Training mit legal erworbenen Büchern aber als "Fair Use" bewertet. Bei ungelösten Streitfällen soll ein gerichtlich bestellter Schlichter entscheiden.

Anthropic-Angestellte haben weiter große Angst, dass KI die Menschheit vernichten könnte

Jacob Coxon, ehemaliger Vortrainingsforscher bei OpenAI und Anthropic, hat gekündigt und wirft beiden Unternehmen vor, wissentlich existenzielle Risiken einzugehen. Anthropic-Kollege Evan Hubinger beziffert die Wahrscheinlichkeit, dass eine fehlausgerichtete Super-KI in den nächsten zehn Jahren die Menschheit auslöscht, auf mehr als zehn Prozent.

Read full article about: Patagonien soll Standort für Gigawatt-Rechenzentren werden

Argentiniens Patagonien rückt als möglicher Standort für große KI-Rechenzentren in den Blick. Laut einem Reuters-Bericht locken kühles Klima, Wasserkraft, Windenergie, Schiefergas aus der Formation Vaca Muerta und viel leeres Land.

Der Stromerzeuger Pampa Energía plant in der Provinz Neuquén eine Anlage mit bis zu 500 Megawatt und sucht Investoren, erste Verträge sollen Ende 2026 stehen. Interessenten wollen zunächst mit 20 bis 40 Megawatt starten. Allein die Stromnetzinfrastruktur für den Vollausbau würde rund 900 Millionen Dollar kosten. Das polnische Unternehmen Green Capital will in Chubut mit 300 Megawatt beginnen, langfristig sind 3000 Megawatt angedacht. OpenAI hatte bereits im Oktober ein Projekt mit Sur Energy angekündigt, unterschrieben ist es noch nicht.

Anders als in den USA gibt es in Argentinien bislang keinen Widerstand gegen Serverfarmen, weil das Land noch kaum große Anlagen hat. Das könnte sich ändern: Pampa will neben sein Kraftwerk Loma de la Lata bauen, und dort leben Familien der indigenen Mapuche, die sich schon mehrfach mit Energiekonzernen angelegt haben. Offen bleiben zudem Netzanbindung, Seekabel und die Frage, wie stabil die Investitionsbedingungen nach der Präsidentschaftswahl 2027 sind.

Lithografie wird zum Machthebel im KI-Chip-Wettlauf: ASML zieht Foundries an, China baut Gegenmodell

ASML hat Samsung, TSMC und Intel für den Umstieg auf größere Photomasken gewonnen, die den Durchsatz der neuesten EUV-Maschinen um 40 Prozent steigern sollen. Parallel orchestriert Huawei Chinas Gegenstrategie: Mit dem Ausrüster Yuliangsheng und eigenen Zulieferern will der Konzern die Abhängigkeit von der niederländischen Lithografie-Technologie brechen.