Anzeige
Short

Laut einem Fachartikel in „Nature“ hat das Training des R1-Sprachmodells des chinesischen KI-Unternehmens Deepseek lediglich 294.000 US-Dollar gekostet. Dabei kamen 512 speziell für den chinesischen Markt entwickelte Nvidia-H800-Chips zum Einsatz. Laut Nvidia hat das Unternehmen die Chips vor der Verkaufssperre erhalten. In Paper räumt Deepseek ein, in der Vorbereitungsphase für ein kleineres Modell zusätzlich A100-Chips verwendet zu haben. US-Behörden hatten zuvor vermutet, das Unternehmen verfüge über nicht genehmigte H100-Chips.

Die geringen Kosten blenden jedoch die Kosten für das zugrundeliegende Deepseek-V3-Modell aus. Allerdings sind auch diese stark umstritten und die Schätzungen schwanken je nach Quelle zwischen ein- und dreistelligen Millionenbeträgen. Die von Deepseek kommunizierten geringen Kosten hatten zu starken Kurseinbrüchen am Tech-Markt geführt.

Anzeige
Anzeige
Anzeige
Anzeige
Short

OpenAI intensiviert seine Arbeit im Bereich Robotik und könnte gezielt Forscher für humanoide Systeme einstellen, wie Wired berichtet.

Laut Stellenausschreibungen stellt das Unternehmen ein Team zusammen, das Roboter per Teleoperation und Simulation trainiert. Zudem sucht OpenAI Ingenieure für Sensorik und Prototyping. In den Jobbeschreibungen heißt es, das Robotik-Team verfolge das Ziel, „Allzweck-Roboter“ zu entwickeln und damit Fortschritte in Richtung AGI zu erzielen.

Ob es sich dabei um humanoide Roboter handelt, ist bisher unklar, allerdings liegt dies nahe: Neueinstellungen wie der Stanford-Forscher Chengshu Li, der Benchmarks für humanoide Haushaltsroboter entwickelte, deuten auf eine Fokussierung auf humanoide Maschinen hin. OpenAI hatte 2020 die Robotik-Forschung eingestellt und dies mit einem Mangel an Trainingsdaten begründet. Im Januar tauchten dann erstmals wieder Stellenanzeigen des Unternehmens im Robotik-Bereich auf.

Short

Google Deepmind hat das neue auf Datenschutz spezialisierte Sprachmodell VaultGemma vorgestellt. Es handelt sich um das bislang größte offene Modell (1 Milliarde Parameter), das von Grund auf mit sogenannter "differential privacy" trainiert wurde. Normalerweise können große Modelle Teile ihrer Trainingsdaten auswendig lernen – darunter auch sensible Informationen wie Namen, Adressen oder ganze Texte. Mit der Methode wird dem Training gezielt Zufallsrauschen hinzugefügt, sodass das Modell statistisch nicht auf einzelne Datenpunkte zurückgeführt werden kann. Selbst wenn VaultGemma auf vertraulichen Dokumenten trainiert würde, lassen sich diese später also nicht direkt rekonstruieren. Erste Tests zeigen laut Google tatsächlich, dass das Modell keine Trainingsdaten wiedergibt. Der Nachteil: Aktuell liefert es Ergebnisse, die in etwa LLMs ohne Privatschutz von vor fünf Jahren entsprechen. Die Modellgewichte sind auf Hugging Face und Kaggle frei verfügbar.

Anzeige
Anzeige
Short

Elon Musks KI-Firma xAI hat rund 500 Beschäftigte entlassen, ein Drittel des Teams für Datenannotation. Diese Mitarbeiter hatten bisher den Chatbot Grok trainiert, indem sie Rohdaten einordneten und erklärten. Laut internen E-Mails, die Business Insider einsehen konnte, beendet xAI damit die meisten Stellen für sogenannte Generalisten-Tutoren und will stattdessen Fachkräfte ausbauen. Angestellte werden bis Ende ihres Vertrags oder spätestens bis 30. November bezahlt, verloren jedoch sofort den Zugang zu den Systemen. Kurz vor den Kündigungen mussten Beschäftigte Tests zu ihren Fähigkeiten absolvieren, die künftig über ihre Rollen entscheiden sollten. Auf X kündigte xAI an, das Team der Fach-Tutoren, etwa in Naturwissenschaften, Medizin oder Finanzen, „zehnfach“ zu vergrößern. Diese sollen Grok tieferes Fachwissen vermitteln, ähnlich wie es inzwischen auch andere KI-Unternehmen handhaben, oft über externe Dienstleister. Billige Massenarbeit bei der Datenannotation verliert damit mehr und mehr an Bedeutung – sie hat sich in vielen Bereichen durch die leistungsstarken KI-Systeme, die sie mit aufgebaut hat, selbst abgeschafft.

Google News