Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Generative KI zu trainieren und bereitzustellen ist teuer, insbesondere wenn man sie wie Microsoft für Millionen von Kunden skalieren will.

Bereits im vergangenen Herbst gab es Berichte, dass Microsoft deshalb die Forschung an kleineren, effizienteren KI-Modellen intensivieren wolle.

Laut The Information verstärkt Microsoft diesen Weg nun weiter. Ein neues GenAI-Team soll kleinere und günstigere LLMs für Konversationen entwickeln. Die Redaktion beruft sich dabei auf zwei Personen, die direkt mit der Materie vertraut sind.

Diese sogenannten "Small Language Models" (SLMs) sollen die Qualität großer Sprachmodelle wie OpenAIs GPT-4 imitieren können, dabei aber deutlich weniger Rechenleistung benötigen. SLMs könnten speziell einfache Anfragen an Chatbots wie Bing und Windows Copilot verarbeiten, um Rechenkosten zu sparen.

Anzeige
Anzeige

Microsoft hat mehrere führende KI-Entwickler aus seiner Forschungsgruppe in das neue GenAI-Team überführt, darunter Sebastien Bubeck, der auch an Microsofts Vorzeige-SLM Phi-2 mitgearbeitet hat. Microsoft hat Phi-2 Anfang des Jahres als Open Source veröffentlicht, es soll Googles kommerzielles Nano-Modell übertreffen.

Das GenAI-Team wird von Corporate Vice President Misha Bilenko geleitet und berichtet an CTO Kevin Scott. Microsoft beschäftigt weiterhin ein Turing-Team, das große Sprachmodelle entwickelt. Turing-Modelle werden in Copilot-Produkten teilweise in Kombination mit OpenAI-Modellen eingesetzt. Auch hier sollen die Microsoft-Modelle die einfacheren Aufgaben übernehmen und Kosten sparen.

Skalierung ist alles in der KI, aber sie ist teuer

Skalierung ist in der KI das beherrschende Thema, in der Modellentwicklung ebenso wie in der Anwendung. Modelle müssen immer größer und leistungsfähiger werden.

Gleichzeitig soll die Technologie möglichst schnell an viele Menschen verteilt werden, um im Wettlauf um Marktanteile Lock-in-Effekte zu erzielen.

Ohne Effizienzsteigerungen dreht sich die Preisspirale in diesem Szenario immer schneller nach oben.

Empfehlung

Laut einer anonymen Quelle des Wall Street Journals hat Microsoft in den ersten Monaten des Jahres mehr als 20 US-Dollar pro Nutzer und Monat bei der generativen Code-KI Github Copilot verloren. Einige Nutzer sollen bis zu 80 Dollar pro Monat gekostet haben. Microsoft nimmt 10 Dollar pro Monat.

Bereits im Herbst 2023 soll Forschungschef Peter Lee deshalb "viele" der 1500 Forscher des Unternehmens damit beauftragt haben, kleinere und kostengünstigere KI-Systeme für Konversationen zu entwickeln.

KI-Anbieter suchen zudem nach Möglichkeiten, ihre Abhängigkeit von teuren KI-Chips wie denen von Nvidia zu verringern, indem sie ihre eigenen Chips entwickeln, die billiger und effizienter sind. Die teuren Prozessoren von Nvidia sind ein Kostentreiber, auch weil sie schwer zu beschaffen sind.

OpenAI-CEO Sam Altman, in Sorge vor einer Chip-Knappheit, soll in Gesprächen mit TSMC zu einem eigenen Chip-Unternehmen sein. Doch bis sich diese Bemühungen positiv auf die Kosten auswirken, dürften Jahre vergehen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Microsofts Lee soll sein Team angewiesen haben, einen Großteil der 2.000 Nvidia-Grafikkarten, die seiner Forschungseinheit zur Verfügung stehen, für die Entwicklung effizienterer KI-Modelle zu verwenden.

In der Zwischenzeit darf der Fokus auf Kosteneffizienz jedoch nicht zu Lasten der Qualität gehen, da dadurch der Mehrwert für die Nutzer verringert und die Adaption von KI verlangsamt werden könnte. Die leistungsfähigsten Modelle, konkret GPT-4, sind für viele Textaufgaben gerade gut genug.

Seit dem Start von GPT-4 im März beschweren sich ChatGPT-Nutzende immer wieder, dass die Performance des Modells nachgelassen habe, was mit Effizienzmaßnahmen seitens OpenAI zusammenhängen könnte. Wissenschaftlich lässt sich das jedoch nur anekdotisch belegen.

Auch OpenAI dürfte mit neuen Modellen wie GPT-4 Turbo in erster Linie auf Effizienzgewinne abzielen. Effizienz soll bei OpenAI auch Entwicklungsschwerpunkt der neuen Modell-Generation sein, weshalb aktuelle prototypische Modelle nach Wüsten benannt sind.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Microsoft intensiviert seine Forschung an kleineren, effizienteren KI-Modellen und hat ein neues GenAI-Team gegründet, um kostengünstigere Small Language Models (SLMs) für Konversationen zu entwickeln.
  • SLMs sollen die Qualität großer Sprachmodelle wie OpenAIs GPT-4 imitieren, aber weniger Rechenleistung benötigen, um Rechenkosten zu sparen, insbesondere bei einfachen Anfragen an Chatbots wie Bing und Windows Copilot.
  • Das GenAI-Team wird von Corporate Vice President Misha Bilenko geleitet und berichtet an CTO Kevin Scott. Es besteht aus führenden KI-Entwicklern, darunter Sebastien Bubeck, der auch an Microsofts Vorzeige-Mini-Modell Phi-2 mitgearbeitet hat.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!