Das Start-up Extropic veröffentlicht sein erstes "Litepaper" und präsentiert damit einen innovativen Ansatz, um die Grenzen herkömmlicher Computerchips im Zeitalter der künstlichen Intelligenz zu überwinden.
Das Start-up Extropic gibt einen ersten Einblick in die geplante KI-Hardware des Unternehmens. Das Start-up mit Sitz in Austin, Texas, wurde 2022 von den ehemaligen Google-Forschern Guillaume Verdon und Trevor McCourt gegründet. Beide bringen Erfahrung in Forschung und Entwicklung mit, McCourt war beispielsweise Teil des Quantum AI Teams bei Google. Die neuartige Hardware-Plattform soll die thermalen Fluktuationen in Materialien als Rechenressource für generative KI nutzen. Laut dem Unternehmen ermöglicht dieser neue Ansatz es, KI-Beschleuniger zu entwickeln, die um Größenordnungen schneller und energieeffizienter sind als digitale Prozessoren wie CPUs, GPUs oder TPUs.
"Der Bedarf an Rechenleistung wächst im KI-Zeitalter in einem noch nie dagewesenen exponentiellen Tempo", schreiben die Extropic-Gründer in einem Blogeintrag. Doch das bisherige exponentielle Wachstum der Recheneffizienz stoße an seine physikalischen Grenzen: Transistoren nähern sich der Größe von Atomen, wo Effekte wie thermisches Rauschen einen zuverlässigen digitalen Betrieb unmöglich machen.
Das Ergebnis: Der Energiebedarf moderner KI-Systeme explodiert. Große Technologieunternehmen erwägen bereits extreme Maßnahmen wie den Bau von Kernkraftwerken, um Rechenzentren für das Training großer KI-Modelle mit Strom zu versorgen. Extropic will dieses Problem durch einen Paradigmenwechsel in der Computerarchitektur lösen.
Zufälligkeit als Ressource für probabilistische Berechnungen
Als Vorbild dienen biologische Systeme, die laut Extropic viel effizienter rechnen als alles, was die Menschheit bisher gebaut hat. In lebenden Zellen treiben chemische Reaktionsnetzwerke die Informationsverarbeitung an. Da die Zahl der Reaktionspartner zählbar ist, sind die Interaktionen von Natur aus diskret und zufällig. Je weniger Moleküle vorhanden sind, desto stärker dominieren diese Zufallsschwankungen die Dynamik des Systems.
Die Ingenieure von Extropic wollen diese inhärente Zufälligkeit als Ressource für probabilistische Berechnungen nutzen. Dazu entwickeln sie eine neue Generation von KI-Chips, die auf energiebasierten Modellen (EBMs) beruhen. Diese neuartigen Chips arbeiten mit sogenannten "Extropic Accelerators", supraleitenden Prozessoren, die bei niedrigen Temperaturen arbeiten und aus Aluminium nanofabriziert werden. Die grundlegende Innovation besteht darin, dass die Chips das inhärente thermische Rauschen der Umgebung nutzen, um Zufallsdaten zu erzeugen, was sie ideal für das Training und die Inferenz von energiebasierten Modellen (EBM) macht.
Energiebasierte Modelle als Zukunft des KI-Trainings
EBMs sind ein Konzept, das sowohl in der thermodynamischen Physik als auch im grundlegenden probabilistischen maschinellen Lernen vorkommt. Sie bilden die Grundlage für KI-Modelle, die Wahrscheinlichkeiten für verschiedene Szenarien vorhersagen, je nachdem, wie viel "Energie" ein bestimmtes Szenario benötigt. Je weniger Energie, desto wahrscheinlicher das Szenario. EBM sind nicht auf einfache Muster oder Beziehungen beschränkt. Sie können ein breites Spektrum von Möglichkeiten abdecken, was sie extrem vielseitig macht.
EBMs haben den Vorteil, dass sie nur eine geringe Menge an Daten benötigen, um die Wahrscheinlichkeitsverteilung eindeutig zu bestimmen - daher sind sie ideal für die Modellierung von Grenzfällen geeignet.
Laut Extropic erreichen EBMs dies, indem sie die Lücken in den Daten mit Rauschen füllen und versuchen, deren Entropie zu maximieren, während sie gleichzeitig die Statistiken der Zielverteilung erfüllen. Dieser Prozess, bei dem jede Möglichkeit, die nicht in einem Datensatz enthalten ist, halluziniert wird und solche Vorfälle stark bestraft werden, erfordert sowohl beim Training als auch bei der Inferenz einen hohen Zufallsanteil.
Das große Problem energiebasierter Modelle ist bisher dieser hohe Rechenaufwand, da sehr viele Zufallsstichproben gezogen werden müssen. Für digitale Computer ist das sehr ineffizient. Extropic will dieses Problem lösen, indem EBMs direkt als parametrisierte stochastische Analogschaltkreise implementiert werden. Damit sollen Laufzeit und Energieverbrauch gegenüber digitaler Hardware um viele Größenordnungen verbessert werden.
Ein weiteres Ziel von Extropic ist es, ihre Technologie breit zugänglich zu machen. Sie arbeiten daher auch an Halbleitergeräten, die bei Raumtemperatur funktionieren und in bestehende Hardware-Setups wie GPU-Erweiterungskarten integriert werden können. Extropic arbeitet darüber hinaus an einer Softwareebene, die abstrakte Spezifikationen von EBMs in die relevante Hardwaresteuersprache übersetzt.
