Inhalt
summary Zusammenfassung

Das Start-up Extropic veröffentlicht sein erstes "Litepaper" und präsentiert damit einen innovativen Ansatz, um die Grenzen herkömmlicher Computerchips im Zeitalter der künstlichen Intelligenz zu überwinden.

Anzeige

Das Start-up Extropic gibt einen ersten Einblick in die geplante KI-Hardware des Unternehmens. Das Start-up mit Sitz in Austin, Texas, wurde 2022 von den ehemaligen Google-Forschern Guillaume Verdon und Trevor McCourt gegründet. Beide bringen Erfahrung in Forschung und Entwicklung mit, McCourt war beispielsweise Teil des Quantum AI Teams bei Google. Die neuartige Hardware-Plattform soll die thermalen Fluktuationen in Materialien als Rechenressource für generative KI nutzen. Laut dem Unternehmen ermöglicht dieser neue Ansatz es, KI-Beschleuniger zu entwickeln, die um Größenordnungen schneller und energieeffizienter sind als digitale Prozessoren wie CPUs, GPUs oder TPUs.

"Der Bedarf an Rechenleistung wächst im KI-Zeitalter in einem noch nie dagewesenen exponentiellen Tempo", schreiben die Extropic-Gründer in einem Blogeintrag. Doch das bisherige exponentielle Wachstum der Recheneffizienz stoße an seine physikalischen Grenzen: Transistoren nähern sich der Größe von Atomen, wo Effekte wie thermisches Rauschen einen zuverlässigen digitalen Betrieb unmöglich machen.

Das Ergebnis: Der Energiebedarf moderner KI-Systeme explodiert. Große Technologieunternehmen erwägen bereits extreme Maßnahmen wie den Bau von Kernkraftwerken, um Rechenzentren für das Training großer KI-Modelle mit Strom zu versorgen. Extropic will dieses Problem durch einen Paradigmenwechsel in der Computerarchitektur lösen.

Anzeige
Anzeige

Zufälligkeit als Ressource für probabilistische Berechnungen

Als Vorbild dienen biologische Systeme, die laut Extropic viel effizienter rechnen als alles, was die Menschheit bisher gebaut hat. In lebenden Zellen treiben chemische Reaktionsnetzwerke die Informationsverarbeitung an. Da die Zahl der Reaktionspartner zählbar ist, sind die Interaktionen von Natur aus diskret und zufällig. Je weniger Moleküle vorhanden sind, desto stärker dominieren diese Zufallsschwankungen die Dynamik des Systems.

Mikroskopische Aufnahme eines Extropic-Chips. Das Insert zeigt zwei Josephson-Kontakte, die dem Prozessor seine Nichtlinearität verleihen sollen. | Bild: Extropic

Die Ingenieure von Extropic wollen diese inhärente Zufälligkeit als Ressource für probabilistische Berechnungen nutzen. Dazu entwickeln sie eine neue Generation von KI-Chips, die auf energiebasierten Modellen (EBMs) beruhen. Diese neuartigen Chips arbeiten mit sogenannten "Extropic Accelerators", supraleitenden Prozessoren, die bei niedrigen Temperaturen arbeiten und aus Aluminium nanofabriziert werden. Die grundlegende Innovation besteht darin, dass die Chips das inhärente thermische Rauschen der Umgebung nutzen, um Zufallsdaten zu erzeugen, was sie ideal für das Training und die Inferenz von energiebasierten Modellen (EBM) macht.

Energiebasierte Modelle als Zukunft des KI-Trainings

EBMs sind ein Konzept, das sowohl in der thermodynamischen Physik als auch im grundlegenden probabilistischen maschinellen Lernen vorkommt. Sie bilden die Grundlage für KI-Modelle, die Wahrscheinlichkeiten für verschiedene Szenarien vorhersagen, je nachdem, wie viel "Energie" ein bestimmtes Szenario benötigt. Je weniger Energie, desto wahrscheinlicher das Szenario. EBM sind nicht auf einfache Muster oder Beziehungen beschränkt. Sie können ein breites Spektrum von Möglichkeiten abdecken, was sie extrem vielseitig macht.

EBMs haben den Vorteil, dass sie nur eine geringe Menge an Daten benötigen, um die Wahrscheinlichkeitsverteilung eindeutig zu bestimmen - daher sind sie ideal für die Modellierung von Grenzfällen geeignet.

EBMs sollen in der Lage sein, sogenannte Tail Events besser zu erfassen. Hier erfasst ein verteilungsbasiertes Lernverfahren die Auswirkungen des Tail Events nicht. Niedriger Luftdruck bedeutet fast immer Regen und hohe Ernteerträge. Gelegentlich kommt es jedoch vor, dass ein sehr niedriger Luftdruck mit einem Wirbelsturm einhergeht. | Bild: Extropic

Laut Extropic erreichen EBMs dies, indem sie die Lücken in den Daten mit Rauschen füllen und versuchen, deren Entropie zu maximieren, während sie gleichzeitig die Statistiken der Zielverteilung erfüllen. Dieser Prozess, bei dem jede Möglichkeit, die nicht in einem Datensatz enthalten ist, halluziniert wird und solche Vorfälle stark bestraft werden, erfordert sowohl beim Training als auch bei der Inferenz einen hohen Zufallsanteil.

Empfehlung

Das große Problem energiebasierter Modelle ist bisher dieser hohe Rechenaufwand, da sehr viele Zufallsstichproben gezogen werden müssen. Für digitale Computer ist das sehr ineffizient. Extropic will dieses Problem lösen, indem EBMs direkt als parametrisierte stochastische Analogschaltkreise implementiert werden. Damit sollen Laufzeit und Energieverbrauch gegenüber digitaler Hardware um viele Größenordnungen verbessert werden.

Ein weiteres Ziel von Extropic ist es, ihre Technologie breit zugänglich zu machen. Sie arbeiten daher auch an Halbleitergeräten, die bei Raumtemperatur funktionieren und in bestehende Hardware-Setups wie GPU-Erweiterungskarten integriert werden können. Extropic arbeitet darüber hinaus an einer Softwareebene, die abstrakte Spezifikationen von EBMs in die relevante Hardwaresteuersprache übersetzt.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Extropic, ein Start-up aus Austin, Texas, präsentiert in seinem ersten "Litepaper" einen innovativen Ansatz, um die Grenzen herkömmlicher Computerchips im KI-Zeitalter zu überwinden, indem es die Fluktuationen in Materialien als Rechenressource für generative KI nutzt.
  • Das Unternehmen entwickelt eine neue Generation von KI-Chips, die auf energiebasierten Modellen (EBMs) beruhen und mit supraleitenden "Extropic Accelerators" arbeiten, die das inhärente thermische Rauschen der Umgebung nutzen, um effizient Zufallsdaten für das Training und die Inferenz von EBMs zu erzeugen.
  • Extropic möchte seine Technologie breit zugänglich machen, indem es auch an Halbleitergeräten arbeitet, die bei Raumtemperatur funktionieren und in bestehende Hardware-Setups integriert werden können, sowie an einer Softwareebene, die abstrakte Spezifikationen von EBMs in die relevante Hardwaresteuersprache übersetzt.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!