Die großen Fortschritte der KI-Entwicklung entstehen durch mehr Daten, größere Netzwerke, mehr Rechenleistung. Könnten sie in Zukunft auch außerhalb der Cloud laufen?
Der Trend bei Sprach-KIs geht zu immer größeren Modellen, die immer mehr Daten schlucken. Zu diesen Riesen gehören Googles Sprach-KI BERT, OpenAIs GPT-2, Facebooks RoBERTa und Nvidias Megatron. Letztere ist die aktuellste Sprach-KI, 24-mal größer als BERT-large und fünfmal größer als GPT-2.
Doch die riesigen KI-Modelle benötigen viel Rechenleistung: Nvidia empfiehlt für das Training von Megatron 512 Grafikchips. Und wer OpenAIs GPT-2 nachtrainieren will, bringt mit der neuesten Version selbst schnelle Server-Grafikkarten an ihr Limit.
Da die Sprachmodelle viel Rechenleistung und Energie benötigen, laufen sie nur in der Cloud. Kleinere Modelle können zwar lokal ohne Internetverbindung auf dem Smartphone oder auf einem Roboter ausgeführt werden - aber sie leisten dafür deutlich weniger.
Es braucht also kleinere KI-Modelle, die dennoch an die Leistungsfähigkeit ihrer riesigen Verwandten herankommen. Doch wie soll das gehen?
Back to School (of AI)
Die Lösung könnte eine Art KI-Schule sein, in der die kleinen KIs von den großen lernen.
KI-Forscher nennen diesen Prozess Destillation: Ein großes KI-Modell agiert als Lehrer, ein kleines als Schüler. Beim Training gibt die große KI ihr Wissen weiter: bei einer Sprach-KI etwa die 20 wahrscheinlichsten Worte, die einen unvollständigen Satz vollenden.
Das kleine KI-Modell lernt so, die Ergebnisse des großen KI-Modells zu reproduzieren – ohne dessen Umfang anzunehmen.
Forscher haben diese Methode nun auf die Sprach-KI BERT angewandt. Das Ergebnis: BERTs Schüler DistilBERT ist 60 Prozent kleiner, schneller und erreicht 95 Prozent von BERTs Leistung. In Zukunft soll DistilBERT noch mit weiteren Kleinmachmethoden, wie der Entfernung einiger Netzwerkverbindungen, geschrumpft werden.
Auf ähnliche Art hat Google den eigenen Next-Gen-Assistant verkleinert, der Ende des Jahres ohne Internetverbindung lokal auf Pixel-Smartphones laufen soll. Das knapp 100 Gigabyte große Sprachmodell wurde dafür auf knapp 0,5 Gigabyte reduziert.
Quelle: Medium
