OpenAI tastet sich nach und nach an eine vollständige Veröffentlichung der angeblich mächtigsten Text-KI GPT-2 vor.
Im vergangenen Februar stellte das KI-Unternehmen OpenAI die Text-KI GPT-2 vor. Sie ist Teil einer neuen Generation Text-KI, die unüberwacht trainiert wird, also eigenhändig ein Sprachmodell entwickelt anhand einer großen Textmenge. Auf Basis dieses Modells kann die KI dann Fragen beantworten oder Texte neu generieren.
Trainiert wurde GPT-2 mit 40 Gigabyte Internet-Text der Online-Plattform Reddit. Der Datensatz soll divers sein und 15 Mal umfangreicher als vergleichbare Datensätze. Der Umfang des Sprachmodells soll ähnliche Programme laut OpenAI um den Faktor zwölf übertreffen.
Speziell die Generierung von Fake News gelingt GPT-2 laut OpenAI so gut, dass es gefährlich sei, die Text-KI als Open Source zu veröffentlichen. Ansonsten könne das Internet sehr leicht mit glaubhaft geschriebenen Fake-Texten überschwemmt werden.
Neuer GPT-2-Release bietet 50 Prozent der vollen Leistung
Daher entschied sich OpenAI für eine schrittweise Veröffentlichung. Während die mächtigste GPT-2-Version 1558 Millionen Parameter verwendet, boten die ersten beiden öffentlich verfügbaren Versionen nur 124 Millionen und 355 Millionen Parameter.
Das jetzt veröffentlichte Modell bietet mit 774 Parametern etwa die Hälfte der Leistung der kompletten Text-KI. Gemeinsam mit Forschungspartnern will OpenAI untersuchen und beobachten, für welche Zwecke GPT-2 774 eingesetzt wird. Außerdem sollen die Texte selbst geprüft werden, beispielsweise auf Vorurteile.
Der aktuelle Plan sei es, die vollwertige Version mit 1558 Millionen Parametern in einigen Monaten zu veröffentlichen. Allerdings könne sich dieser Plan abhängig von den Untersuchungsergebnissen oder bei Missbrauch ändern.
"Wir sind der Meinung, dass eine Kombination aus gestaffelter Veröffentlichung und partnerschaftlichem Model-Sharing eine wichtige Grundlage für eine verantwortungsbewusste Veröffentlichung Künstlicher Intelligenz ist, insbesondere im Kontext leistungsfähiger generativer Modelle", schreiben die Entwickler im eigenen Blog.
GPT-2 774 ausprobieren
Die Webseite "Talk to Transformer" hat die neueste GPT-2-Version in eine einfache Weboberfläche integriert. Zuvor lief die Seite noch mit dem alten Modell mit 355 Millionen Parametern, das wir hier testeten.
Die KI benötigt zwei bis drei einleitende Sätze, um in Gang zu kommen. Anschließend erweitert sie diese Sätze zu einem kurzen Text. Die Besonderheit ist, dass sich GPT-2 auf den Stil der Eingabe einlässt und beispielsweise zwischen dem Anfang einer News, eines Gedichts und eines Romans unterscheidet.
Allerdings löst auch das neue Modell nicht das grundlegende Problem der Text-KI: Sie reiht Sätze und Aussagen zwar strukturiert sowie thematisch und grammatikalisch sinnvoll aneinander. Sie kann aber nicht den eigentlichen Sinn der Worte erfassen. Das kann dann schon mal dazu führen, dass man Brillen am Handgelenk trägt.
Input:On Stage at the Oculus Connect 6, Facebook-CEO Mark Zuckerberg announced its company's first AR-Goggle. The shift to AR, Zuckerberg explained, is part of his bigger plan to establish a new computing paradigm for everyone.
Output:
"Our vision for virtual and augmented reality starts with our own eye. We've known for a long time that people can't see everything," Zuckerberg said on stage. "So one day soon, we will go from seeing a picture through our own eye to seeing it through the eyes of other people.
A whole new way of taking images and seeing those images is going to be possible." The Facebook CEO explained that he believes we're nearing the point of "a truly universal computing platform", where our phones may one day become holographic and we could be able to see through computers. What's more, he revealed that a virtual version of Facebook will soon be on your wrists via Facebook Glass.
GPT-2 774
Ein weiteres Beispiel:
Input:After trying Oculus Quest for the first time, President Donald Trump told the audience that he's not a fan of VR. Young people got me corrupted by the technology, Trump thinks.
Output:
But he said he's interested in the field because it will change "our society" and help people be "more engaged with one another." "I'm excited to learn that these incredible companies and individuals are already using the power of VR," Trump said.
That's a bit of an overstatement — VR is already being used by millions of businesses and consumers. But Trump's comments suggest he's not too impressed, which is one of the reasons he wants to see it fail. If you look at the success of Facebook's Facebook Spaces, for example, they've successfully used VR to bring the social elements of social media into places where they previously didn't exist.
It's a small example and one that I'd have to check out, but it's worth looking into — it could be the first step to allowing everyone to be VR-enlightened, which is where the Trump presidency will really fail.
GPT-2 774
AnzeigeAnzeigeCommunity beitretenKommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
