Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Die wichtigste KI-Konferenz NeurIPS 2023 hat begonnen und vergibt Preise für herausragende Beiträge in der KI-Forschung. Das sind die wichtigsten Paper.

Die Konferenz Neural Information Processing Systems (NeurIPS) hat die Gewinner der diesjährigen Paper Awards bekannt gegeben. Von insgesamt 13.321 eingereichten Beiträgen wurden 3.584 nach einer Begutachtung durch 1.100 Area Chairs, 100 Senior Area Chairs und 396 Ethik-Reviewern angenommen. Die ausgezeichneten Arbeiten werden in drei Kategorien eingeteilt: Outstanding Main Track Papers, Outstanding Main Track Runner-Ups und Outstanding Datasets and Benchmark Track Papers.

Privatspähre in KI-Modellen und die Illusion emergenter Fähigkeiten

Die beiden herausragenden Hauptpapiere sind "Privacy Auditing with One (1) Training Run" von Thomas Steinke, Milad Nasr und Matthew Jagielski und "Are Emergent Abilities of Large Language Models a Mirage?" von Rylan Schaeffer, Brando Miranda und Sanmi Koyejo.

"Privacy Auditing with One (1) Training Run" schlägt ein Verfahren vor, das zeigen kann, ob ein Algorithmus tatsächlich die behaupteten Datenschutzgarantien einhält. Konkret geht es darum, dass die Daten einer Person keinen signifikanten Einfluss auf die Wahrscheinlichkeit eines bestimmten Ergebnisses haben. Die Methode erfordert nur einen einzigen Trainingslauf des Modells, hat nur minimale Auswirkungen auf die Genauigkeit des Modells und ist wesentlich effizienter als andere Methoden.

Anzeige
Anzeige

Link zum Paper.

"Are Emergent Abilities of Large Language Models a Mirage?" untersucht sogenannte emergente Fähigkeiten großer Sprachmodelle, also Fähigkeiten, die erst ab einer bestimmten Netzwerkgröße auftreten sollen. In ihrer Arbeit zeigt das Team, dass bisher bekannte emergente Fähigkeiten eher ein Produkt der verwendeten Metrik sind - mit der richtigen Methode zeigt sich statt eines spontanen Leistungssprungs ein gleichmäßiger Anstieg. Das Team vermutet daher, dass alle bisher gefundenen emergenten Fähigkeiten eine Illusion sind.

Link zum Paper.

KI-Skalierung mit wenig Daten und eine Alternative zum RLHF sind Runner-ups

Die beiden herausragenden Zweitplatzierten sind "Scaling Data-Constrained Language Models" von Niklas Muennighoff und Kollegen sowie "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" von Rafael Rafailov und Kollegen.

"Scaling Data-Constrained Language Models" beschäftigt sich mit der Skalierung von Sprachmodellen, wenn die Datenmenge beschränkt ist. In einer umfangreichen Reihe von Experimenten, in denen das Team die Häufigkeit der Datenwiederholungen und das Rechenbudget variieren, stellen es fest, dass beim Training mit wiederholten Daten für ein festes Rechenbudget von bis zu vier Epochen kaum Verluständerungen im Vergleich zu einmaligen Daten auftreten. Bei mehr Wiederholungen sinkt der Wert der zusätzlichen Rechenleistung jedoch schließlich auf Null. Das Team leitet aus den Ergebnissen "Scaling Laws" für Modelle bei einem beschränkten Datenregime ab.

Empfehlung

Link zum Paper.

"Direct Preference Optimization: Your Language Model is Secretly a Reward Model" stellt einen neuen Ansatz zur Feinabstimmung großer Sprachmodelle auf menschliche Präferenzen vor. Direct Preference Optimization (DPO) umgeht die traditionellen Herausforderungen des Reinforcement Learning mit menschlichem Feedback (RLHF) und ermöglicht eine effizientere und stabilere Optimierung. In Tests zeigt das Team, dass DPO für verschiedene Aufgaben wie Zusammenfassungen oder Dialoge ähnliche oder bessere Ergebnisse erzielt als RLHF.

Link zum Paper.

ClimSim und DecodingTrust gewinnen in den Kategorien Datensätze und Benchmarks

In der Kategorie Datensätze wurde das Paper "ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation" von Sungduk Yu und Kollegen ausgezeichnet.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

"ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation" präsentiert ClimSim, den bisher größten und umfassendsten Datensatz für die Forschung an hybriden ML-Physik-Klimasimulationen. Der Datensatz umfasst Klimasimulationen auf mehreren Skalen, die von einem Konsortium aus Klimawissenschaftlern und ML-Forschern entwickelt wurden.

Link zum Paper.

In der Kategorie Benchmarks wurde die Arbeit "DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models" von Boxin Wang und Kollegen ausgezeichnet.

"DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models" bietet eine Plattform für die Bewertung der Vertrauenswürdigkeit großer Sprachmodelle und liefert eine groß angelegte Untersuchung von GPT-4 und GPT-3.5. Die Studie identifiziert bisher unveröffentlichte Schwachstellen und zeigt, dass GPT-Modelle leicht dazu verleitet werden können, toxische und verzerrte Ausgaben zu erzeugen und private Informationen aus Trainingsdaten und Gesprächsverläufen preiszugeben.

Laut dem Team ist GPT-4 für solche Datenschutzverletzungen anfälliger als GPT-3.5, da die (irreführenden) Anweisungen genauer befolgt werden.

Link zum Paper.

Test of Time Award geht an word2vec-Paper

Der Test of Time Award ging an das NeurIPS 2013 Paper "Distributed Representations of Words and Phrases and their Compositionality" von Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado und Jeffrey Dean.

Die Arbeit, die über 40.000 Mal zitiert wurde, führte die bahnbrechende Worteinbettungstechnik word2vec ein, um Wörter in einem Vektorraum so darzustellen, dass Wörter mit ähnlicher Bedeutung nahe beieinander liegen. Word2Vec war wegweisend für das Verständnis, wie maschinelles Lernen eingesetzt werden kann, um Bedeutung aus Texten zu extrahieren, und markierte den Beginn einer neuen Ära in der Verarbeitung natürlicher Sprache.

Link zum Paper.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Die NeurIPS 2023-Konferenz hat die Gewinner der diesjährigen Paper Awards bekannt gegeben, darunter herausragende Beiträge in den Bereichen Privatsphäre in KI-Modellen und emergente Fähigkeiten großer Sprachmodelle.
  • "Privacy Auditing with One (1) Training Run" schlägt ein effizientes Verfahren vor, um die Datenschutzgarantien eines Algorithmus zu überprüfen, während "Are Emergent Abilities of Large Language Models a Mirage?" die Existenz emergenter Fähigkeiten großer Sprachmodelle in Frage stellt.
  • Weitere ausgezeichnete Arbeiten befassen sich mit der Skalierung von Sprachmodellen bei begrenzten Daten, Direct Preference Optimization zur Feinabstimmung großer Sprachmodelle, dem ClimSim-Datensatz für Klimasimulationen und der Bewertung der Vertrauenswürdigkeit von GPT-Modellen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!