Die wichtigste KI-Konferenz NeurIPS 2023 hat begonnen und vergibt Preise für herausragende Beiträge in der KI-Forschung. Das sind die wichtigsten Paper.
Die Konferenz Neural Information Processing Systems (NeurIPS) hat die Gewinner der diesjährigen Paper Awards bekannt gegeben. Von insgesamt 13.321 eingereichten Beiträgen wurden 3.584 nach einer Begutachtung durch 1.100 Area Chairs, 100 Senior Area Chairs und 396 Ethik-Reviewern angenommen. Die ausgezeichneten Arbeiten werden in drei Kategorien eingeteilt: Outstanding Main Track Papers, Outstanding Main Track Runner-Ups und Outstanding Datasets and Benchmark Track Papers.
Privatspähre in KI-Modellen und die Illusion emergenter Fähigkeiten
Die beiden herausragenden Hauptpapiere sind "Privacy Auditing with One (1) Training Run" von Thomas Steinke, Milad Nasr und Matthew Jagielski und "Are Emergent Abilities of Large Language Models a Mirage?" von Rylan Schaeffer, Brando Miranda und Sanmi Koyejo.
"Privacy Auditing with One (1) Training Run" schlägt ein Verfahren vor, das zeigen kann, ob ein Algorithmus tatsächlich die behaupteten Datenschutzgarantien einhält. Konkret geht es darum, dass die Daten einer Person keinen signifikanten Einfluss auf die Wahrscheinlichkeit eines bestimmten Ergebnisses haben. Die Methode erfordert nur einen einzigen Trainingslauf des Modells, hat nur minimale Auswirkungen auf die Genauigkeit des Modells und ist wesentlich effizienter als andere Methoden.
"Are Emergent Abilities of Large Language Models a Mirage?" untersucht sogenannte emergente Fähigkeiten großer Sprachmodelle, also Fähigkeiten, die erst ab einer bestimmten Netzwerkgröße auftreten sollen. In ihrer Arbeit zeigt das Team, dass bisher bekannte emergente Fähigkeiten eher ein Produkt der verwendeten Metrik sind - mit der richtigen Methode zeigt sich statt eines spontanen Leistungssprungs ein gleichmäßiger Anstieg. Das Team vermutet daher, dass alle bisher gefundenen emergenten Fähigkeiten eine Illusion sind.
KI-Skalierung mit wenig Daten und eine Alternative zum RLHF sind Runner-ups
Die beiden herausragenden Zweitplatzierten sind "Scaling Data-Constrained Language Models" von Niklas Muennighoff und Kollegen sowie "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" von Rafael Rafailov und Kollegen.
"Scaling Data-Constrained Language Models" beschäftigt sich mit der Skalierung von Sprachmodellen, wenn die Datenmenge beschränkt ist. In einer umfangreichen Reihe von Experimenten, in denen das Team die Häufigkeit der Datenwiederholungen und das Rechenbudget variieren, stellen es fest, dass beim Training mit wiederholten Daten für ein festes Rechenbudget von bis zu vier Epochen kaum Verluständerungen im Vergleich zu einmaligen Daten auftreten. Bei mehr Wiederholungen sinkt der Wert der zusätzlichen Rechenleistung jedoch schließlich auf Null. Das Team leitet aus den Ergebnissen "Scaling Laws" für Modelle bei einem beschränkten Datenregime ab.
"Direct Preference Optimization: Your Language Model is Secretly a Reward Model" stellt einen neuen Ansatz zur Feinabstimmung großer Sprachmodelle auf menschliche Präferenzen vor. Direct Preference Optimization (DPO) umgeht die traditionellen Herausforderungen des Reinforcement Learning mit menschlichem Feedback (RLHF) und ermöglicht eine effizientere und stabilere Optimierung. In Tests zeigt das Team, dass DPO für verschiedene Aufgaben wie Zusammenfassungen oder Dialoge ähnliche oder bessere Ergebnisse erzielt als RLHF.
ClimSim und DecodingTrust gewinnen in den Kategorien Datensätze und Benchmarks
In der Kategorie Datensätze wurde das Paper "ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation" von Sungduk Yu und Kollegen ausgezeichnet.
"ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation" präsentiert ClimSim, den bisher größten und umfassendsten Datensatz für die Forschung an hybriden ML-Physik-Klimasimulationen. Der Datensatz umfasst Klimasimulationen auf mehreren Skalen, die von einem Konsortium aus Klimawissenschaftlern und ML-Forschern entwickelt wurden.
In der Kategorie Benchmarks wurde die Arbeit "DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models" von Boxin Wang und Kollegen ausgezeichnet.
"DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models" bietet eine Plattform für die Bewertung der Vertrauenswürdigkeit großer Sprachmodelle und liefert eine groß angelegte Untersuchung von GPT-4 und GPT-3.5. Die Studie identifiziert bisher unveröffentlichte Schwachstellen und zeigt, dass GPT-Modelle leicht dazu verleitet werden können, toxische und verzerrte Ausgaben zu erzeugen und private Informationen aus Trainingsdaten und Gesprächsverläufen preiszugeben.
Laut dem Team ist GPT-4 für solche Datenschutzverletzungen anfälliger als GPT-3.5, da die (irreführenden) Anweisungen genauer befolgt werden.
Test of Time Award geht an word2vec-Paper
Der Test of Time Award ging an das NeurIPS 2013 Paper "Distributed Representations of Words and Phrases and their Compositionality" von Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado und Jeffrey Dean.
Die Arbeit, die über 40.000 Mal zitiert wurde, führte die bahnbrechende Worteinbettungstechnik word2vec ein, um Wörter in einem Vektorraum so darzustellen, dass Wörter mit ähnlicher Bedeutung nahe beieinander liegen. Word2Vec war wegweisend für das Verständnis, wie maschinelles Lernen eingesetzt werden kann, um Bedeutung aus Texten zu extrahieren, und markierte den Beginn einer neuen Ära in der Verarbeitung natürlicher Sprache.