LLMs könnten präzise großangelegte sozialwissenschaftliche Experimente ermöglichen
Forscher des Massachusetts Institute of Technology (MIT) und der Harvard University stellen einen Ansatz vor, um mithilfe von großen Sprachmodellen sozialwissenschaftliche Hypothesen automatisiert zu generieren und zu testen.
Der Schlüssel zu diesem Ansatz sind strukturelle Kausalmodelle (Structural Causal Models, SCMs), mathematische Modelle zur Formulierung von Hypothesen, die eine Blaupause für die Konstruktion qualitativ hochwertiger LLM-basierter Agenten liefern, ein experimentelles Design vorschlagen und einen Plan für die Datenanalyse bereitstellen.
Das von den Forschern entwickelte System kann so automatisch Hypothesen generieren, Experimente entwerfen, diese Experimente mit LLM-gesteuerten Agenten, die Menschen simulieren, durchführen und die Ergebnisse analysieren. Durch den Einsatz von SCM mit LLMs könnte so der gesamte sozialwissenschaftliche Prozess ohne menschliches Eingreifen simuliert werden. Das Sprachmodell ist sowohl Forscher als auch Forschungsgegenstand, wie es die Forscher im Titel ihrer Arbeit beschreiben.
Die Forscher demonstrieren den Ansatz anhand mehrerer Szenarien: einer Verhandlung, einer Kautionsanhörung, einem Vorstellungsgespräch und einer Auktion. In jedem Fall schlägt das System kausale Zusammenhänge vor und testet diese, wobei es für manche Hypothesen Evidenz findet und für andere nicht.
Beispielsweise erhöhte sich in der Verhandlungssituation die Wahrscheinlichkeit einer Einigung, wenn die emotionale Bindung des Verkäufers an den Gegenstand abnahm. Sowohl die Reservationspreise des Käufers als auch des Verkäufers spielten eine Rolle. Bei der Kautionsanhörung wurde einem reuigen Angeklagten eine niedrigere Kaution gewährt, nicht jedoch, wenn seine Vorstrafen umfangreich waren.
Die Forscher stellen fest, dass die Erkenntnisse aus diesen simulierten sozialen Interaktionen nicht durch direkte Abfrage des LLMs verfügbar sind. Wenn das LLM jedoch mit dem vorgeschlagenen SCM für jedes Szenario ausgestattet wurde, konnte es die Richtung der geschätzten Effekte zuverlässig vorhersagen, jedoch nicht deren Stärke.
Im Auktionsexperiment stimmten die Simulationsergebnisse eng mit den Vorhersagen der Auktionstheorie überein, wonach der Endpreis nahe dem zweithöchsten Gebot liegt. Die Vorhersagen des LLM für die Auktionspreise waren ungenau, verbesserten sich jedoch dramatisch, wenn das Modell mit dem angepassten SCM konditioniert wurde.
Kurz gesagt: Das LLM weiß mehr, als es unmittelbar mitteilen kann.
Das Forschungsteam ist der Ansicht, dass dieser SCM-basierte LLM-Ansatz eine vielversprechende neue Methode zur Untersuchung von simuliertem Verhalten in großem Maßstab darstellt, die bestehenden agentenbasierten Methoden deutlich überlegen ist.
Die Methode ermögliche kontrollierte Experimente in großem Maßstab, sei interaktiv und anpassbar und gewährleiste eine hohe Wiederholbarkeit der Ergebnisse. Für die Sozialwissenschaften könne sie ein ähnlicher Durchbruch sein wie Alphafold für die Proteinforschung oder GNoME für die Materialforschung.
"Das in diesem Beitrag vorgestellte System kann diese kontrollierten experimentellen Simulationen massenhaft mit vordefinierten Plänen für die Datenerfassung und -analyse erstellen. Dies steht im Gegensatz zu den meisten akademischen sozialwissenschaftlichen Forschungen, wie sie derzeit praktiziert werden", schreiben die Forscher.
Im Gegensatz zu offenen sozialen Simulationen, bei denen die Auswahl und Analyse der Ergebnisse schwierig sein kann, beschreibt der SCM-Rahmen genau, was als nachgelagertes Ergebnis gemessen werden soll. Dadurch werde vermieden, dass die Kausalstruktur im Nachhinein aus Beobachtungsdaten abgeleitet werden muss, was problematisch sein kann.
Es bleibt jedoch die Herausforderung, die in der Simulation generierten Ergebnisse auf das tatsächliche menschliche Verhalten zu übertragen.
Bereiche für zukünftige Forschung seien etwa, wie man den LLM-Agenten am besten Attribute zuweist, wie man die sozialen Interaktionen zwischen den Agenten am besten gestaltet und wie der Ansatz für automatisierte Forschungsprogramme genutzt werden könnte.
Im größeren Zusammenhang ist die Studie ein weiteres mögliches Beispiel dafür, wie generative KI andere Wissenschaften beschleunigen kann.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.