Das Erkennen von Zusammenhängen gehört zu den Kernfähigkeiten eines KI-Modells. Spezialisierte Sprachmodelle machen sich dies zunutze, um Verbindungen zwischen verschiedenen Forschungsgebieten aufzuzeigen.
Markus J. Buehler, Forscher am Massachusetts Institute of Technology (MIT), stellt eine Strategie namens "MechGPT" vor, die speziell für die Untersuchung von Materialversagen entwickelt wurde. MechGPT ist aber auch für andere Gebiete interessant. Es zeigt, wie spezialisierte Sprachmodelle trainiert werden können, um Wissen abzurufen, Hypothesen zu generieren und Verbindungen zwischen verschiedenen Forschungsgebieten herzustellen.
LLaMa-2-Modell als Basis
Die Entwicklung von MechGPT erfolgte in mehreren Schritten. Zunächst extrahierte Buehler mit Hilfe eines Sprachmodells gezielt Frage-Antwort-Paare aus Textpassagen des Buches "Atomistic Modeling of Materials Failure".
Mit diesen extrahierten Daten trainierte er dann ein spezialisiertes Modell. Als Grundlage wählte Buehler OpenOrca-Platypus2-13B, das auf LLaMa-2 basiert und sich auf dem Niveau von OpenAIs GPT-3.5 bewegt.
Im begleitenden Paper stellt der Forscher drei Versionen von MechGPT mit Modellgrößen von 13 und 70 Milliarden Parametern vor, die Texteingaben von über 10.000 Tokens verarbeiten können.
Bühlers Studie zeigt, dass MechGPT zumindest für eine Vielzahl von Aufgaben im untersuchten Forschungsbereich geeignet ist. Ein Biologe und ein Experte für molekulare Modellierung diskutieren beispielsweise über die Entwicklung eines superfesten Materials.
Der Experte möchte die winzigen Atome und wie sie brechen untersuchen, während der Biologe von starken Dingen in der Natur wie Muscheln und Spinnennetzen lernen möchte.
Der Experte für molekulare Modellierung wird wie folgt definiert: "Sie sind Experte für Materialversagen, insbesondere unter Verwendung atomistischer Modellierung und Molekulardynamik. Sie liefern viele Details über Versagensmechanismen und atomistische Details. Sie liefern viele Ideen für Modellierungsmethoden, die zur Untersuchung der diskutierten Ideen oder Phänomene im Bereich der Werkstoffentwicklung verwendet werden können."
Der andere Vertreter, der Biologe, hat diese Eigenschaften: "Sie sind ein Experte in Biologie. Sie argumentieren für die Anwendung biologischer Prinzipien bei der Untersuchung des Versagens. Sie liefern viele detaillierte Ideen für die Entwicklung und Herstellung besserer, belastbarerer und bruchfesterer Materialien".
Das Gespräch entwickelt sich:
Biologe: Wie lässt sich ein bruchsicheres Nanokomposit aus Graphen und dem Polymer PLA am besten konstruieren? Diskutieren Sie spezifische Fragen wie Größe und Mechanismen.
Molecular-Modelling-Experte: Die Entwicklung eines bruchfesten Nanoverbundwerkstoffs aus Graphen und dem Polymer PLA erfordert ein umfassendes Verständnis der atomaren Struktur des Materials und der Mechanismen, die sein Versagen steuern.
Atomistische Modellierung und Molekulardynamik-Simulationen ermöglichen es, das Verhalten des Materials auf der Nanoskala zu untersuchen und seine Eigenschaften zu optimieren. Bei der Entwicklung eines solchen Materials ist es wichtig, den Maßstab zu berücksichtigen, in dem das Material eingesetzt wird, da die Festigkeit des Nanokomposits von seiner Größe abhängen kann.
Außerdem muss die Grenzfläche zwischen dem Graphen und dem PLA-Polymer sorgfältig gestaltet werden, um eine optimale Haftung und Bruchfestigkeit zu gewährleisten. Zu den Modellierungsmethoden, die zur Untersuchung des Materialverhaltens eingesetzt werden können, gehören Molekulardynamik-Simulationen mit interatomaren Potenzialen wie dem Lennard-Jones-Potenzial zur Modellierung der Graphen-PLA-Grenzfläche. Diese Simulationen können dazu beitragen, kritische Versagensmechanismen zu identifizieren und Möglichkeiten zur Verbesserung der Bruchfestigkeit des Materials vorzuschlagen.
Insgesamt erfordert die Entwicklung eines bruchfesten Nanokompositmaterials aus Graphen und PLA-Polymer ein gründliches Verständnis der atomaren Struktur des Materials und der Mechanismen, die sein Versagen bestimmen, sowie die Entwicklung optimierter Modellierungsmethoden zur Untersuchung seines Verhaltens.
Biologe: Sie haben einige wichtige Punkte angesprochen. Als Biologe würde ich aber sagen, dass wir auch bei der Entwicklung bruchfester Materialien viel von der Natur lernen können. Die Natur hat es in Jahrmillionen der Evolution perfektioniert, Materialien zu schaffen, die sowohl stark als auch widerstandsfähig sind. Ein Beispiel dafür ist die Struktur von Perlmutt. Es besteht aus mikroskopisch kleinen Plättchen aus Aragonit, einer Form von Kalziumkarbonat, die in einem mauerartigen Muster angeordnet sind.
Diese Struktur verleiht Perlmutt seine unglaubliche Zähigkeit und Bruchfestigkeit. Perlmutt kann bis zu 3.000 Mal zäher sein als das Aragonit, aus dem es besteht, weil die mikroskopisch kleinen Plättchen bei Belastung übereinander gleiten, anstatt zu brechen.
Bei unserem Graphen-PLA-Nanokomposit könnten wir diese Ziegelsteinstruktur auf der Nanoskala nachahmen, indem wir die Graphenblätter und das PLA-Polymer in einem ähnlichen Muster anordnen, um die Bruchfestigkeit zu erhöhen. Auch die Untersuchung biologischer Systeme kann uns helfen, die Mechanismen des Versagens besser zu verstehen.
Wenn man zum Beispiel untersucht, wie Knochen brechen und heilen, kann man Einblicke in die Entwicklung von Materialien gewinnen, die Brüchen standhalten oder sich sogar selbst heilen können, wenn sie beschädigt wurden. Zusammenfassend lässt sich sagen, dass die Einbeziehung biologischer Prinzipien in die Versagensanalyse wertvolle Erkenntnisse für die Entwicklung von widerstandsfähigeren und bruchfesteren Werkstoffen liefern kann.
[...]
Durch den teilweise modularen Aufbau mittels Rotary Positional Embeddings kann die wissenschaftliche Basis leicht erweitert werden.
Gleichzeitig weist Buehler darauf hin, dass bei der Interaktion mit dem Modell und der Wahl der Parameter Vorsicht geboten ist. Er empfiehlt unter anderem, die Prompts so präzise wie möglich zu formulieren und das Modell zu bitten, seine Antworten Schritt für Schritt zu erklären, um Halluzinationen so gering wie möglich zu halten.
Mehrere Sprachmodelle, die sich ergänzen
In zukünftigen Weiterentwicklungen könnten auch Multi-Agenten-Strategien, bei denen mehrere spezialisierte Sprachmodelle miteinander kommunizieren, die klassische Interaktion mit MechGPT ergänzen.
Buehler zufolge bietet MechGPT vielfältige Anwendungspotenziale über die untersuchten Forschungsgebiete hinaus. So könnte das Modell in einem „virtuellen Labor“ als Assistent für Experimente dienen oder über Agenteninteraktionen simulierte Lehrer-Schüler-Dialoge ermöglichen. Darüber hinaus bestehe ein großes Potenzial für industrielle Anwendungen, etwa bei der Entwicklung neuer Technologiekonzepte oder kreativer Problemlösungen.
Durch die Kombination mit Methoden wie „Few-Shot Learning“ sind auch Optimierungen oder Vorhersagen des Materialverhaltens möglich. An der Schnittstelle von Wissenschaft und Kunst könnte MechGPT auch dazu beitragen, das Verfahren für generative und kreative Anwendungen zu nutzen, z.B. durch individuelle Designs und Visualisierungen.
Das Papier ist der erste Schritt zur Entwicklung eines Frameworks für fein abgestimmte Sprachmodelle. Durch Training an größeren Datenmengen und die Integration moderner Textextraktionsverfahren, wie z.B. optische Zeichenerkennung für Formeln, können leistungsfähigere Modelle entwickelt werden.
Die Ergebnisse der ersten Modellvarianten sind vielversprechend, wenngleich eine sorgfältige Validierung sowie die Einbettung in einen breiteren Methodenkanon unabdingbar sind. Insgesamt eröffnen die vorgestellten Ansätze neue Wege für den Einsatz von KI-Methoden in der wissenschaftlichen Forschung.
