Das Start-up Thinking Machines Lab hat analysiert, warum große Sprachmodelle auch bei identischen Fragen und Temperatur 0 (= immer die wahrscheinlichste Antwort) unterschiedliche Antworten liefern.
Anzeige
Laut Thinking Machines liegt die Ursache, wie oft vermutet, nicht allein an der Rechengenauigkeit von Grafikkarten, sondern daran, dass das Modell je nach Serverauslastung unterschiedlich rechnet. Das Team hat daher eigene Rechenwege entwickelt, damit Antworten unabhängig von der Auslastung immer gleichbleiben. Wenn solche deterministischen Ausgaben möglich würden, wäre das ein Fortschritt für verlässliche KI-Forschung, reproduzierbare Anwendungen in Unternehmen und vertrauenswürdige wissenschaftliche Auswertungen.
Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
