KI-Start-up Thinking Machines will die Unberechenbarkeit großer Sprachmodelle zähmen

Das Start-up Thinking Machines Lab hat analysiert, warum große Sprachmodelle auch bei identischen Fragen und Temperatur 0 (= immer die wahrscheinlichste Antwort) unterschiedliche Antworten liefern.

Laut Thinking Machines liegt die Ursache, wie oft vermutet, nicht allein an der Rechengenauigkeit von Grafikkarten, sondern daran, dass das Modell je nach Serverauslastung unterschiedlich rechnet. Das Team hat daher eigene Rechenwege entwickelt, damit Antworten unabhängig von der Auslastung immer gleichbleiben. Wenn solche deterministischen Ausgaben möglich würden, wäre das ein Fortschritt für verlässliche KI-Forschung, reproduzierbare Anwendungen in Unternehmen und vertrauenswürdige wissenschaftliche Auswertungen.