Warum große KI-Modelle bestimmte Aufgaben lernen und kleine nicht
Kleine Sprachmodelle scheitern an seltenen Aufgaben, weil häufige Aufgaben das Gelernte ständig wieder überschreiben. Eine neue Studie mit Modellen von 4 Millionen bis 4 Milliarden Parametern zeigt diesen Mechanismus im Detail und liefert einen pragmatischen Ausweg: Statt Modelle aufzublasen, kann es reichen, die Häufigkeit der Zielaufgabe in den Trainingsdaten gezielt zu erhöhen.
Streaming-Sprachmodell hört dauerhaft mit und entscheidet selbst, wann es spricht
Das KI-Modell „Audio-Interaction“ hört permanent mit und entscheidet alle 0,4 Sekunden, ob es schweigt oder spricht. Anders als GPT-4o oder Qwen3.5-Omni wartet es nicht auf das Ende einer Aufnahme, sondern übersetzt, transkribiert, chattet und erkennt Alltagsgeräusche wie Husten in einem einzigen Stream. Code und eine Anleitung zum Download der Gewichte stehen auf GitHub bereit.
Turing-Preisträger Sutton: Generative KI ist gut im Nachahmen, aber unfähig zur Entdeckung
Turing-Preisträger Richard Sutton sieht eine zentrale Schwäche gewöhnlicher generativer KI: Sie kann ihre eigenen Ergebnisse nicht bewerten. Ohne diese Fähigkeit bleibe echte wissenschaftliche Entdeckung unmöglich: Neuheit flackere nur kurz auf und gehe wieder verloren. Systeme wie AlphaGo oder AlphaProof zeigen laut Sutton, dass erst eingebaute Bewertungsschleifen KI zu genuiner Kreativität befähigen.