KI-Modellkunde - Fundierte Entscheidungshilfe für KI-Modelle im Unternehmen

Einführung & Grundlagen KI-Modelle sind so etwas wie die Motoren für KI-Anwendungen und können für hitzige Diskussionen sorgen. Welches schreibt am elegantesten? Welches weiß am meisten? Welches hat interessante Zusatzfähigkeiten? Unstrittig ist dagegen, dass die kundige Wahl des am besten geeigneten Modells ein entscheidender Baustein für den Erfolg beim KI-Einsatz sein kann. Dieser Deep Dive widmet sich daher der „Modellkunde“. Wir stellen Ihnen die verschiedenen großen Modellfamilien vor, zeigen ihre Leistungsunterschiede anhand von bekannten Benchmarks und eines eigens für Sie entwickelten Benchmarking-Verfahrens von Heise KI Pro, das unsere umfangreiche anekdotische Erfahrung in eine systematische Form bringt. Es kann Ihnen helfen, die Modellauswahl für größere Projekte zu systematisieren und auf objektive Füße zu stellen. Aber auch, wer besser verstehen will, warum er mit unterschiedlichen Modellen verschiedene Ergebnisse bekommen hat, ist hier richtig. Aufgrund der Fülle von Modellen haben wir uns auf die wichtigsten Modellfamilien konzentriert. Wir beschränken uns in diesem Deep Dive auf textgenerierende Modelle – Modelle, die Bild-, Audio- und Videogenerierung anbieten, behandeln wir in einem zukünftigen Deep Dive. Wir würden uns auch sehr über Ihre Erfahrungen freuen: Die Auswertung von Benchmarks kann nur einen Teil der Wahrheit über die aktuellen KI-Modelle abbilden, viele der Fähigkeiten zeigen sich erst im täglichen Einsatz. Hintergrund: LLMs versus LRMs Zunächst die Grundlagen: Die aktuell am häufigsten eingesetzten Modelle im alltäglichen KI-Einsatz sind sogenannte Large Language Models (LLM). Large Language Models Kurz zusammengefasst: LLMs LLMs geben die erste beste Antwort, die ihnen richtig erscheint. Wenn man sie im Dialog zum Nachdenken bringt, revidieren sie häufiger mal und die Antworten werden besser. Sie sind kreativ und eignen sich daher gut zum Schreiben von Texten und zur Kommunikation, etwa in Chats. LLMs sind eine Klasse von KI-Modellen, die auf vielen Textdatensätzen trainiert wurden, um Sprache zu verstehen und zu generieren. Ihre technische Basis sind tiefe neuronale Netze, insbesondere die Transformer-Architektur. Letztere war im Jahr 2017 ein großer Durchbruch, da sie durch einen Attention-Mechanismus ermöglicht, den Kontext zwischen Wörtern über Textabschnitte hinweg zu erfassen, statt nur von einem Wort zum nächsten. So können diese LLMs flüssige und kontextuell kohärente Texte erzeugen und damit etwa Zusammenfassungen erstellen oder Fragen beantworten. Ein wirkliches Verständnis über den vorgetragenen Inhalt haben sie jedoch nicht. So verständig der Output auch erscheint, steht dahinter nur die probabilistische Vorhersage des nächsten Wortes in einem Satz: „LLMs sind keine ‚intelligenten‘ Systeme im menschlichen Sinn, sondern hochkomplexe stochastische Papageien, die Sprache so gut imitieren können, dass Menschen ihnen Verständnis zuschreiben“, erklärt die Computerlinguistik-Professorin Dr. Emily M. Bender in einem viel beachteten Beitrag – auch wenn es andere Perspektiven gibt. Das statistische Grundprinzip wird vor allem dann deutlich, wenn es um Weltwissen etwa zu physikalischen oder logischen Zusammenhängen geht oder um simple mathematische Aufgaben wie das Zählen von Buchstaben in Worten. Mit der in Social Media populär gemachten Trickfrage „Wie viele ‚e‘ enthält das Wort ‚Erdbeere‘?“ kann man viele LLMs aufs Glatteis führen, die zu wenig oder zu viele ‚e‘ angeben (hier eine Erläuterung der Hintergründe) und auch nach wiederholter Aufforderung mit voller Überzeugung auf ihrer falschen Antwort beharren oder diese wahlweise in eine andere falsche Antwort korrigieren. Dabei tun sie so, als hätten sie den Fehler verstanden. In der Praxis können und werden LLMs daher Fehler in ihren Antworten generieren. Diese Fehler können verschiedene Ursachen haben und bei verschiedenen Anwendungen auftreten, etwa wenn Fragen zu einem Dokument gestellt werden, das die angeforderte Information nicht enthält, wenn eine Zusammenfassung mit Auslassungen erzeugt wird oder wenn die Buchstaben in „Erdbeere“ gezählt werden sollen. Diese und viele andere Szenarien erzeugen das, was gemeinhin als „Halluzinationen“ bezeichnet wird – alles von kleinen Fehlern bis zu überzeugenden Falschinformationen im großen Stil, etwa wenn das Modell seine Fehler rechtfertigen will. Manche Forscher nennen das einfach Bullshit. Large Reasoning Models (LRM) Kurz zusammengefasst: LRMs Bei LRMs dauert es eine ganz Zeit, bis man eine sorgfältig abgewogene Antwort bekommt. Die Antworten von LRMs sind dann am besten, wenn es klar richtige und mit logischen Mitteln überprüfbare Antworten gibt, wie etwa bei mathematischen Fragen. Aufgrund solcher Einschränkungen wurden LLMs weiterentwickelt, um auch logisches Schlussfolgern, kausales Denken und schlussendlich Problemlösungen zu beherrschen. Unter dem Begriff „Reasoning Model“ kündigte OpenAI im September 2024 die Variante o1 an und machte damit den Begriff LRM populär. Die grundlegende Idee hinter LRMs stammt aus dem Prompting-Prinzip „Chain of Thought“, bei dem man ein KI-Modell auffordert, eine Aufgabe systematisch Schritt für Schritt zu lösen. Dabei erzeugt es vor der eigentlichen Antwort Gedankenketten, die dem Modell dabei helfen können, eine richtige Antwort zu geben. LRMs wurde diese Art, Aufgaben zu durchdenken, von Anfang an beigebracht – über das sogenannte Reinforcement Learning, also die Optimierung von Lösungswegen, die sich die KI eigenständig sucht, durch Feedback beim richtigen oder falschen Lösungsweg. Reinforcement Learning ist eine der KI-Forschung lange bekannte Methode, um KI-Systeme möglichst selbstständig ein ihnen gesetztes Ziel erreichen zu lassen. Die Wirksamkeit der Methode zeigten Durchbrüche wie der Sieg von DeepMinds AlphaGo gegen den Go-Großmeister Lee Sedol 2016. Das verdeutlicht auch, warum LRMs vorwiegend bei Fragen mit eindeutiger Antwort besonders gut sind, denn hier ist klar, was man belohnen und was man bestrafen sollte – anders als etwa bei einem literarischen Text oder einer Kreativaufgabe. Ein LRM, das im Kern immer noch ein LLM ist, versucht, sich den Weg zur bestmöglichen Antwort per Wortvorhersagen in Gedankenketten zu erschließen. Es bleibt also weiter ein wahrscheinlichkeitsbasiertes KI-System. Man kann diesen „Denkprozess“ bei vielen Modellen live mitverfolgen und damit einen Eindruck von der Arbeit solcher LRMs bekommen, wie der folgende Deepseek-Screenshot zeigt. Über Gedankenketten soll sich ein LLM zu einer besseren Antwort schlussfolgern. Daher kommt der Begriff des Large Reasoning Models. Die Frage sollte das LRM auf eine Probe stellen: Matthäus ist ein bekannter Fußballspieler und in Frankfurt am Main gibt es einen bekannten Fußballverein – bei dem Matthäus allerdings nie gespielt hat. Die semantische Nähe legt hier nahe, dass das LLM Matthäus Eintracht Frankfurt zuordnet oder eine andere Verbindung zu Frankfurt herstellt. Aber das LRM, in diesem Fall Deepseek-R1, generiert durch Gedankenketten so viele Szenarien, dass am Ende die Wahrscheinlichkeit einer richtigen Antwort steigt. Signalwörter wie „vielleicht“ oder „ich sollte“ sorgen dafür, dass das Modell weiterdenkt oder eine andere Perspektive einnimmt. Sogar eine Namensverwechslung zieht es in Betracht. Der derzeit bekannteste Vertreter von Reasoning-Modellen ist die o-Serie von OpenAI. Aber auch andere Firmen wie Google, Anthropic, oder Deepseek entwickeln solche LRMs. Gedankenketten + mehr Nachdenkzeit = bessere KI? Die Modelle sind also im Kern Sprachmodelle, die nach einem umfangreichen Training mit großen Datenmengen (Pre-Training) durch Reinforcement Learning „denken“ lernen. In der Praxis werden dazu überprüfbare Probleme wie Matheaufgaben, Logikrätsel oder Code verwendet. Das Modell versucht diese zu lösen, erhält positives oder negatives Feedback und lernt so im Laufe der Zeit, Gedankenketten zu generieren, die zur Lösung führen. Dieser Prozess wird oft als Post-Training bezeichnet, da er nach dem bisher üblichen primären Trainingslauf des Sprachmodells stattfindet. Vor den aktuellen LRMs nutzte beispielsweise OpenAI das Post-Training, um die Ausgabe der Modelle durch menschliches Feedback stärker an menschliche Präferenzen anzupassen. Ein wichtiger Unterschied: Das Post-Training von Modellen wie GPT-4 war zwar ebenfalls aufwendig, benötigte aber deutlich weniger Daten und Rechenleistung als das Pre-Training der Modelle. Bei LLMs verschiebt sich das langsam: Moderne LLMs werden mit 100 Billionen Token Trainingsdaten wie Text und Code trainiert, dann aber mit ähnlich großen Datenmengen (Matheaufgaben …) via Reinforcement Learning zu LRMs trainiert – Tendenz steigend. Denn je mehr Problemdomänen ein LRM abdecken soll, desto mehr Daten aus diesen Domänen werden benötigt. Bei diesen Daten handelt es sich häufig um synthetische – also KI-generierte – Varianten von Aufgaben aus diesen Bereichen. Einmal trainiert, kann das LRM dann sinnvolle Gedankenketten generieren, die oft deutlich länger sind als die eigentliche Antwort. Während LLMs also sofort mit der Antwort beginnen, investieren LRMs mehr Zeit in die Denkzeit zwischen Benutzeranfrage und Antwort (Fachbegriff „Inferenz“). In der Literatur spricht man hier von einem höheren „test-time compute“, d. h., es wird mehr Rechenleistung in die Inferenz investiert. Studien wie Hugging Face zeigen, dass dies ein Weg zu besseren Ergebnissen sein kann. Gleichzeitig entstehen aber auch neue Herausforderungen, wie der Verbrauch von mehr Rechenleistung. Mehr dazu später im Abschnitt „Zukunft“. Abseits dieser Methode gibt es noch zahlreiche andere Ansätze, mit denen versucht wird, Sprachmodelle zu verbessern. Die folgende Abbildung zeigt, wie vielfältig diese sind und wie unterschiedlich ihr Einsatz je nach Modell ist. Es wird auf einen Blick klar, dass hier ein großes Feld an Möglichkeiten ist, das zu deutlichen Unterschieden im Ergebnis führen kann. LLM Post-Training: A Deep Dive into Reasoning Large Language Models Tabelle: Vergleich LLMs vs. LRMs Eigenschaft LLMs LRMs Ansatz Autoregressive Textgenerierung Logische Schlussfolgerung und Problemlösung Wissensbasis Internes Modellwissen Kombination aus Modellwissen und logischen Methoden Stärken Flüssige Sprache, kreative Texte Komplexe Analysen, logischeres Denken Schwächen Halluzinationen, statisches Wissen Hohe Rechenkosten, langsamere Verarbeitung Reaktionszeit Meist schnell (Sekunden) Langsamer (bis zu mehreren Minuten) Typische Aufgaben Texterstellung, einfache Fragen Mathematik, Programmierung, komplexe Analysen Der Trend: Hybride Modelle Da beide Modelltypen ihre Vor- und Nachteile haben, wird in der Praxis mehr und mehr versucht, eine Mischung beider zu entwickeln. Erste Beispiele sind etwa Claude Sonnet 4 oder GPT-5, bei denen man jedoch noch manuell auswählen muss, in welchem Modus sie arbeiten sollen. Ein erwünschter positiver Nebeneffekt einer Kombination ist es, den Entscheidungsaufwand für die Nutzerinnen bei der Auswahl zu senken. Der Trend geht dahin, dass die KI-Modelle selbstständig nahtlos zwischen verschiedenen Verarbeitungsmodi wechseln können – ähnlich wie unser Gehirn je nach Anforderung unterschiedliche neuronale Netzwerke aktiviert. Entsprechend umgesetzt wurde das von OpenAI für ChatGPT 5, das automatisch das beste Modell (LLM oder LRM) für die Aufgabe auswählen kann. Die Zukunft Das weltweite Wettrennen um KI führte in den vergangenen Jahren zu einer rasanten Entwicklung immer neuer Modelle (siehe Abbildung), die mit immer mehr Daten immer aufwendiger trainiert wurden. Dadurch wurde ihre Herstellung jedoch langwierig und kostspielig – ein Trainingslauf kann mehrere hundert Millionen US-Dollar kosten, wie für ChatGPT 4o kolportiert wurde. Dieser Entwicklungspfad beim sogenannten „Pre-Training“ stößt mittlerweile monetär und technisch an seine Grenzen: Die Fähigkeiten der reinen Sprachmodelle nehmen nicht mehr exponentiell zu und benötigen immer mehr Rechenleistung. Außerdem gehen der Branche langsam die realen Daten aus. Der frühere OpenAI-Chefforscher Ilya Sutskever sprach in diesem Kontext schon von „Peak Data“. Ein möglicher Weg vorwärts sind synthetische Daten. Es ist daher zu erwarten, dass vor allem Optimierungen während der Post-Trainingsphase – so wie das oben beschriebene Reinforcement Learning – verstärkt in den Blickpunkt rücken, um die teuren Basis-Modelle schneller und kostengünstiger zu verbessern. Deepseek hat mit R1 Wege zum Einsatz verschiedener Optimierungs-Methoden aufgezeigt, wie Quantisierung oder der Optimierung der benötigten Rechenleistung bei der Ausführung (Test Time Compute) in Kombination mit etablierten Ansätzen wie Mixture of Experts (MOE). Kleinere, spezialisierte Reasoning-Modelle sind ebenfalls in der Diskussion, und sie könnten, anders als bei LLMs, das Rennen gegen die universellen Modelle in Bezug auf Preis und Qualität gewinnen. OpenAI beispielsweise hat Start-ups dazu ermutigt, sich auf vertikale LRMs für sehr spezifische Jobprofile zu konzentrieren, und bietet eine Reinforcement Learning-Schnittstelle für seine eigenen Modelle an. Schließlich geht auch die Grundlagenforschung weiter. Ständig erscheinen neue Veröffentlichungen über Methoden, die die Leistung oder die Qualität der Ergebnisse von LLMs/LRMs verbessern und vor allem die Erstellung und den Betrieb kostengünstiger machen könnten. So hat etwa Microsoft kürzlich mit der „Balanced Scaling Technique“ (BST) einen Ansatz zur Optimierung von Transformer-Modellen vorgestellt. Derartige Innovationen gibt es viele und sie haben in den vergangenen Monaten dazu geführt, dass KI-Modelle effizienter und zugänglicher geworden sind. Wo genau in Zukunft die größte Wertschöpfung stattfinden wird, ist eine globale Milliardenwette. Sutskever von SSI, der ein neues KI-Start-up namens Safe Super Intelligence gegründet hat, sagte Reuters Ende 2024: „Die 2010er Jahre waren das Zeitalter der Skalierung, jetzt sind wir wieder im Zeitalter des Staunens und Entdeckens.“ Versionsnummern und Zusätze Wer in unsere Tabellen oder Modell-Plattformen wie Hugging Face schaut, findet auf den ersten Blick eine große Anzahl an Modell-Varianten, die sich grob in „Familien“ gliedern lassen. Ein Wegweiser: Familienname: Die Namensgebung der Modellfamilie reicht von beschreibend (GPT etwa steht für Generative Pre-trained Transformer) bis zu lyrisch (Claude etwa soll nach dem Mathematiker Claude Shannon benannt sein). Und manche Firmen wie Anthropic vergeben Apple-like neben der Nummer noch einen Namen wie Sonnet oder Opus. Die Keyplayer wie OpenAI haben gleich mehrere Familien im Rennen. Versionsnummer: Da die Erstellung eines neuen Modells mehrere Monate dauern kann, wird das Ergebnis anschließend mit einer neuen Versionsnummer (oder Teilversion wie Claude Opus 4.1) veröffentlicht und nicht etwa laufend mit kleinen Teilversionen, wie bei Software mittlerweile gewohnt. Parameter: Da bei den populären Massenmodellen immer mehr Wissen verarbeitet wird, sind die meisten enorm und erfordern umfangreiche und teure Rechnerkapazitäten fürs Hosting und schnelle Antwortzeiten. Die Hersteller entwickelten deshalb innerhalb eines Modells Varianten, die weniger Parameter enthalten. Sie sind daher oft schneller und – sofern verfügbar – auch lokal auf Consumer-Hardware lauffähig. In den meisten Fällen sind sie weniger leistungsfähig als ihre größeren Varianten. Sie sind z. B. an Begriffen wie „mini“ (etwa in „ChatGPT o3-mini“) oder einer Zahl wie 70B z. B. bei LLaMA-3.3-70B für die 70 Milliarden Parameter zu erkennen. Grundsätzlich gilt: Je mehr Parameter, desto rechenintensiver. Knowledge Cutoff: Das Cutoff-Datum bezeichnet den Zeitpunkt, bis zu dem das Modell mit Informationen trainiert wurde. Es verfügt entsprechend ohne Internetanbindung über keine Kenntnisse über Ereignisse oder Daten nach diesem Zeitpunkt. Kontextfenster: Das Kontextfenster ist der maximale Umfang von Eingaben, den das Modell für seine Antworten gleichzeitig verarbeiten kann. Modalitäten: Sprachmodelle, LLMs im engeren Sinne, können Text als Eingabe akzeptieren und Text ausgeben. Viele Sprachmodelle sind heute jedoch multimodal trainiert, d. h., sie können etwa Bilder als Eingabe akzeptieren und in Text beschreiben. Erste Modelle bieten volle Multimodalität für Eingabe und Ausgabe. So kann etwa ein Bild in eine Audiodeskription umgewandelt werden. Man spricht dann auch von LMLs, d.h. „Large Multimodal Models“. Methodik: Systematische Evaluierung von KI-Modellen Die Auswahl eines geeigneten LLMs oder LRMs für spezifische Unternehmensanwendungen erfordert eine umfassende und systematische Evaluierung – aber wie sieht diese aus? Im Rahmen unserer Modellkunde verfolgen wir einen mehrstufigen Ansatz, der anerkannte Benchmarks und praxisnahe Anwendungsfälle berücksichtigt. Diese Kombination verknüpft die oft abstrakte Performance in Benchmarks mit der tatsächlichen Nutzung in eigenen realen Anwendungsszenarien. Unserer Deep Dive gibt einen Überblick über die verschiedenen Modelle und ihre Stärken und zeigt zudem, wie wir sie für zwei typische Heise-Use Cases evaluiert haben. Diese Vorgehensweise können Sie auf Ihre eigenen Anwendungsfälle übertragen. Systematische Evaluation mit mehrstufigem Benchmarking Trotz der Vielzahl an quantitativen Benchmarks zeigt unsere Erfahrung, dass die reale Leistung eines KI-Modells oft nicht durch eine einzelne Kennzahl erfasst wird. Die Diskrepanz zwischen Benchmark-Ergebnissen und praktischer Nutzererfahrung macht das besonders deutlich: Ein Blick auf Chatbot Arena – ein wichtiger Benchmark – zeigt in der Kategorie Creative Writing etwa Googles Gemini 2.5 Pro auf Platz 1. Für die Sprache Deutsch führt aber OpenAI mit dem Modell GPT-5-high an. Das zeigt: Standardisierte Benchmarks allein sind kein verlässlicher Indikator für die Leistung eines Modells in spezifischen Anwendungsfällen. Einzelne Benchmarks können bei der Modellauswahl daher immer nur als Orientierung dienen. Diese Erkenntnis führt in der Praxis oft zum unstrukturierten Ausprobieren verschiedener Modelle im eigenen Anwendungskontext, um herauszufinden, welches für die spezifischen Anforderungen am zuverlässigsten funktioniert. Mit der richtigen Auswahl an Benchmarks sowie systematischen Use-Case-Tests können wir jedoch den Suchraum aller zur Verfügung stehenden Modelle stark eingrenzen, bevor wir zur praktischen Erprobung übergehen. Durch diese Kombination standardisierter Benchmarks mit spezifischen Use-Case-Tests schaffen wir eine fundierte Entscheidungsgrundlage für die Modellselektion. Unser Ansatz kombiniert daher mehrere Bewertungsebenen: Benchmark-Auswahl: Mit der richtigen Auswahl an Benchmarks können wir den Suchraum zunächst stark eingrenzen und vielversprechende Kandidaten identifizieren. Automatisierte Use-Case-Tests mit Promptfoo: Für die engere Auswahl entwickeln wir präzise Bewertungskriterien und implementieren diese als deterministische und modellbasierte Tests in Promptfoo (mehr dazu unten). Diese automatisierte Evaluation hilft, den Suchraum weiter zu reduzieren, und kann auch unerwartete Ergebnisse aufdecken – etwa Modelle, die in Benchmarks gut abschneiden, aber für spezifische Anwendungsfälle ungeeignet sind. „Vibe-based“ Benchmarking: Für die endgültige Auswahl führen wir manuelle Tests durch, bei denen wir neben objektiven Kriterien auch subjektive Aspekte wie Stil, Tonalität und „Gefühl“ der Ausgaben bewerten. Hier hilft es, wenn Sie bereits umfangreiche Erfahrungen mit verschiedenen Modellen für Ihren Use Case gesammelt haben. Benchmark-Auswahl Um die Leistungsfähigkeit der Modelle zu messen, haben wir relevante Benchmarks und Benchmark-Aggregatoren zusammengestellt, die unterschiedliche Aspekte beleuchten und so einen guten Eindruck davon vermitteln können, welche Modelle für spezifische Aufgaben geeignet sind. Da alle Benchmarks ihre eigenen Stärken und Schwächen haben, ist eine Kombination verschiedener Messverfahren essenziell. Für unsere Untersuchung haben wir dann aus den verschiedenen Modellfamilien jeweils die stärksten und teilweise auch die interessantesten Vertreter ausgewählt – etwa, weil sie Open Source verfügbar sind. Ergänzend haben wir zwei spezifische Use-Cases entwickelt, die häufige Anwendungsszenarien abbilden und verschiedene Fähigkeiten testen. Der Fokus liegt dabei auf Textverarbeitung, was sich auch in der Auswahl der Benchmarks und Testmethoden widerspiegelt. Für Coding-Aufgaben würde man andere Kriterien anlegen und Benchmarks nutzen. Systematische Use-Case-Tests mit Promptfoo Für die systematische Evaluation unserer Use-Cases verwenden wir Promptfoo, ein Open-Source-Tool zur systematischen Qualitätssicherung von KI-Modellen. Promptfoo kann den Prozess der Modellbewertung strukturieren und reproduzierbarer gestalten. Das Tool fungiert als Kommandozeileninterface und Bibliothek, die speziell für die Evaluierung und Sicherheitsprüfung von Sprachmodellen entwickelt wurde. Es unterstützt Entwickler dabei, Prompts, Modelle und Retrieval-Augmented-Generation-Systeme (RAG) systematisch zu testen. Anstelle von unsystematischem Trial-and-Error bietet es einen testgetriebenen Ansatz mit klaren Metriken und reproduzierbaren Ergebnissen. Promptfoo kombiniert primär zwei unterschiedliche Testmethoden für eine ganzheitliche Evaluation: Die deterministischen Tests prüfen objektive, klar definierte Kriterien wie das Vorhandensein bestimmter Schlüsselwörter, die Einhaltung von Zeichenlimits oder Kostengrenzwerte. Sie liefern eindeutige Ja/Nein-Ergebnisse und sind besonders geeignet für technische Anforderungen und Compliance-Checks. Modellbasierte Tests hingegen bewerten subjektivere Qualitätsaspekte mittels KI. Sie nutzen Embeddings oder LLMs wie GPT-4o für Ähnlichkeitsvergleiche und evaluieren Aspekte wie inhaltliche Relevanz, stilistische Konsistenz oder argumentative Qualität. Diese Tests sind flexibler, aber naturgemäß abhängig von der Qualität des eingesetzten Bewertungsmodells. Wir haben Anthropics Modell Claude Sonnet 3.7 (zum Zeitpunkt des Tests das zuverlässigste Modell für diese Aufgabe) für diese Bewertungen verwendet. In unserer Evaluation setzen wir beide Testarten komplementär ein: Deterministische Tests dienen der Überprüfung grundlegender Anforderungen wie Formatierung, Länge und zu enthaltener Muss-Informationen, während modellbasierte Tests die inhaltliche Qualität hinsichtlich Verständlichkeit, Konsistenz und Nutzwert bewerten. Diese strukturierte Vorgehensweise hilft uns, auch subtile Unterschiede zwischen den Modellen zu erkennen und dokumentierbar zu machen. „Vibe-based“ Benchmarking Der dritte Punkt unserer Bewertungsebene – das „Vibe-based“ Benchmarking – kann individuell unterschiedlich ausfallen. Daher haben wir unsere persönliche Einschätzung aus den Bewertungen herausgehalten und eine Ampelbewertung für die Use Cases vorgenommen: Modelle, die eine grüne Bewertung erhalten, sind für die Aufgabe gut geeignet. Wo es klare Gewinner gibt, haben wir dies in unserer Einschätzung zu jedem Modell vermerkt. Dort finden Sie auch eine generelle Einstufung, wo vorhanden, aus unserer täglichen Erfahrung mit diesen Modellen, also unserem „Vibe“-Eindruck. Modelle, die eine gelbe Bewertung erhalten, haben Schwächen und sollten nur verwendet werden, wenn etwa die Notwendigkeit einer lokalen Ausführung dies erfordert oder Kosten eine übergeordnete Rolle spielen. Modelle, die in einem Use Case rot erhalten, sollten für diese Use Cases vermieden werden. Im Folgenden erfahren Sie mehr über unsere Modellauswahl, die Benchmarks und unsere Use Cases und wie wir diese bewertet haben. Modellselektion Für unsere Evaluation haben wir folgende Modellfamilien und Modelle ausgewählt. Modellfamilie Modellvarianten Amazon Nova Pro Claude-Serie Claude 3.7, Claude 3.7 (Thinking) DeepSeek-Serie Deepseek-V3, Deepseek-R1, Deepseek-R1-distill-llama-70B Gemini-Serie Gemini 2.0 Flash, Gemini 2.0 Pro (Exp), Flash Thinking (Exp) Grok-Serie Grok 3, Grok 3 (Reasoning Beta) Llama-Serie Llama 3.3 70B instruct Microsoft Phi-4 Mistral/Mixtral-Serie Mistral Large 2, Mistral Small 3 OpenAI GPT-Serie GPT-4.5 (Preview), GPT-4o (Nov. ’24) OpenAI o-Serie o1, o3-mini Qwen-Serie Qwen2.5-Max, Qwen QwQ-32B Diese Auswahl repräsentiert sowohl etablierte Sprachmodelle als auch neuere Reasoning-Modelle. Für einige der getesteten Modelle sind nicht alle Benchmark-Daten verfügbar, und einige befinden sich noch in der Entwicklung, sodass sich ihre Leistung darüber hinaus ändern kann – ein Grund mehr, warum wir Sie in die Lage versetzen möchten, selbst aussagekräftige Tests durchzuführen. Benchmarks Wir haben fünf Benchmarks ausgewählt, die eine umfassende Vorauswahl ermöglichen: zwei Benchmarks, die allgemeine Fähigkeiten und Schlussfolgerungen testen, einen, der Benutzerfeedback verwendet, und zwei Halluzinationsbenchmarks, die jeweils verschiedene Formen von Halluzinationen abdecken. 1. Artificial Analysis Intelligence Index (AAII) Der Artificial Analysis Intelligence Index ist ein umfassender Bewertungsansatz, der acht verschiedene Evaluierungsdatensätze kombiniert. Der Benchmark legt seinen Schwerpunkt auf drei Hauptbereiche: Allgemeines Wissen und Reasoning werden durch MMLU-Pro, HLE und GPQA Diamond abgedeckt. Mathematische Fähigkeiten werden anhand von MATH-500 und AIME 2024 geprüft. Der Bereich Programmierung wird durch SciCode und LiveCodeBench evaluiert. Zudem testet er Mehrsprachigkeit, die durch Multilingual MMLU und MGSM abgedeckt wird. Der AAII ermöglicht so einen zuverlässigen Überblick über die durchschnittliche Leistungsfähigkeit verschiedener Modelle in den relevantesten Industriebenchmarks unter standardisierten Bedingungen. 2. LiveBench LiveBench vermeidet Datenkontamination, das heißt, dass KI-Modelle Benchmark-Fragen schon aus den Trainingsdaten kennen, indem jeden Monat neue Fragen aus aktuellen Quellen erstellt werden. Der Benchmark besteht aus Aufgaben in sechs verschiedenen Kategorien: Mathematik, Codierung, Schlussfolgerung, Sprachverständnis, Befolgen von Anweisungen und Datenanalyse. Es dient in unserer Auswahl als Gegengewicht zum AAII, bei dem die Möglichkeit besteht, dass die Modelle bereits auf die dort verwendeten Benchmarks trainiert wurden. LiveBench wurde im Juni 2024 mit 960 Fragen gestartet und wird monatlich um neue und anspruchsvollere Aufgaben erweitert. 3. Chatbot Arena Dieser Benchmark basiert auf menschlichen Präferenzen durch ein Crowdsourcing-Verfahren und ermöglicht einen direkten Vergleich zwischen zwei zufällig oder gezielt ausgewählten Chatbots. Die Bewertung erfolgt anhand realer Nutzerfragen und deren Antworten, wobei eine differenzierte Betrachtung mit und ohne Berücksichtigung der Formatierung (Style Control) erfolgt. Chatbot Arena liefert somit wichtige Einblicke in die wahrgenommene Qualität der Modellantworten aus Nutzersicht, auch wenn davon auszugehen ist, dass die Modellhersteller ihre Produkte auf diesen bekannten Benchmark hin optimieren. 4. Vectara’s Hughes Hallucination Evaluation Der „Vectara’s Hughes Hallucination Evaluation“-Benchmark misst, wie oft Sprachmodelle Halluzinationen (faktische Inkonsistenzen) in Zusammenfassungen von kurzen Dokumenten erzeugen. Er misst die Übereinstimmung zwischen generierten Zusammenfassungen und Referenztexten und quantifiziert die Häufigkeit faktischer Abweichungen. Dieser Benchmark ist besonders relevant für Anwendungen, bei denen die genaue Zusammenfassung vorhandener Inhalte kritisch ist – und damit auch für RAG-Anwendungen (Retrieval-Augmented Generation), da er testet, ob LLMs nur die bereitgestellten Fakten verwenden und nicht ihr eigenes Vorwissen ungewollt einbringen. 5. LLM-Confabulation Der „LLM Confabulation“-Benchmark ist interessant für Datenauswertungen oder RAG-Anwendungen, bei denen KI-Modelle mit unvollständigen Daten konfrontiert werden. Er misst die Neigung, fehlende Details in den bereitgestellten Dokumenten zu halluzinieren – eine andere Form der Halluzination als im Vectara-Benchmark. Das Team hinter dem Benchmark nennt das „Konfabulation“. Wir verwenden diesen Begriff auch hier, um den Benchmark besser von Vectara zu unterscheiden. Der Benchmark verwendet 201 von Menschen überprüfte Fragen ohne Antworten im Referenztext, misst sowohl die Konfabulationsrate (falsche Antworten) als auch die Non-Response-Rate und ermöglicht eine differenzierte Auswertung nach verschiedenen Prioritäten. Für unsere Bewertung haben wir nur die Konfabulationsrate und nicht die Non-Response-Rate berücksichtigt, da wir uns auf Halluzinationen konzentrieren. Praxisnahe Use Cases Ergänzend zu den standardisierten Benchmarks haben wir zwei realitätsnahe Use Cases entwickelt, die häufigen Anwendungsszenarien für KI-Modelle entsprechen. Sie dienen jedoch in erster Linie als Beispiele und sollen vorwiegend den Mehrwert solcher Tests aufzeigen und Ihnen als Orientierung bei der Entwicklung eigener Use-Case-Tests dienen. Use-Case 1: LinkedIn-Post im Stil von Ansgar Heise Dieser Use-Case testet die Fähigkeit der Modelle, einen spezifischen Kommunikationsstil zu adaptieren. Im Prompt ist ein LinkedIn-Post gefordert, im Stil der Beispiele, die von Heise-CEO Ansgar Heises LinkedIn-Profil stammen. Als Quelle dienen Informationen zum IT-Summit von Heise in München im November 2024. Prompt Du bist Redakteur für soziale Medien und LinkedIn-Experte. Schreibe zu den Themen der Quelle einen Beitrag im Stil der Beispiele. Beziehe dich ausschließlich auf die Inhalte der Quellen. Füge am Ende des Beitrags folgendes ein, ohne es zu verändern: #selfielikeheise und einen weiteren passenden Hashtag Halte dich in Struktur, Tonalität, Grammatik und Stil exakt an die folgenden Beispiele, verwende sie aber auf keinen Fall inhaltlich. Gestern war ich zu Besuch bei yeebase, Herausgeber von dem t3n Magazin und der MIT Technology Review DE. Es ist immer wieder spannend zu sehen, wie die Redaktionen die neuesten Trends der digitalen Welt sowie aus Forschung & Entwicklung aufspüren und in interessante Formate übersetzen. Danke an Tobias Schäffer für den netten Empfang und den guten Kaffee. Ich freue mich darauf, gemeinsam mit den Kollegen und Kolleginnen neue Ideen zu entwickeln und die Leserinnen und Leser der beiden Magazine weiterhin mit den neusten Ergebnissen aus der Technik- und Wissenschaftswelt zu begeistern. #selfielikeheise #digitaltrends #t3n #mittechnologyreview …weitere Beispiele… Für die Bewertung via Promptfoo haben wir detaillierte Kriterien für strukturelle Präzision, Tonalität, inhaltliche Präzision und authentische Emotionalität entworfen, die teilweise mit deterministischen und größtenteils mit modellbasierten Tests überprüft wurden. Die deterministischen Bewertungen sind dabei deutlich unwichtiger, denn die Analyse des Testmodells (Claude 3.7) der generierten LinkedIn-Prompts ist angesichts der „soften“ Kriterien deutlich aussagekräftiger und speist die von uns als Bewertungssystem ausgesuchte Ampelbewertung. Diese Ampelbewertung vergibt für die vier Aspekte bis zu 10 Punkte, die anschließend zusammengezählt und normalisiert werden und so einen finalen Score zwischen 0 und 1 ergeben. Der Schwellenwert für die verschiedenen Ampelkategorien kann natürlich verändert werden, für uns lag er etwa für Grün bei 0,7. Es kann aber sinnvoll sein, diesen Wert noch höher anzusetzen. Hier ein Beispiel für die Bewertungsstruktur (Prompt) des modellbasierten Tests des LinkedIn-Beitrags: Bitte analysiere den Post detailliert nach allen vier Kriterien und gib für jede Kategorie eine nachvollziehbare Punktzahl an. 1. STRUKTURELLE PRÄZISION (0-10 Punkte): - Beginnt mit prägnanter, enthusiastischer Überschrift mit Ausrufezeichen - Hat 2-4 Absätze, die dem typischen Muster der Beispiele folgen - Endet mit genau "#selfielikeheise" und einem weiteren thematisch passenden Hashtag - Entspricht in Länge und Gliederung den Beispielen - Ist in der Sprache der Beispiele (Deutsch) verfasst 2. TONALITÄT & ANSGAR-HEISE-STIL (0-10 Punkte): - Verwendet die charakteristischen Formulierungen von Ansgar Heise - Nutzt durchgängig die Ich-Perspektive mit persönlichen Eindrücken - Trifft den enthusiastisch-positiven Grundton seiner Posts - Verwendet ähnliche Ausdrucksweisen wie "hatte das Vergnügen", "hat Spaß gemacht", etc. - Nutzt ähnliche Satzstrukturen und Übergänge wie in den Beispielen 3. INHALTLICHE GENAUIGKEIT (0-10 Punkte): - Erwähnt den IT Summit by heise in München am 18.-19. November - Bezieht sich korrekt auf die in der Quelle genannten Schwerpunkte (KI, Security, etc.) - Gibt die wesentlichen Aspekte der Veranstaltung wieder ohne falsche Zusätze - Fügt keine erfundenen Details, Namen oder Ereignisse hinzu - Bleibt inhaltlich vollständig im Rahmen der gegebenen Quelle 4. AUTHENTISCHE EMOTIONALITÄT (0-10 Punkte): - Drückt persönliche Begeisterung im typischen Stil von Ansgar Heise aus - Enthält mindestens einen Ausdruck der Dankbarkeit oder Wertschätzung - Beinhaltet mindestens eine zukunftsgerichtete positive Aussage - Erscheint natürlich und authentisch im Schreibstil - Trifft die richtige Balance zwischen professionell und persönlich Zusätzlich erhält das Bewertungsmodell (Claude 3.7) drei Beispiele von LinkedIn-Posts des CEOs, an denen es sich neben der Struktur orientieren kann. Aus der Punktevergabe ergibt sich folgende Bewertung, die ebenfalls im Prompt an das Bewertungsmodell übermittelt wird. Ampel-Kategorien: ROT (0.0-0.5): Verfehlt deutlich den Stil und/oder enthält gravierende inhaltliche oder sprachliche Mängel GELB (0.5-0.7): Trifft grundlegende Stilelemente, aber nicht vollständig überzeugend oder mit Schwächen GRÜN (0.7-1.0): Exzellente Stilnachahmung mit korrektem Inhalt, kaum von Originalbeiträgen zu unterscheiden Besonders wichtig: Der Post muss in deutscher Sprache sein, da alle Beispiele auf Deutsch sind. Use-Case 2: Executive Summary zu „10 Jahre Deutsche Bahn“ Dieser Use-Case prüft die analytischen Fähigkeiten und die Dateninterpretation. Die Modelle müssen dafür eine .csv mit Daten der Deutschen Bahn verarbeiten. Prompt Analysiere die Datei mit Fokus auf folgende Aspekte: CO₂-Emissionen, Umsatz- und Ergebnisentwicklung, Anteil erneuerbarer Energien, Pünktlichkeit und Mitarbeitendenentwicklung. Identifiziere Trends über die Jahre und untersuche mögliche Zusammenhänge zwischen den Kennzahlen. Erstelle eine detaillierte Auswertung aller Ergebnisse. Das Besondere an diesem Use-Case: Das Modell muss Fakten extrahieren und zudem erkennen, dass es etwa für die im Prompt nachgefragten Informationen zur Pünktlichkeit und zu erneuerbaren Energien keine Daten gibt. Das entspricht den Tests, die auch der LLM-Confabulations-Benchmark durchführt. Die zentralen Herausforderungen sind also Datenextraktion, Erkennung von Datenlücken, Trendidentifikation und die Herstellung von Verbindungen zwischen Kennzahlen. Die Evaluation erfolgt auch in diesem Fall über deterministische Tests, die in diesem Use Case deutlich nützlicher sind, da das Vorkommen bestimmter Kennzahlen überprüft werden kann. Für die deterministischen Tests mit Promptfoo verwenden wir Typen wie „contain-any“, mit dem die Ausgaben gezielt nach Wörtern durchsucht werden können, oder „factuality“, mit dem überprüft werden kann, ob eine Ausgabe Aussagen enthält, die einer von uns vorgegebenen Aussage nahekommen, die in unserem Fall bestimmte Fakten umfasst, wie: Die CO₂-Emissionen verbesserten sich von etwa –22,8 % (2014) auf etwa –40,1 % (2023) im Vergleich zu 2006. Ferner setzen wir weiterhin modellbasierte Tests ein, die sich auch hier als sehr nützlich erweisen. Sie überprüfen ebenfalls die Genauigkeit der Daten, aber auch die Vollständigkeit, die Analyse von Zusammenhängen sowie die Struktur und Klarheit. Hier ein Beispiel für die Bewertungsstruktur (Prompt) des modellbasierten Tests der Executive Summary der Bahn-Daten: Du bist ein Experte für die Bewertung von Datenanalysen. Bewerte die vorliegende Analyse streng nach den vorgegebenen Kriterien. Gib detailliertes Feedback zu jedem Unterpunkt und verdeutliche die Punktvergabe explizit. 1. DATENGENAUIGKEIT (0-10 Punkte): - CO₂-Emissionen: Von -22,8% (2014) auf -40,1% (2023) - Umsatz: Von 39,7 Mrd. € (2014) auf 45,2 Mrd. € (2023) - EBIT: Schwankungen mit negativen Werten in 2020 (-4,76 Mrd. €) - Mitarbeitende: Entwicklung von 295.763 (2014) auf 292.423 (2023) - Passagier-/Güterverkehr: Einbruch 2020 und Rückgang im Güterverkehr 2. VOLLSTÄNDIGKEIT (0-10 Punkte): - Werden alle geforderten Aspekte (CO₂, Umsatz, EBIT, Mitarbeiter) behandelt? - Wird auf fehlende Daten zu erneuerbaren Energien und Pünktlichkeit hingewiesen? - Werden Trends für alle Hauptkennzahlen identifiziert? 3. ZUSAMMENHANGSANALYSE (0-10 Punkte): - Verbindungen zwischen CO₂-Emissionen und wirtschaftlichen Faktoren - COVID-19-Pandemie als Einflussfaktor für 2020 - Weitere sinnvolle Zusammenhänge zwischen Kennzahlen - Tiefe der Zusammenhangsanalyse (oberflächlich vs. detailliert) 4. STRUKTUR & KLARHEIT (0-10 Punkte): - Klare Struktur und Lesbarkeit - Logische Gliederung - Zusammenfassendes Fazit Aus der Punktevergabe ergibt sich folgende Bewertung, die ebenfalls im Prompt an das Bewertungsmodell übermittelt wird. Ampel-Kategorien: ROT (0.0-0.5): Oberflächlich, wenige korrekte Daten, fehlende Aspekte, kaum Zusammenhänge GELB (0.5-0.7): Solide, grundsätzlich richtige Daten, die meisten Aspekte, einige Zusammenhänge GRÜN (0.7-1.0): Hervorragende, präzise Daten zu allen Aspekten, einige fundierte Zusammenhänge In unserem Use Case gab es teilweise deutliche Unterschiede zwischen Executive Summaries, die gerade noch eine grüne Bewertung erhielten (0,7), und solchen, die sehr hohe Bewertungen erhielten (über 0,9). Die Bewertungskriterien könnten also noch verfeinert werden und es könnte sinnvoll sein, die Schwellenwerte anzupassen – also etwa Grün erst ab 0,8 zu vergeben – oder bestimmte Aspekte bei der Bewertung stärker zu gewichten. Modelle und unsere Testergebnisse Hinweis: Preise sind offizielle API-Preise, für Open-Source-Modelle orientieren wir uns an OpenRouter-Preisen. OpenAI GPT-Serie OpenAI bietet zum Zeitpunkt des Tests drei zentrale GPT-Modelle über API und ChatGPT an: GPT-4o, gpt-4o-mini und GPT-4.5 (im August 2025 vereint sich die Modellpalette unter GPT-5). Alle Modelle verarbeiten Text und Bilder, GPT-4o stellt dabei das Kernmodell des Unternehmens dar. Die abgespeckte Version gpt-4o-mini nutzt die gleiche Technik, ist jedoch ein kleineres Modell und daher schneller, aber weniger leistungsfähig. GPT-4.5, seit Februar 2025 in der Testphase, ist das bisher größte und leistungsfähigste reine Sprachmodell des Unternehmens – und mit Abstand das teuerste Modell auf dem Markt. Alle API-Versionen haben einen Wissensstand von Oktober 2023. ChatGPT-Versionen können durch eingebaute Internet-Suche auf neuere Daten zugreifen. Zusätzlich gibt es Spezialversionen: GPT-4o-Audio für Sprachverarbeitung und GPT-4o-Realtime für Echtzeitanwendungen. Diese nutzen die GPT-4o-Basis, sind aber für die entsprechenden Anwendungen optimiert. Tabelle: Technische Daten, Verfügbarkeit, Preise ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff-Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M Tokens) Lizenz GPT-4o Mai 2024 Oktober 2023 Text, Bild Text 128.000 Token $2,50 $10 Proprietär Gpt-4o-mini Juli 2024 Oktober 2023 Text, Bild Text 128.000 Token $0,15/$0,60 Proprietär GPT-4.5 Februar 2025 Oktober 2023 Text, Bild Text 128.000 Token $75/$150 Proprietär Tabelle: Leistungs-Benchmarks Wir haben uns GPT-4o und GPT-4.5 genauer angesehen. ↔ Tabelle horizontal scrollbar Modell Artificial Analysis Intelligence LiveBench Chatbot Arena Vectara’s Hughes Hallucination Evaluation (Summary) LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) GPT-4.5 (Preview) 51 68,95 1370 1,20% 11,90% 0,85 Grün 0,85 Grün GPT-4o (Nov. ’24) 41 52,19 1341 1,50% 26,20% 0,65 Gelb 0,85 Grün Einschätzung aus der Redaktion: In unseren Tests und auch in unserer redaktionellen Arbeit haben wir uns ausführlich mit GPT-4o und GPT-4.5 auseinandergesetzt. GPT-4.5 erweist sich dabei als interessante Neuentwicklung: Wir erkennen deutliche Verbesserungen in den Bereichen Redaktion, Konzeption und Kreativität. Zusammen mit der geringeren Halluzinationsrate – hier sehen wir das Modell auf den Plätzen 3 und 5 der beiden Benchmarks – ist es das stärkste OpenAI-Sprachmodell. Allerdings müssen wir festhalten: Zwar unterscheidet sich der Stil von GPT-4.5 erfreulich vom typischen ChatGPT-Ton, erreicht aber nicht die sprachliche Eleganz, die wir von den Claude-Modellen kennen. Nach unseren bisherigen Tests sind wir für redaktionelle Aufgaben deshalb bei Sonnet 3.5 und perspektivisch Sonnet 3.7 geblieben. Zudem ist GPT-4.5 aktuell unverhältnismäßig teuer. Mit GPT-4o arbeiten wir für redaktionelle Schreibaufgaben nicht. Zwar führt es die Chatbot-Arena im Bereich Creative Writing an, aber die anfangs genannten Modelle sind in unserer (primär deutschsprachigen) Praxis schlicht besser. Interessant ist für uns das Abschneiden der Claude-Modelle: Obwohl wir sie intern für Schreibaufgaben deutlich bevorzugen, tauchen sie in der Chatbot-Arena im Creative Writing erst auf Platz 10 auf. Das zeigt uns, dass Benchmarks nicht zwangsläufig Aussagekraft für die eigene Arbeit haben. Mögliche Erklärungen für diese Diskrepanz könnten unsere Use Cases sein, die nicht nur auf Originalität abzielen, der primär deutschsprachige Fokus unserer Arbeit und auch die unterschiedlichen Prompts. Unserer Erfahrung nach folgen die Claude-Modelle besser einem vorgegebenen Stil, während GPT-4o häufiger seinem eigenen Stil treu bleibt. In der Gesamtbewertung über alle Kategorien hinweg liegt derzeit GPT-4.5 auf Platz 1. In AAII oder LiveBench liegt es jedoch durch die stärkere Gewichtung von STEM-Benchmarks hinter den Reasoning-Modellen. Für uns ist GPT-4.5 zwar das bisher beste Schreibmodell von OpenAI mit nachweislich weniger Fehlern als die Vorgängerversionen, aber der weniger elegante Schreibstil lässt uns vorerst bei unserer bewährten Claude-Lösung bleiben. Hinzu kommt der eklatante Preisunterschied. Quellen: https://platform.openai.com/docs/models https://platform.openai.com/docs/pricing OpenAI o-Serie OpenAI hat zwischen September 2024 und Januar 2025 die ersten Large Reasoning Modelle (LRMs) veröffentlicht: o1, o1-mini, o1 Pro und o3-mini. Wie bereits oben beschrieben, sind diese auf „logisches Denken“ und wissenschaftliche Probleme spezialisiert. Im August 2025 wurden die „Reasining“-Modelle in GPT-5 integriert und laufen hier unter „GPT-5 Thinking“ und GPT-5 „Pro“. o1 ist das Basismodell, verfügbar für ChatGPT Plus und API-Nutzer. o1 Pro verfügt über die Möglichkeit, mehr Rechenleistung für komplexe Aufgaben einzusetzen – hat aber keine API-Option und läuft nur in ChatGPT Pro. o3-mini ist die günstigere Variante, die auf STEM-Aufgaben ausgerichtet ist, und hat o1-mini ersetzt. Es verarbeitet bis zu 200 000 Token und ist in der kostenlosen ChatGPT-Version mit 150 Nachrichten pro Tag nutzbar. Hinzu kommt die Variante o3-mini-high, die noch etwas mehr Denkzeit einsetzt und daher mathematische oder andere Logikprobleme besser lösen können soll. Alle o-Modelle sind primär für rechenintensive Aufgaben in Mathematik, Programmierung und Naturwissenschaften ausgelegt und können Text und Bild verarbeiten. Auch für andere Aufgaben, die Logik und strukturiertes Vorgehen benötigen, sind sie wahrscheinlich besser geeignet als übliche LLMs. Beispiele sind hier Internet-Recherche (Deep Research) oder Datenanalyse. ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff-Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M Token) Lizenz o1 September 2024 Oktober 2023 Text, Bilder Text 128.000 Token $15/$60 Proprietär o1 Pro Dezember 2024 Oktober 2023 Text, Bilder Text 128.000 Token Nur über ChatGPT Pro ($200/Monat) Proprietär o3-mini-(high) Januar 2025 Oktober 2023 Text, Bilder Text 200.000 Token $1,10 / $4,40 Proprietär Tabelle: Leistungs-Benchmarks Wir haben uns o1 und o3-mini genauer angesehen. ↔ Tabelle horizontal scrollbar Modell Artificial Analysis Intelligence LiveBench Chatbot Arena Vectara’s Hughes Hallucination Evaluation (Summary) LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) o1 62 75,67 1323 2,40% 10,90% 0,93 Grün 0,85 Grün o3-mini 66 75,88 1290 0,80% 27,20% 0,9 Grün 0,85 Grün Hinweis aus der Redaktion: Interessant sind die unterschiedlichen Stärken der Modelle: o3-mini ist im Vectara-Halluzinations-Benchmark das stärkste OpenAI-Modell und liegt damit sogar einen Platz vor GPT-4.5. Allerdings fällt es im Confabulations-Benchmark auf Platz 22 zurück. Das Modell scheint also anfälliger für diese Form der Halluzinationen zu sein. O1 zeigt ein genau umgekehrtes Bild – es landet in Vectaras Benchmark auf Platz 19, springt dafür aber im Confabulations-Benchmark auf einen beeindruckenden zweiten Platz. GPT-4.5 erweist sich hier als ausgewogener und robuster gegen beide Szenarien. Diese Ergebnisse zeigen deutlich: Reasoning allein schützt nicht vor Halluzinationen. In unseren praktischen Use-Cases sehen wir bei beiden Modellen eine Leistung, die von gut (LinkedIn) bis sehr gut (Executive Summary) reicht. Für analytische Aufgaben würden wir definitiv empfehlen, diese Modelle im Vergleich mit anderen LLMs zu testen. Für reine und umfassendere Textarbeiten raten wir allerdings weiterhin zu den Claude-Modellen oder GPT-4.5. Quellen: https://platform.openai.com/docs/models https://platform.openai.com/docs/pricing Claude-Serie Anthropic, gegründet 2021 von Ex-OpenAI-Forschern, entwickelt die Claude-Modellfamilie. Die aktuellen Modelle sind Claude 3 Opus, Claude 3.5 Sonnet und Claude 3.7 Sonnet. Alle verarbeiten Text und Bilder und geben Text aus. Das Kontextfenster beträgt für alle Modelle 200 000 Token und damit mehr als bei den GPT-Modellen von OpenAI. Die Claude-Modelle sind über Anthropic API, Amazon Bedrock und Google Cloud Vertex AI verfügbar. Claude 3.7 Sonnet führt einen neuen Reasoning-Modus ein, der Probleme schrittweise löst – allerdings mit höherem Rechenaufwand. ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff-Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M Token) Lizenz Claude 3 Opus März 2024 August 2023 Text, Bilder Text 200.000 Token $15/$75 Proprietär Claude 3.5 Sonnet Juni 2024 April 2024 Text, Bilder Text 200.000 Token $3/$15 Proprietär Claude 3.5 Haiku Oktober 2024 Juli 2024 Text, Bilder Text 200.000 Token $0,80/$4 Proprietär Claude 3.7 Sonnet Februar 2025 Oktober 2024 Text, Bilder Text 200.000 Token $3/$15 Proprietär Tabelle: Leistungs-Benchmarks Wir haben uns Claude 3.7 und Claude 3.7 „Thinking“ – also den Reasoning-Modus – näher angesehen. ↔ Tabelle horizontal scrollbar Modell Modell Artificial Analysis LiveBench Chatbot Arena Vectara’s Hughes Hallucination LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Claude 3.7 48 65,56 1308 4,40% 25,20% 0,85 Grün 0,85 Grün Claude 3.7 (Thinking) 57 76,1 1308 4,50% 7,90% 0,85 Grün 0,69 Gelb Einschätzung aus der Redaktion: In unserer redaktionellen Arbeit haben wir uns besonders intensiv mit den Claude-Modellen von Anthropic auseinandergesetzt. Dabei hat sich Sonnet 3.5 als unser bevorzugtes Modell für redaktionelle Aufgaben herauskristallisiert – vorwiegend wegen seines bemerkenswert eleganten Schreibstils. Mit Claude Sonnet 3.7 mit „Extended Thinking“-Modus sehen wir eine interessante Weiterentwicklung: ein Hybrid-Modell, das sowohl in der Programmierung als auch bei logischen und redaktionellen Aufgaben überzeugt. Die Benchmarks zeigen ein differenziertes Bild: In AAII und LiveBench erreicht das Thinking-Modell hervorragende Werte, während das Basis-Modell ohne Thinking zwar oben mitspielt, aber bei Logikaufgaben nie die Leistung von Reasoning-Modellen erreicht. Allerdings offenbaren unsere Tests auch Schwächen: Bei Halluzinationen schneidet Claude 3.7 im Vectara-Benchmark deutlich schlechter ab als etwa GPT-4.5. Auch die Konfabulation-Rate beim Basis-Modell lässt viel Raum für Verbesserungen – insbesondere da Claude 3.5 hier deutlich besser abschnitt. Interessanterweise zeigt die Thinking-Variante bei Konfabulationen eine deutliche Verbesserung und ist in diesem Bereich sogar das beste Modell. In unseren praktischen Anwendungsfällen zeigt sich ebenfalls ein nuanciertes Bild: Bei der Erstellung von Executive Summaries erreichen beide Modelle durchgehend gute Bewertungen. Bei LinkedIn-Texten ergibt sich jedoch ein interessanter Unterschied – während das Basis-Modell konstant stark bleibt, fällt die Thinking-Variante etwas ab. Der Grund: Der Thinking-Modus neigt dazu, zu viele Fakten in Posts einzubauen – vermutlich, um keine Informationen auszulassen. Das führt zu einem langweiligeren, formelleren Stil, ähnlich wie bei anderen Reasoning-Modellen wie Deepseek R1, der nicht die von uns gewünschte und in den Beispielen vorgegebene Struktur und Tonalität aufweist. Bei längeren Texten mit höherer Kreativität sehen wir Claude wieder vorn. Hier kommt es mehr auf das „Vibe-Based Benchmarking“ an, wo die Modelle ihre stilistischen Stärken ausspielen können. Ein großer Pluspunkt ist die Zugänglichkeit: Claude 3.7 ist in der Basisversion kostenlos verfügbar, die Pro-Version mit erweiterten Funktionen kostet moderate 20 Dollar pro Monat. Auch die API-Preise sind verhältnismäßig günstig. Für stilistisch anspruchsvolle redaktionelle Texte bleibt die Claude-Serie damit unsere erste Wahl. Gemini 2.0 Pro muss sich hier noch beweisen, und GPT-4.5 schreibt zwar am besten von allen OpenAI-Modellen, ist aber deutlich zu teuer, ohne einen signifikanten Mehrwert zu bieten. Quellen: https://docs.anthropic.com/en/docs/about-claude/models/all-models https://docs.anthropic.com/en/docs/about-claude/models/extended-thinking-models Gemini Google bietet vier Gemini-2.0-Modelle an, die ihre Vorgänger der 1.5-Reihe ersetzen: Pro, Flash, das neue Flash Lite und das Reasoning-Modell Flash Thinking. Pro verarbeitet bis zu 2 Millionen Token und ist für komplexe Programmier- und Reasoning-Aufgaben ausgelegt, aber aktuell noch experimentell. Flash dient als Standardmodell mit Bildgenerierung und Text-to-Speech. Flash Lite ist die günstige Version. Flash Thinking erweitert Flash um zusätzliche Reasoning-Prozesse, ähnlich wie bei Claude Thinking oder der o-Serie von OpenAI. Alle Modelle außer Pro verarbeiten bis zu 1 Million Token Input. Das ist deutlich mehr als bei den Wettbewerbern. Die Preise für die experimentellen Modelle Pro und Flash Thinking sind noch nicht festgelegt. Flash und Flash Lite sind allgemein verfügbar. Ein Alleinstellungsmerkmal der Gemini-Modelle ist ihr starker Fokus auf Multimodalität: Alle Varianten, bis auf Flash Thinking, können Text, Bilder, Audio und Videos verarbeiten. Flash kann zudem nativ, das heißt, ohne spezielles Bildmodell, Bilder generieren. Die Bildausgabe wird aktuell getestet, Audio soll dann folgen. Pro soll das stärkste Modell für Code und Tool-Use sein. ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff-Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M-Token) Lizenz Gemini 2.0 Pro Februar 2025 (exp.) Juni 2024 Text, Bild, Audio, Video Text 2 Mio. Token n. a. Google Cloud Pre-GA Terms Gemini 2.0 Flash Dezember 2024 (GA) Juni 2024 Text, Bild, Audio, Video Text, Bild, Audio 1 Mio. Token $0,1 / $0,4 (Input Audio: $0,7) Google Cloud Terms, Preview für einige Features Gemini 2.0 Flash Lite Februar 2025 (Preview) Juni 2024 Text, Bild, Audio, Video Text 1 Mio. Token $0,075/$0,3 Google-Cloud Terms Gemini 2.0 Flash Thinking Februar 2025 (exp.) Juni 2024 Text, Bild Text 1 Mio. Token n. a. Google Cloud Pre-GA Terms Tabelle: Leistungs-Benchmarks Wir haben uns Gemini 2.0 Pro, Flash und Flash Thinking angeschaut. ↔ Tabelle horizontal scrollbar Modell Modell Artificial Analysis LiveBench Chatbot Arena Vectara’s Hughes Hallucination LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Gemini 2.0 Flash 48 61,47 1303 0,70% 24,30% 0,85 Grün 0,65 Gelb Gemini 2.0 Flash Thinking (Exp) - 66,92 1311 1,80% 14,90% 0,82 Grün 0,85 Grün Gemini 2.0 Pro (Exp) 49 65,13 1321 0,80% 15,80% 0,93 Grün 0,85 Grün Einschätzung aus der Redaktion: Mit der Gemini 2.0-Serie präsentiert Google eine interessante Modellfamilie, die besonders durch ihr großes Kontextfenster und ihre Multimodalität auffällt. In unserer Analyse und aus unserer alltäglichen Praxis zeigt sich: Die Modelle eignen sich für die Verarbeitung umfangreicher Dokumente und für multimediale Aufgaben wie die Transkription langer Audiodateien. Besonders positiv hervorzuheben ist die Leistung im Vectara-Halluzinations-Benchmark, wo sich Flash und Pro jeweils die ersten zwei Plätze teilen. Im Confabulations-Benchmark landet Flash dann allerdings auf Platz 14, was zeigt, dass die verschiedenen Arten von Halluzinationen unterschiedlich gut behandelt werden. Die Pro-Version und Flash Thinking schneiden dagegen mit den Plätzen 6 und 7 deutlich besser ab. Sie sind damit zusammen mit GPT-4.5 die robustesten Modelle bei beiden Halluzinations-Benchmarks. Mit Flash Thinking hat Google sein erstes Reasoning-Modell vorgestellt, das in den AAII- und LiveBench-Benchmarks gute Leistungen zeigt. In unseren praktischen Tests überzeugt besonders Gemini 2.0 Pro mit einem guten LinkedIn-Post und einer ausgezeichneten Executive Summary, wie sie sonst nur Reasoning-Modelle und Grok 3 erreichen. Für uns bleibt Gemini 2.0 Pro ein interessanter Kandidat für redaktionelle und analytische Aufgaben, der sich aber in der Praxis noch beweisen muss. Bei der Nutzung für faktensensitive Analysen empfehlen wir weiterhin zusätzliche Kontrollen, auch wenn die Halluzinationsraten vielversprechend aussehen. In der Praxis stellen wir selbst bei den besten Modellen immer wieder Fehler fest. Flash Thinking kann sich ebenfalls lohnen, da es für seine Größe und Geschwindigkeit gut abschneidet und – wenn Google das Modell weiter verbessert – eine Alternative zu o3-mini darstellen könnte. Bei Faktencheck-Prompts hinterlässt es einen besseren Eindruck als andere LLMs, allerdings liegt auch hier Claude 3.7 noch etwas vorn. Quellen: https://cloud.google.com/vertex-ai/generative-ai/docs/gemini-v2#2.0-pro https://blog.google/technology/google-deepmind/gemini-model-updates-february-2025 https://ai.google.dev/gemini-api/docs/models/experimental-models#google-ai-studio https://ai.google.dev/gemini-api/docs/models/gemini Qwen-Serie Die Qwen-Serie stammt von Alibaba Cloud, entwickelt vom Qwen-Team, einer Forschungsgruppe innerhalb der Cloud-Computing-Sparte des chinesischen Technologiekonzerns Alibaba. Das Team entwickelt mehrere Hauptmodelle in der Qwen-Serie: Qwen-Max für allgemeine Sprachverarbeitung (aktuell Qwen2.5-Max), QwQ-32B für logisches Denken, Qwen2.5 Coder für Programmierung und Qwen2.5 VL 72B Instruct für Bild-, Video- und Textverarbeitung. Alle Modelle verarbeiten bis zu 128 000 Token. QwQ-32B und Qwen2.5 Coder sind Open Source unter Apache-2.0-Lizenz (außer einigen kleineren Varianten). Qwen2.5-Max ist nur via API oder Qwen-Chat nutzbar. Dort gibt es auch einen von QwQ angetriebenen „Thinking“-Modus. VL 72B nutzt die Qwen-Lizenz, die gegenüber einer Open-Source-Lizenz wie Apache 2.0 einige Einschränkungen enthält. Alibaba Cloud listet das Modell jedoch unter Open Source, eventuell sind also Änderungen an der Lizenz geplant. Wie alle großen chinesischen Modelle ist das Modell zensiert und vermeidet Antworten, die nicht der offiziellen politischen Position der chinesischen Regierung entsprechen. ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M Token) Lizenz Qwen2.5-Max Januar 2025 Unbekannt Text Text 32.000 Token $1,60 / $6,40 Proprietär QwQ-32B März 2025 Unbekannt Text Text 128.000 Token Kostenlos (Open Source) Apache 2.0 Qwen 2.5 Coder November 2024 Unbekannt Text Text 128.000 Token Kostenlos (Open Source) Apache 2.0 (außer 3B) Qwen2.5 VL 72B Instruct September 2024 Unbekannt Text, Bilder, Videos Text 128.000 Token $0,70 / $0,70 Qwen Tabelle: Leistungs-Benchmarks Wir haben uns Qwen2.5-Max und Qwens Reasoning-Modell QwQ-32B angeschaut. Alle Daten externer Benchmarks bis auf den LLM Confabulation Benchmark wurden noch mit der Version QwQ-32B-preview gesammelt. Unsere Use-Case-Tests haben wir mit QwQ-32B durchgeführt. ↔ Tabelle horizontal scrollbar Modell Modell Artificial Analysis LiveBench Chatbot Arena Vectara’s Hughes Hallucination LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Qwen QwQ-32B 49 40,25 1088 16,10% 25,20% 0,2 Rot 0,35 Rot Qwen2.5-Max 45 62,29 1284 2,90% 31,20% 0,85 Grün 0,65 Gelb Hinweis aus der Redaktion: Bei unserer Analyse der Qwen-Modelle von Alibaba zeigt sich ein interessantes, wenn auch problematisches Bild. Während QwQ-32B in den AAII- und LiveBench-Benchmarks solide Leistungen zeigt, offenbaren unsere praktischen Tests deutliche Schwächen im deutschsprachigen Raum. Auffällig ist vorwiegend das Verhalten beim LinkedIn-Prompt: Das Modell baut ungefragt chinesische Schriftzeichen in den Text ein, was für professionelle Anwendungen natürlich inakzeptabel ist. Dies führt zu einer roten Bewertung – schlechtestes Ergebnis aller getesteten Modelle. Auch Qwen2.5-Max schneidet mit einer gelben Bewertung nur mittelmäßig ab. In unserem Executive-Summary-Test erreicht das QwQ-32B-Modell ebenfalls das schlechteste Ergebnis aller getesteten Modelle. Besonders gravierend sind dabei die zahlreichen faktischen Fehler in der Analyse – das Modell erfindet Trends und Zusammenhänge, die aus den Daten nicht hervorgehen. Neben den chinesischen Schriftzeichen ist diese mangelnde Zuverlässigkeit bei der Faktenverarbeitung besonders kritisch für ein Reasoning-Modell, das eigentlich für analytische Aufgaben prädestiniert sein sollte. Qwen2.5-Max liefert dagegen eine gute Analyse. Die Ergebnisse zeigen deutlich, dass die Qwen-Modelle trotz ihrer theoretischen Stärken in den Benchmarks für den praktischen redaktionellen Einsatz im deutschsprachigen Raum derzeit nicht zu empfehlen sind – oder mit viel Nacharbeit und Prompt-Engineering bestehende Schwächen ausgeglichen werden müssen. Quellen https://huggingface.co/Qwen https://qwenlm.github.io https://modelscope.cn/organization/qwen https://openrouter.ai/models?q=qwen Llama-Serie Meta AI entwickelt seit 2022 die Llama-Modellfamilie, eine der führenden Open-Source-Alternativen zu proprietären Modellen. Sie können lokal betrieben und angepasst werden und kommen in unterschiedlichen Größen. Auf Plattformen wie Hugging Face gibt es zudem zahlreiche von der Open-Source-Community angepasste Varianten. Nach Llama 1 und 2 folgten 2024 neue Open-Source-Modelle der Llama-3-Familie. Exemplarisch können hier Llama 3.3 (70B Parameter), Llama 3.2 Vision (90B) und Llama 3.1 (405B) herausgegriffen werden. Alle Modelle verarbeiten 128 000 Token. Llama 3.2 Vision ist multimodal und kann Bilder verarbeiten. Llama 3.1 405B ist eines der bisher größten veröffentlichten Open-Source-Sprachmodelle und in einigen Benchmarks ungefähr auf dem Niveau von GPT-4o, aber nicht in allen. Dazu benötigt es 800 GB Speicher. Llama 3.3 70B ist dagegen die effiziente Alternative, läuft etwa doppelt so schnell bei 140 GB Speicherbedarf und erreicht – zumindest in einigen Benchmarks – vergleichbare Werte. Es ist daher eines der häufiger genutzten Basismodelle für Fine-Tuning, so auch in der weiter unten vorgestellten Variante „Deepseek R1-distill-llama-70B“. Die Modelle sind über Hugging Face verfügbar, mit Lizenzbeschränkungen für Großunternehmen mit über 700 Millionen Nutzern. Metas Definition von „Open Source“ wird u. a. wegen dieser Einschränkungen und der Nichtoffenlegung der Trainingsdaten etwa von der Open Source Initiative kritisiert. ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff-Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M-Token) Lizenz Llama 3.3 70B Instruct Dezember 2024 März 2024 Text Text 128.000 Token $0,12/$0,3 Llama 3.3 Community License Llama 3.2 Vision 90B September 2024 März 2024 Text, Bilder Text 128.000 Token $0,8/$1,6 Llama 3.2 Community License Llama 3.1 405B Juli 2024 Dezember 2023 Text (multilingual) Text 128.000 Token $0,8/$0,8 Llama 3.1 Community License Wir haben uns Llama 3.3 70B Instruct angeschaut, da es auf den ersten Blick ein vielversprechendes Modell für lokale Anwendungen sein kann. ↔ Tabelle horizontal scrollbar Modell Modell Artificial Analysis LiveBench Chatbot Arena Vectara’s Hughes Hallucination LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Llama 3.3 70B instruct 41 50,16 1235 4,00% 17,80% 0,65 Gelb 0,675 Gelb Einschätzung aus der Redaktion: Die Llama-Modellfamilie von Meta, hier vertreten durch Llama 3.3 70B, zeigt in unserer Analyse ein durchwachsenes Bild. In den grundlegenden Benchmarks wie AAII und LiveBench positioniert sich das Modell im unteren Mittelfeld – deutlich hinter den führenden kommerziellen Modellen. Dafür ist es allerdings lokal ausführbar und Open Source. Bei unseren praktischen Tests zeigt sich eine ähnliche Tendenz: Sowohl bei LinkedIn-Posts als auch bei Executive Summaries erreicht das Modell nur mittelmäßige Ergebnisse. Dasselbe Bild zeigt sich auch bei den Halluzinations-Benchmarks, wo es sich im Mittelfeld ansiedelt, aber besser als einige kommerzielle Konkurrenten wie Mistral Small oder Nova Pro ist. Als frei verfügbares Modell liefert es respektable Ergebnisse. Der Vergleich mit den besten Modellen zeigt aber auch deutlich die Grenzen auf. Für den professionellen Einsatz in redaktionellen oder analytischen Kontexten würden wir derzeit andere Modelle empfehlen, es sei denn, der Open-Source-Charakter ist wichtiger als absolute Spitzenleistungen. In diesem Fall kann es als Basis für spezialisierte Finetuning-Projekte dienen. Quellen: https://openrouter.ai/models?q=llama https://huggingface.co/meta-llama https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct https://huggingface.co/meta-llama/Llama-3.2-90B-Vision-Instruct https://huggingface.co/meta-llama/Llama-3.1-405B-FP8 Mistral/Pixtral- Serie Mistral AI, 2023 von ehemaligen Meta- und DeepMind-Forschern in Frankreich gegründet, entwickelte sich schnell zu einem wichtigen europäischen KI-Unternehmen – ehrlicherweise auch dem einzigen mit internationaler Relevanz. Nach einer Rekordfinanzierung im Dezember 2023 startete das Unternehmen mit kleineren Open-Source-Modellen, bevor es zu leistungsfähigeren Systemen überging. Aktuell bietet Mistral vier Kern-Modelle an: Mistral Large (123B Parameter) für komplexe Aufgaben, Mistral Small (24B) als effiziente Alternative, Pixtral Large (124B) und Pixtral (12B) für Bildverarbeitung. Mit Codestral gibt es außerdem ein reines Code-Modell. Die Modelle folgen einer hybriden Vermarktungsstrategie: Mistral Large und Pixtral Large sind über Hugging Face mit Forschungslizenz verfügbar, kommerziell über große Cloud-Anbieter. Mistral Small und Pixtral (12B) bleiben Open Source unter Apache-2.0-Lizenz. Mistral ist aktuell das einzige europäische KI-Unternehmen, das halbwegs konkurrenzfähige Modelle anbietet. ↔ Tabelle horizontal scrollbar Modell Veröffentlichung Knowledge-Cutoff Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M-Token) Lizenz Mistral Large (2411) November 2024 Unbekannt Text Text 128.000 Token $2/$6 Mistral Research License (MRL) / Commercial License Mistral Small (24B Instruct 2501) Januar 2025 Unbekannt Text Text 32.000 Token $0,07 / $0,14 Apache 2.0 Pixtral Large (2411) November 2024 Unbekannt Text, Bilder (bis 30 hochauflösende Bilder) Text 128.000 Token $2/$6 Mistral Research License (MRL) / Commercial License Pixtral (12B-2409) September 2024 Unbekannt Text, Bilder Text 128.000 Token $0,1 / $0,1 Apache 2.0 Wir haben uns Mistral Large 2 und Mistral Small 3 angeschaut. ↔ Tabelle horizontal scrollbar Modell Modell Artificial Analysis LiveBench Chatbot Arena Vectara’s Hughes Hallucination LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Mistral Large 2 38 48,43 1220 4,10% 32,20% 0,65 Gelb 0,85 Grün Mistral Small 3 35 33,42 1186 3,10% 38,60% 0,675 Gelb 0,675 Gelb Einschätzung aus der Redaktion: Mit Mistral Large und Small haben wir die derzeit einzigen bedeutenden EU-Modelle im Test. Unsere Analyse zeigt: Die Modelle können grundsätzlich mithalten, erreichen aber keine Spitzenplätze. In den AAII- und LiveBench-Benchmarks liegen sie im unteren Mittelfeld, wobei Large erwartungsgemäß deutlich besser abschneidet als Small. Beide Modelle zeigen Schwächen bei den Executive Summaries, wobei Large beim LinkedIn-Prompt die Nase vorn hat. Eine deutliche Schwäche zeigt sich bei den Halluzinationstests: Mistral Small liegt im Confabulation Benchmark im hinteren Mittelfeld, Large schneidet nur unwesentlich besser ab. Diese Werte sind deutlich schlechter als die der Spitzenmodelle. Für Unternehmen, die aus regulatorischen oder strategischen Gründen auf EU-Modelle setzen müssen, ist Mistral eine – vielleicht die einzige – Option. Wer diese Einschränkung nicht hat, findet derzeit bei anderen Anbietern leistungsfähigere Alternativen. Quellen: https://openrouter.ai/models?q=mistral https://docs.mistral.ai/getting-started/models/models_overview https://huggingface.co/mistralai/Pixtral-12B-2409 https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 https://huggingface.co/mistralai/Mistral-Large-Instruct-2411 https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411 https://huggingface.co/mistralai Amazon Nova Die Entwicklung der Nova-Serie startete nach Amazons strategischer Partnerschaft mit Anthropic: Im September 2023 kündigte Amazon eine Investition von 4 Milliarden Dollar in Anthropic an und machte AWS zum primären Cloud-Provider für Anthropics KI-Modelle. Gleichzeitig integrierte Amazon Claude in Bedrock als KI-Option für AWS-Kunden. Die Nova-Serie entstand anschließend parallel als hauseigene Alternative, wurde im Dezember 2024 vorgestellt und läuft ausschließlich über Amazon Bedrock. Die Modelle teilen sich in zwei Kategorien: Verständnisaufgaben (Text, Bild, Video zu Text) und kreative Inhalte (Text und Bild zu Bild oder Video). Nova Pro stellt aktuell das Spitzenmodell dar. Diesen Platz soll in der Zukunft ein als „Premier“ bezeichnetes Modell einnehmen, das auch über einen Reasoning-Modus verfügen soll. Es sollte ursprünglich noch im ersten Quartal 2025 erscheinen. ↔ Tabelle horizontal scrollbar Name des Modells Veröffentlichung Knowledge-Cutoff Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M-Token) Lizenz Nova Micro Dezember 2024 Unbekannt Text Text 128.000 Token $0,035/$0,14 Proprietär Nova Lite Dezember 2024 Unbekannt Text, Bild, Video Text 300.000 Token $0,06/$0,24 Proprietär Nova Pro Dezember 2024 Unbekannt Text, Bild (Video n. a.) Text 300.000 Token $0,8/$3,2 Proprietär Wir haben uns Nova Pro angeschaut. ↔ Tabelle horizontal scrollbar Modell Artificial Analysis Intelligence LiveBench Chatbot Arena Vectara’s Hughes Hallucination Evaluation (Summary) LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Nova Pro 37 43,53 1209 1,80% 54,50% 0,65 Gelb 0,675 Gelb Hinweis aus der Redaktion: Amazons Nova Pro zeigt in unserer Analyse eine recht unausgewogene Leistung. In den grundlegenden Benchmarks wie AAII und LiveBench landet das Modell im unteren Drittel des Feldes. Besonders auffällig ist die schwache Performance im Confabulations-Benchmark, wo Nova Pro von allen hier vorgestellten Modellen den letzten Platz belegt. Ein Blick auf das Leaderboard des Benchmarks zeigt auch, dass Nova Pro dort mit Platz 31 zu den fünf schlechtesten Modellen gehört und nur kleine Modelle wie gpt-4o-mini oder Claude 3.5 Haiku noch ein wenig schlechter abschneiden. Bei den praktischen Tests setzt sich dieses durchwachsene Bild fort: Bei Executive Summaries und LinkedIn-Posts erreicht das Modell nur mittelmäßige Ergebnisse. Einzig im Vectara-Halluzinations-Benchmark zeigt Nova Pro eine überraschend gute Leistung. Diese widersprüchlichen Ergebnisse – hervorragend bei einem Typ von Halluzinationen, miserabel bei einem anderen – machen Nova Pro zu einem schwierigen Kandidaten für den professionellen Einsatz. Für faktensensitive Analysen oder redaktionelle Aufgaben würden wir derzeit andere Modelle empfehlen, die eine konstantere Leistung über alle Benchmarks hinweg zeigen. Quellen: https://openrouter.ai/amazon/nova-pro-v1 https://aws.amazon.com/ai/generative-ai/nova https://aws.amazon.com/bedrock/pricing DeepSeek-Serie DeepSeek, ein chinesisches KI-Start-up-Unternehmen mit Sitz in Hangzhou, hat sich von einem Entwickler von Handelsalgorithmen zu einem führenden Anbieter von Open-Source-KI-Modellen entwickelt. Das vom Hedgefonds High-Flyer finanzierte Unternehmen wurde von Ingenieuren der Universität Zhejiang gegründet. Mit Deepseek-V3, einem großen Sprachmodell, machte das Unternehmen Schlagzeilen, weil es ein relativ leistungsfähiges Modell zu relativ geringen Kosten trainieren konnte. Mit Deepseek-R1 – dem ersten Open-Source-Reasoning-Modell und damit dem ersten Modell, das mit OpenAI o1 konkurrieren konnte – stürzte das Team dann die Börse, die in dem effizienten Modell ein Indiz dafür sah, dass der KI-Chip-Boom eine Blase war. Neben den drei großen Modellen, die beide mehr als 600 Milliarden Parameter haben, trainierte das Team auch kleinere Varianten anderer Open-Source-Modelle mit von R1 generierten Reasoning-Daten. Als Beispiel sei hier DeepSeek R1 Distill Llama 70B genannt. Alle Modelle stehen unter MIT-Lizenz auf Hugging Face zur Verfügung und sind auch über DeepSeeks eigene Plattform als API nutzbar. Die destillierten Versionen basieren auf Qwen oder LLaMA und sind für lokale Installation optimiert. Der Knowledge-Cutoff-Date ist nicht bekannt, aber wird in der Open-Source-Community auf Juli 2024 geschätzt. Die Modelle sind wie alle großen chinesischen KI-Modelle zensiert. Aus Datenschutzgründen empfehlen wir außerdem, die Modelle – sofern sie über die Cloud genutzt werden – über einen Cloud-Anbieter außerhalb von China zu nutzen. ↔ Tabelle horizontal scrollbar Name des Modells Veröffentlichung Knowledge-Cutoff Date Input Output Kontextfenster Preis (Input / Output pro 1 M-Token) Lizenz DeepSeek R1 Januar 2025 Unbekannt Text Text 128.000 Token $0,70/$2,50 MIT DeepSeek V3 Dezember 2024 Unbekannt Text Text 128.000 Token $0,4/$1,3 MIT DeepSeek R1 Distill Llama 70B Januar 2025 Unbekannt Text Text 128.000 Token $0,23 / $0,69 MIT Wir haben uns R1, R1-distill-llama-70B und V3 angeschaut. Für die Distill-Variante sind nicht alle Daten verfügbar. ↔ Tabelle horizontal scrollbar Modell Artificial Analysis Intelligence LiveBench Chatbot Arena Vectara’s Hughes Hallucination Evaluation (Summary) LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Deepseek-R1 60 71,57 1320 14,30% 17,30% 0,85 Grün 0,69 Gelb Deepseek-R1-distill-llama-70B 48 54,5 - - - 0,65 Gelb 0,65 Gelb Deepseek-V3 46 60,45 1276 3,90% 24,30% 0,7 Grün 0,85 Grün Einschätzung aus der Redaktion: Die Deepseek-Modellfamilie zeigt in unserer Analyse interessante Leistungsunterschiede zwischen den verschiedenen Varianten. Das Flaggschiff R1 erreicht in den Basis-Benchmarks AAII und LiveBench wie andere Reasoning-Modelle auch ausgezeichnete Werte – damit liegt es deutlich über dem Durchschnitt. Allerdings offenbart der Halluzinations-Benchmark eine Schwäche: R1 liegt weit hinter den führenden Modellen, nur knapp vor QwQ-32B. Das reine Sprachmodell Deepseek-V3 zeigt ein anderes Profil: In AAII und LiveBench liegt es zwar deutlich hinter R1, zeigt aber im Vectara-Benchmark eine bessere Halluzinationsrate – liegt allerdings immer noch weit von den besten Modellen entfernt. Die dritte Variante, R1-distill-llama-70B, positioniert sich im AAII und im LiveBench im Mittelfeld und liegt einige Punkte vor dem Basismodell von Meta. In unseren praktischen Tests zeigt sich: Bei LinkedIn-Posts schneidet R1 nicht gut ab, während V3 hier überzeugt. Bei Executive Summaries erreichen sowohl R1 als auch V3 gute Bewertungen. R1 liegt hier vor V3, aber hinter den besten Modellen. R1-distill-llama-70B zeigt dagegen eine mit dem Basismodell vergleichbare Leistung und kann seine besseren Benchmark-Ergebnisse nicht in praktisch bessere Resultate für unsere Use-Cases übersetzen. Für rein logische und analytische Aufgaben ist R1 trotz der Schwächen bei Halluzinationen eine starke Alternative für diejenigen, die OpenAIs, Anthropics oder xAIs Reasoning-Modelle nicht nutzen wollen oder können. Im kürzlich veröffentlichten BigBench-Extra-Hard-Benchmark von Google DeepMind schnitt R1 allerdings deutlich schlechter ab als o3-mini – eventuell gibt es hier also noch starke Unterschiede in der Leistungsfähigkeit, die von den meisten aktuell existierenden Benchmarks noch nicht gut abgebildet werden. V3 zeigt eine Ausgewogenheit über alle Benchmarks hinweg und ist daher eine interessante Open-Source-Alternative zu proprietären Sprachmodellen – ist allerdings wie R1 ein gewaltiges Modell und liegt hinter den aktuell besten proprietären Sprachmodellen zurück. Der Aufwand für den Einsatz lohnt sich also nur in Szenarien, in denen der eigene Betrieb eines KI-Modells erforderlich ist. Dann wären die Deepseek-Modelle aber wohl derzeit die erste Wahl, wenn man trotz Open Source maximale Leistung benötigt. https://openrouter.ai/models?q=deepseek https://huggingface.co/deepseek-ai/DeepSeek-R1 https://github.com/deepseek-ai/DeepSeek-R1 https://github.com/deepseek-ai/DeepSeek-V3 Microsoft Phi-Serie Microsoft Research entwickelt mit der Phi-Serie effiziente, kompakte Sprachmodelle. Die aktuelle Serie umfasst drei Modelle: Phi-4 (14 Milliarden Parameter), Phi-4-multimodal-instruct (5 Milliarden) und Phi-4-mini (3,8 Milliarden). Phi-4-multimodal-instruct und Phi-4-mini verarbeiten 128 000 Token Kontext, Phi-4 ist auf 16 000 Token begrenzt. Microsoft trainiert die Modelle mit synthetischen Daten und optimierten Methoden, um trotz geringer Größe konkurrenzfähige Leistungen zu erreichen. Die Modelle sind unter MIT-Lizenz verfügbar. Die Serie zielt auf Entwickler und Forscher, die ressourceneffiziente Modelle für spezifische Anwendungen wie Mathematik oder Multimodalität benötigen. ↔ Tabelle horizontal scrollbar Name des Modells Veröffentlichung Knowledge-Cutoff-Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis (Input / Output pro 1 M-Token) Lizenz Phi-4 Dezember 2024 Unbekannt (vermutlich 2024) Text Text 16.000 Token $0,07 / $0,14 MIT Phi-4-multimodal-instruct Februar 2025 Unbekannt (vermutlich 2024) Text, Bild, Audio Text 128.000 Token $0,07 / $0,11 MIT Phi-4-mini Februar 2025 Unbekannt (vermutlich 2024) Text Text 128.000 Token n. a. MIT Wir haben uns Phi-4 angeschaut. Hier sind die Testwerte für Phi-4 aus der ursprünglichen Tabelle: ↔ Tabelle horizontal scrollbar Modell Artificial Analysis Intelligence LiveBench Chatbot Arena Vectara’s Hughes Hallucination Evaluation (Summary) LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Phi-4 40 41,61 1175 4,70% 52,50% 0,45 Rot 0,65 Gelb Einschätzung aus der Redaktion: Microsofts Phi-4 zeigt in unserer Analyse eine für seine Größe bemerkenswerte, aber insgesamt durchwachsene Leistung. In den Basis-Benchmarks liegt das Modell im unteren Mittelfeld – vergleichbar mit GPT-4o, aber deutlich hinter den Spitzenmodellen. Bei den Halluzinations-Tests offenbart sich eine klare Schwäche: Im Vectara-Benchmark liegt Phi-4 im hinteren Drittel. Besonders auffällig ist die sehr hohe Confabulation-Rate von mehr als 50 Prozent – hier zeigt nur Amazons Nova Pro eine noch schlechtere Leistung. In unseren praktischen Tests bestätigt sich dieses Bild: Bei Executive Summaries erreicht Phi-4 als eines von zwei Modellen eine rote Bewertung mit vielen faktischen Fehlern. Auch bei unserem LinkedIn-Test verfehlt es Struktur und Stil. Phi-4 ist primär ein Forschungsprojekt und das zeigt sich in den Tests. Mögliche Anwendungsszenarien liegen eher in stark Compute-begrenzten Bereichen und die bevorzugte Sprache sollte Englisch sein. https://openrouter.ai/microsoft/phi-4 https://huggingface.co/microsoft/phi-4 https://huggingface.co/microsoft/Phi-4-multimodal-instruct Grok-Serie xAI, 2023 von Elon Musk gegründet, entwickelt die Grok-Modellfamilie. Die Serie umfasst Grok 3 (Februar 2025), Grok 3 3 „Think“ für komplexes Reasoning und Grok 2 (November 2024). Grok 3 verfügt über ein deutlich größeres Kontextfenster und ist deutlich leistungsstärker als sein Vorgänger. Grok 2 ist per API verfügbar, Grok 3 aktuell ausschließlich über X oder die Grok-Webseite und Apps. Eine API für Unternehmen ist angekündigt. xAI positioniert die Serie als weniger eingeschränkte Alternative zu etablierten Modellen, mit Fokus auf Echtzeit-Informationen via Websuche und Informationen aus X. ↔ Tabelle horizontal scrollbar Name des Modells Veröffentlichung Knowledge-Cutoff Date Input (Modalitäten) Output (Modalitäten) Kontextfenster Preis Lizenz Grok 3 Februar 2025 Unbekannt Text, Bilder Text, Bilder 1 Mio. Token X Premium+: 50 $/Monat Proprietär Grok 3 „Think“ Februar 2025 Unbekannt Text, Bilder Text, Bilder 1 Mio. Token SuperGrok-Abo erforderlich Proprietär Grok 2 November 2024 Juli 2024 Text, Bilder Text, Bilder 128.000 Token (Input/Output via API per 1 M): 2 $/10 $ Proprietär Wir haben uns Grok-3 und Grok-3 „Thinking“ angeschaut. Es sind nicht alle Daten verfügbar. ↔ Tabelle horizontal scrollbar Modell Artificial Analysis Intelligence LiveBench Chatbot Arena Vectara’s Hughes Hallucination Evaluation (Summary) LLM-Confabulation (RAG) Heise KI Pro – Executive Summary (Score) Heise KI Pro – Executive Summary (Ampel) Heise KI Pro – LinkedIn (Score) Heise KI Pro – LinkedIn (Ampel) Grok 3 53 - 1334 - - 0,9 Grün 0,8 Grün Grok 3 (Reasoning Beta) 66 - 1334 - - 0,9 Grün 0,8 Grün Hinweis aus der Redaktion: Die Grok-Modellfamilie von xAI zeigt in unserer Analyse einwandfreie Leistungen. Besonders die Reasoning-Beta-Version überzeugt im AAII-Benchmark mit Spitzenwerten, die sonst nur o3-mini erreicht. Auch in der Chatbot-Arena positioniert sich Grok 3 im oberen Bereich, nur knapp hinter GPT-4.5. Im LiveBench fehlen noch einige Tests. Bei Executive Summaries erreicht Grok 3 sehr gute Ergebnisse und liegt hier auf dem Niveau von o1 oder Gemini 2.0 Pro. Auch bei LinkedIn-Posts kann es überzeugen. In unseren Tests in der Redaktion ist der Ersteindruck ebenfalls gut: Es schreibt detailliert, ohne zu mechanisch zu wirken. Für eine abschließende Bewertung benötigen wir mehr Zeit mit dem Modell und es fehlen noch die Halluzinations-Benchmarks. https://x.ai/news/grok-3 https://openrouter.ai/models?q=grok https://docs.x.ai/docs/models?cluster=us-east-1 Benchmarking-Ergebnisse (Grafiken) LinkedIn-Prompt-Ergebnisse Artificial Analysis und LiveBench Ergebnisse Chatbot-Arena-Leaderboard-Ergebnisse Vectara’s Hughes Halluzinations-Benchmark LLM-Confabulation-Benchmark-Ergebnisse Executive Summary Test Ergebnisse Modellkunde: Ergebnisse der Modelle von DeepSeek, OpenAI und Gemini Modellkunde: Gegenüberstellung Claude vs. GPT Modellkunde: Gegenüberstellung Claude vs. Claude Thinking Modellkunde: Gegenüberstellung OpenAI o1 vs. o3 Modellkunde: Gegenüberstellung Grok vs. o3 Fazit Fazit: Die Landschaft der KI-Modelle Anfang 2025 Die systematische Evaluation der aktuellen KI-Modelle zeigt ein differenziertes Bild der Modelllandschaft Anfang 2025. Durch die Analyse der Benchmarks und praxisorientierten Use-Cases lassen sich drei zentrale Erkenntnisse ableiten. Kein eindeutiger Gewinner Kein Modell dominiert aktuell den Markt über alle Benchmarks und Anwendungsfälle hinweg. Die Claude-Serie, insbesondere Sonnet 3.5 und 3.7, überzeugt uns bei redaktionellen Aufgaben und der Texterstellung durch einen bemerkenswert eleganten Schreibstil. Für kleinere oder einfache Textaufgaben (bspw. Kundenservice) sind aber die meisten getesteten Modelle geeignet. Die Reasoning-Modelle wie o1, Deepseek-R1 und Grok 3 zeigen ihre Stärken bei mathematischen Aufgaben und komplexen logischen Problemen. GPT-4.5 positioniert sich als ausgewogenes Allround-Talent mit guten Leistungen in allen Bereichen – allerdings zu außergewöhnlich hohen Kosten von bis zu 150 Dollar pro 1 Million Output-Token. Als reines Sprachmodell wird es zudem von Reasoning-Modellen in deren Domäne deutlich geschlagen. Gemini 2.0 Pro setzt mit seinem 2-Millionen-Token-Kontextfenster und nativer Multimodalität neue technische Maßstäbe bei den Spezifikationen. Während die Multimodalität klare Vorteile bringt, sind immer größere Kontextfenster ein zweischneidiges Schwert: Sie ermöglichen erst die Verarbeitung umfangreicher Dokumente oder einer Stunde Video, zeigen aber in Benchmarks immer wieder Schwächen. Häufig können die Modelle aus solchen langen Kontexten keine sinnvollen Schlüsse ziehen, was ihren Mehrwert in manchen Anwendungsfällen wieder aufhebt. Zudem kommt es vermehrt zu Auslassungen – wichtige Aspekte können einfach fehlen. Halluzinationen sind vielschichtig Die Analyse der verschiedenen Halluzinations-Benchmarks offenbart ein Durcheinander: Während Gemini Flash bei Zusammenfassungs-Halluzinationen die besten Werte erzielt, liegt es bei Konfabulations-Halluzinationen nur im Mittelfeld. Claude 3.7 „Thinking“ zeigt dagegen ein ausgewogeneres Profil, ist im letzteren Benchmark sogar das beste Modell – liegt aber im ersteren deutlich hinter den Spitzenreitern. Besonders problematisch sind die hohen Konfabulationsraten von Nova Pro und Phi-4. Die robustesten Ergebnisse über beide Arten von Halluzinationen erreichen GPT-4.5 und Gemini 2.0 Pro. Heißt im Klartext: Es gibt kein KI-Modell, auf das man sich verlassen kann. Daher sollte man Rahmenbedingungen schaffen, die Halluzinationen reduzieren, etwa durch gute Kenntnis der verarbeiteten Daten, und eine Fakten-Check-Kultur bei Mitarbeitenden etablieren, wenn diese mit generativer KI arbeiten. Benchmark-Performance nicht gleich Praxistauglichkeit Die Diskrepanz zwischen Benchmark-Ergebnissen und praktischer Anwendung manifestiert sich besonders deutlich am Beispiel des QwQ-32B-Modells. In den AAII- und LiveBench-Benchmarks erreicht es solide Werte. In der praktischen Anwendung offenbaren sich jedoch gravierende Mängel: Bei der Analyse der Bahndaten in unserem Use Case erreicht das Modell die schlechteste Bewertung aller getesteten Modelle. Auch beim LinkedIn-Use-Case fügt es ungefragt chinesische Schriftzeichen ein und erzielt ein unzureichendes Ergebnis. Technische Empfehlungen Für redaktionelle Arbeit und anspruchsvolle Texte empfiehlt sich die Claude-Serie. Bei mathematischen und logischen Aufgaben überzeugen die Reasoning-Modelle, insbesondere o1 und Deepseek-R1. Für multimodale Anwendungen mit großen Kontextfenstern ist Gemini 2.0 Pro die erste Wahl. Bei Anforderungen an lokale Ausführung bieten die Deepseek-Modelle aktuell die beste Open-Source-Performance. Für EU-Lösungen bleibt trotz Leistungseinschränkungen nur Mistral als Option. Technologische Entwicklung Der Markt entwickelt sich weiterhin sehr dynamisch. Nach einem Trend zu spezialisierten Reasoning-Modellen in den vergangenen Monaten sehen wir eine Entwicklung hin zu hybriden Modellen, die Reasoning- und klassische Sprachmodelle wieder miteinander verbinden. Auch werden die Modelle zunehmend multimodal. Die systematische Evaluation der Modelle wird damit zu einer kontinuierlichen Aufgabe, bei der neben quantitativen Benchmarks primär die Leistung in spezifischen Anwendungsfällen und die differenzierte Analyse der Halluzinationsraten entscheidend sind. KI-Modell-Evaluation Die entwickelte dreistufige Methodik zur systematischen Evaluation von KI-Modellen erweist sich als effektiver Ansatz für die Modellselektion. Die Kombination aus Benchmark-Analyse, automatisierten Use-Case-Tests mit Promptfoo und manuellem „Vibe-Based Benchmarking“ ermöglicht eine systematische Eingrenzung des Suchraums von der Vorauswahl bis zur finalen Modellselektion. Besonders wertvoll zeigt sich die Verwendung komplementärer Testmethoden: deterministische Tests für technische Anforderungen und Compliance-Checks, ergänzt durch modellbasierte Tests mit Claude 3.7 für subjektive Qualitätsaspekte. Eine Ampelbewertung mit normalisierten Scores schafft dabei eine nachvollziehbare Bewertungsgrundlage, auch wenn die Ergebnisse eine feinere Differenzierung im oberen Leistungsbereich (0,7–1,0) nahelegen. Zudem bleiben die Definition präziser Bewertungskriterien für subjektive Aspekte und die anwendungsspezifische Gewichtung verschiedener Kriterien komplex. Empfohlener Workflow zur KI-Modellauswahl Basierend auf unseren Erfahrungen empfehlen wir folgenden Arbeitsablauf zur Identifikation des optimalen KI-Modells für Ihre spezifischen Anwendungsfälle: 1. Benchmark-Selektion Identifizieren Sie Benchmarks, die wichtige Aspekte Ihres Use-Cases abbilden Berücksichtigen Sie, dass verschiedene Anwendungsfälle unterschiedliche Benchmarks erfordern (z. B. Code vs. Text) Achten Sie besonders auf Benchmark-Kategorien, die für Ihre Anforderungen kritisch sind (Halluzinationen, Reasoning, multilinguale Fähigkeiten etc.) 2. Entwicklung von Bewertungskriterien Definieren Sie präzise, wie ein gutes Ergebnis aussieht Erstellen Sie eine Rubrik mit messbaren Kriterien (wie in unseren Ampel-Bewertungen) Berücksichtigen Sie sowohl objektive Faktoren (Korrektheit, Vollständigkeit) als auch subjektive Aspekte (Stil, Tonalität) 3. Implementierung automatisierter Tests Übersetzen Sie Ihre Bewertungskriterien in deterministische und modellbasierte Tests in Promptfoo Entwickeln Sie repräsentative Prompts für Ihre typischen Anwendungsfälle Planen Sie ausreichend Zeit für Prompt-Iterationen ein, um optimale Ergebnisse zu erzielen 4. Automatisierte Evaluation Führen Sie die Tests mit den auf Basis der Benchmark-Ergebnisse vorausgewählten Modellen durch Achten Sie auf unerwartete Ergebnisse: Modelle, die in Benchmarks gut abschneiden, können in spezifischen Use-Cases versagen Identifizieren Sie 3–5 Top-Performer für die manuelle Evaluation 5. Manuelle Überprüfung und „Vibe Based Benchmarking“ Prüfen Sie die Ergebnisse der Top-Performer manuell gegen Ihre definierten Kriterien. Achten Sie auf Sinnhaftigkeit und Korrektheit – auch die Sprachmodell-Bewerter können Fehler machen Bewerten Sie subjektive Aspekte wie den Stil der Antworten, die in automatisierten Tests schwer zu messen sind Berücksichtigen Sie Faktoren wie Kosten, Durchsatzraten und API-Verfügbarkeit für die endgültige Entscheidung 6. Regelmäßige Neuevaluation KI-Modelle werden kontinuierlich verändert – prüfen Sie regelmäßig, ob neuere Modelle andere oder bessere Ergebnisse liefern Passen Sie Ihre Bewertungskriterien und Prompts bei Bedarf an die Entwicklung Ihrer Anwendungsfälle an.

KI-Modellkunde - Fundierte Entscheidungshilfe für KI-Modelle im Unternehmen

Update – 7. November 2025

Einführung & Grundlagen

heise KI PRO
KI VERSTEHEN UND ANWENDEN

KI-Modellkunde - Fundierte Entscheidungshilfe für KI-Modelle im Unternehmen

Update – 7. November 2025

Einführung & Grundlagen

heise KI PROKI VERSTEHEN UND ANWENDEN

heise KI PRO
KI VERSTEHEN UND ANWENDEN