Lokale KI-Modelle 2026: Report zu Modellen, Benchmarks und Hardware

Fortlaufender Report seit April 2026, zuletzt aktualisiert am 3. Oktober 2026

Zwischenbilanz Frühjahr bis Oktober 2026: Wie sich lokale Modelle, die Cloud-Frontier und die Anforderungen an die Hardware verändert haben. Die Einschätzungen aus Frühjahr und Sommer bleiben stehen und werden aus heutiger Sicht eingeordnet.

Ob brauchbare KI-Modelle lokal laufen, ist 2026 geklärt. Offen ist, welche Modellklasse zu welcher Aufgabe passt, wie weit die offenen Modelle hinter der proprietären Frontier liegen und welche Hardware dafür realistisch nötig ist. Für Unternehmen im DACH-Raum kommt die Datenhoheit dazu: Wer Dokumente, Kundendaten oder Geschäftslogik wegen DSGVO, Branchenvorgaben oder aus strategischen Gründen nicht über US-APIs leiten will, findet in den offenen Modellen inzwischen produktionsreife Alternativen.

Das Wichtigste in Kürze

• Offene Spitze: MiMo-V2.6-Pro von Xiaomi liegt im AA-Index mit 46 Punkten vor GLM-5.3 (45) und Kimi K3 (44). Der Juli-Favorit GLM-5.2 ist überholt.
• Comeback des Sommers: Meta ist mit Muse Glimmer (30B, Apache 2.0) zu offenen Gewichten zurückgekehrt.
• Lokale Oberklasse: Qwen3.8-27B (Apache 2.0) erreicht im AA-Index mit den dort getesteten Einstellungen 34 Punkte und liegt damit vor Muse Glimmer (17) und Gemma 4 31B (15). Quantisiert kommt es für eine 24-GB-Grafikkarte infrage; wie gut die lokale 4-Bit-Fassung arbeitet, misst der AA-Index allerdings nicht.
• Frontier gegen offene Modelle: Auf derselben Skala nachgemessen ist der Abstand zwischen den beiden Spitzenreitern seit Juli von 16 auf 12 Punkte geschrumpft, vorn liegt Claude Opus 5.5 mit 58.
• Agenten: Wo das Modell rechnet, wer den Agenten steuert und wo die Werkzeuge laufen, sind drei getrennte Fragen. Vollständig lokal ist ein Setup erst, wenn auch das Modell auf eigener Hardware rechnet.
• Europa: Das beste europäische Modell mit offenen Gewichten im AA-Index, Mistral Medium 3.5, kommt auf 14 Punkte. Seit dem 3. Oktober gibt es außerdem Kolibri von Aleph Alpha, ein offenes Modell für Deutsch und Englisch.
• Hardware: Deutlich gewachsen ist die Klasse mit 128 bis 512 GB gemeinsamem Speicher (Mac Studio M5 Ultra, Ryzen AI Max PRO 400, DGX Spark). Arbeitsspeicher ist allerdings so teuer wie lange nicht.
• Fazit und FAQ: Erst Aufgabe und Daten klären, dann mit eigenen Unterlagen testen und erst danach Hardware kaufen.

Was sich von März bis Oktober 2026 wirklich verändert hat

Die Dynamik bis Anfang Juli ließ sich auf fünf Linien verdichten. Seit Juli sind zwei weitere dazugekommen.

Erstens ist die offene Sub-32B-Klasse erheblich stärker geworden. Das klarste Signal kommt aus der neuen Qwen3.6-Generation: Das dichte Qwen3.6-27B soll laut Hersteller in mehreren wichtigen Coding-Benchmarks das vorherige offene Flaggschiff Qwen3.5-397B-A17B übertreffen. Ein 27B-Dense-Modell schlägt damit ein deutlich größeres 397B-MoE.

Mit den proprietären Frontier-Systemen ist das nicht gleichzusetzen. Es zeigt aber, dass Modelle, die sich lokal betreiben lassen, schneller an die Spitze heranrücken, als man es vor einem Jahr erwartet hätte.

Zweitens ist mit Gemma 4 am 2. April 2026 eine Modellfamilie erschienen, die gleich mehrere Leistungsklassen bedient. E2B und E4B adressieren Edge- und Mobile-Szenarien, 26B A4B die effiziente MoE-Mittelklasse, 31B Dense die dichte lokale Oberklasse. Alle Varianten stehen unter Apache 2.0 und sind ohne gesonderte Lizenzvereinbarung kommerziell nutzbar, was die Einführung in Unternehmen vereinfacht. Daran lässt sich eine Entwicklung des Jahres ablesen: Hersteller schneiden Modelle 2026 zunehmend auf Zielhardware und Einsatzzweck zu, die Parameterzahl allein entscheidet weniger.

Drittens ist das lokale Software-Ökosystem reifer geworden. Ollama hat Apple-Silicon-Workflows mit MLX sichtbar gestärkt, LM Studio ist als Desktop- und Laufzeitplattform breiter und belastbarer geworden, und mit MolmoWeb von Ai2 ist ein offener Web-Agent erschienen, der Webseiten selbst bedient. Lokale KI besteht 2026 damit aus einem ganzen Stack aus Runtime, Oberfläche und Werkzeugen; das Modell im Terminal ist nur noch der Ausgangspunkt.

Bei Ollama hat sich diese Entwicklung im Sommer fortgesetzt. Zwischen Juli und Ende September ging es von Version 0.31 auf 0.35. Die MLX-Engine für Apple Silicon nutzt bei Modellen mit MTP-Kopf wie Qwen3.5 inzwischen automatisch Speculative Decoding, und eigene MLX-Modelle lassen sich seit Version 0.34.1 regulär mit ollama create anlegen. Muse Glimmer und Qwen3.8-27B ließen sich jeweils am Tag ihrer Veröffentlichung in Ollama starten, Glimmer zunächst nur auf Apple Silicon. Auch bei Agenten haben Ollama und LM Studio im Sommer nachgelegt, mehr dazu bei den Agenten-Trends.

Viertens hat sich die offene Oberklasse in sehr kurzer Zeit gleich zweimal neu sortiert. Ab April verschoben Modelle wie DeepSeek V4 (Pro und Flash), Kimi K2.6, das überraschende MiMo-V2.5-Pro von Xiaomi und MiniMax M3 die Spitze im offenen Markt sichtbar nach oben. Mehrere davon erreichten im neutralen Artificial-Analysis-Index Werte, die kurz zuvor klar der proprietären Spitzenklasse vorbehalten waren. Mitte Juni übernahm dann GLM-5.2 von Z.ai die Führung unter den offenen Modellen, mit MIT-Lizenz, solidem 1M-Token-Kontext und 81,0 % auf Terminal-Bench 2.1 im Terminus-2-Harness laut Modellkarte. Der offene Favorit des Frühjahrs, Kimi K2.6, war damit nach nur wenigen Wochen abgelöst.

Fünftens ist die proprietäre Frontier im Juni an Grenzen gestoßen, die nichts mit Technik zu tun haben. Am 9. Juni stellte Anthropic Claude Fable 5 vor, das erste allgemein verfügbare Modell der Mythos-Klasse oberhalb von Opus. Drei Tage später war es wieder weg: Am 12. Juni setzte Anthropic den Zugang aus, erst am 1. Juli kam das Modell zurück. Was dahintersteckte, steht im Abschnitt zu Claude Fable 5; warum auch OpenAI mit GPT-5.6 und SpaceXAI mit Grok 4.5 ihre neuen Modelle im Sommer nur schrittweise freigaben, in der Einordnung.

Sechstens: Am 27. Juli stellte Moonshot die Gewichte von Kimi K3 online, rund 2,8 Billionen Parameter und damit mehr als jedes offene Modell davor. Danach ging es Schlag auf Schlag, im August mit GLM-5.3 von Z.ai und der Qwen3.8-Familie, im September mit DeepSeek V4.1 Flash und Xiaomis MiMo-V2.6. Welches davon im neuen Index vorne liegt, steht im Abschnitt zur offenen Oberklasse. Für die lokale Praxis zählen zwei andere Releases mehr, ein Rückkehrer und der Nachfolger von Qwen3.6-27B. Dazu kam ein neuer Name: Thinking Machines, das Start-up der früheren OpenAI-Technikchefin Mira Murati, hat sein erstes Modell gleich mit offenen Gewichten veröffentlicht.

Siebtens: Allein zwischen dem 21. und dem 30. September erschienen Grok 4.7, Claude Opus 5.5, GPT-6 Sol und Luna, Claude Sonnet 5.5 und GPT-6.1 Sol, dazu Googles Gemini 4 Argon, zunächst nur für ausgewählte Sicherheitsteams, seit dem 13. Oktober allgemein verfügbar. Davor kamen Claude Opus 5 (24. Juli), Fable 5.1 (1. September) und GPT-6 Astra (Anfang September). Ob die offenen Modelle dabei den Anschluss verloren haben, zeigt erst ein Vergleich auf derselben Skala. Auf der Hardware-Seite kommt eine neue Generation großer Arbeitsplatzrechner auf den Markt, allerdings in einem Herbst, in dem Arbeitsspeicher ein Vielfaches des Vorjahrespreises kostet.

Die neuen Open-Weights-Releases, die 2026 wirklich zählen

Nicht jede Neuerscheinung ist für den lokalen Alltag gleich wichtig. Einige setzen Benchmarks, andere verändern tatsächlich die Praxis.

Gemma 4 – die breiteste Staffelung des Frühjahrs

Gemma 4 ist eines der strategisch wichtigsten Open-Weights-Releases des Frühjahrs. Die Familie deckt gleich mehrere Klassen ab: Edge, effiziente lokale Mittelklasse und hochwertige Workstation-Zone. Google nennt konkrete Hardware-Angaben: Das 31B-Dense-Modell passt unquantisiert in BF16 auf eine einzelne 80 GB H100, quantisierte Varianten laufen lokal auf Consumer-Hardware, und E2B/E4B sind ausdrücklich für Phones, Raspberry Pi und Jetson Orin Nano gedacht. Die Gemma-4-Familie ist multimodal auf Text, Bild und Video ausgelegt; Video wird dabei als Frame-Sequenz verarbeitet. Native Audio-Eingabe unterstützen E2B, E4B und das im Juni nachgereichte 12B-Modell; die 12B-, 26B- und 31B-Modelle sind für PC- und Workstation-Szenarien positioniert. Der Kontext reicht bei E2B und E4B bis 128K Token, bei 12B, 26B A4B und 31B Dense bis 256K.

Für kleinere Unternehmen ist vor allem das 26B A4B interessant. Es aktiviert nur etwa 3,8 Milliarden seiner 25,2 Milliarden Parameter pro Token. Das senkt den Rechenaufwand pro Token deutlich, während die Qualität sich dem dichten 31B-Modell annähert; wie schnell es tatsächlich läuft, hängt vom ganzen Stack ab. Für Teams ohne eigenes Rechenzentrum ist das ein gutes Verhältnis.

Seit Anfang Juni ergänzt Gemma 4 12B Unified die Familie. Es versteht wie E2B und E4B auch Audio und schließt die Lücke zwischen den Edge-Modellen und 26B A4B. Auf Gemma 5 warten Entwickler bis Anfang Oktober vergeblich; Google meldete im August stattdessen mehr als eine Milliarde Downloads für die Gemma-Familie. Im AA-Index v4.3 liegt Gemma 4 31B bei 15 Punkten. Mit der strengeren Skala allein lässt sich das nicht erklären, denn das ähnlich große Qwen3.8-27B kommt auf 34 Punkte. Die offenen Modelle jenseits von 40 Punkten haben allerdings ein Vielfaches an Parametern.

Qwen3.6 und Qwen3.8 – die wichtigste Leistungsachse 2026

Qwen3.6 löste im Frühjahr im Oberbau die Qwen3.5-Generation ab und war für die lokale Praxis das wichtigste Release dieser Monate. Zwei Open-Weights-Varianten zählen, beide unter Apache 2.0 und beide kommen quantisiert für 24-GB-Consumer-GPUs infrage, allerdings nur mit begrenztem Kontext; die nominellen 262K bzw. bis zu 1M Kontext sind eher Workstation- oder Server-Szenarien:

Qwen3.6-27B (Dense, veröffentlicht am 22. April) ist nativ multimodal, bietet 262K-Kontext (über YaRN bis 1M erweiterbar) und meldet SWE-bench Verified 77,2 %, SWE-Bench Pro 53,5 % und Terminal-Bench 2.0 59,3 %. Damit übertrifft es das deutlich größere Qwen3.5-397B-A17B in mehreren Coding-Benchmarks. In der 4-Bit-Fassung Q4_K_M ist die Datei rund 17 bis 18 GB groß.

Qwen3.6-35B-A3B (MoE, laut Qwen-GitHub seit 16. April verfügbar) aktiviert von 35 Milliarden Parametern nur etwa 3 Milliarden pro Token. Das senkt den Rechenaufwand pro Token deutlich, die Herstellerwerte liegen dabei auf dem Niveau einer größeren Klasse: SWE-bench Verified 73,4 %, Terminal-Bench 2.0 51,5 %. Mit RAM-Offload ist ein Betrieb auch unterhalb von 24 GB VRAM möglich, komfortabler bleibt 24 GB+.

Die stärksten Qwen-Modelle der Cloud (Qwen3.6-Max-Preview sowie Qwen3.7 Max und Plus aus Mai und Juni) sind closed-weights und lokal nicht verfügbar. Offene Gewichte hat Alibaba für Qwen3.7 nicht veröffentlicht, die offene Linie geht direkt von Qwen3.6 zu Qwen3.8. Für den lokalen Einsatz zählen also die beiden offenen Varianten oben. Die kompakte und mittlere Tagesarbeit deckte weiterhin die Qwen3.5-4B/9B-Klasse ab, kleine 3.6-Modelle gab es nicht.

Im August hat Alibaba mit Qwen3.8 die nächste Generation nachgeschoben. Für lokale Hardware zählt vor allem Qwen3.8-27B (14. August, Apache 2.0): ein dichtes 27B-Modell mit Bild- und Videoverständnis, 262K Kontext nativ und bis zu 1M erweiterbar; den Thinking-Modus kann man pro Anfrage abschalten. Es tritt die Nachfolge von Qwen3.6-27B an und braucht dabei kaum mehr Speicher: Die 4-Bit-Fassung (Q4_K_M) ist in Ollama rund 17 GB groß, mit Bild-Encoder rund 18 GB. Die beiden großen Varianten stehen unter eigenen Lizenzen statt Apache 2.0: Qwen3.8-Flash-Next mit rund 180 Milliarden Parametern (Qwen Community License) und das Flaggschiff Qwen3.8-2.4T-A95B mit 2,4 Billionen. Kleine 3.8-Modelle für Notebooks gibt es bisher nicht, deshalb bleibt die Qwen3.5-4B/9B-Klasse der Daily Driver. Das stärkste Qwen-Modell, Qwen3.8 Max, ist wie seine Vorgänger nur in der Cloud verfügbar.

Muse Glimmer – Meta kehrt zu offenen Gewichten zurück

Am 10. August veröffentlichte Meta mit Muse Glimmer sein erstes offenes Sprachmodell für den allgemeinen Einsatz seit Llama 4, und anders als Llama unter Apache 2.0. Glimmer ist ein dichtes Modell mit rund 30 Milliarden Parametern (inklusive eines 1,8B-Vision-Encoders), 128K Kontext und mehr als 100 Sprachen. Meta hat es aus dem proprietären Muse Spark destilliert und auf Agenten-Aufgaben mit Tool-Aufrufen ausgerichtet.

Für die Hardware-Planung liefert die Modellkarte selbst Zahlen: Meta nennt 64 GB VRAM als Zielkonfiguration für die unquantisierte Fassung, die offizielle K-Quant-17GB-Fassung ist für 24-GB-GPUs vorgesehen. Im AA-Index v4.3 erreicht es 17 Punkte. Zum Start im August hatte Artificial Analysis noch 35 Punkte gemeldet, damals auf v4.1; vergleichen lassen sich die beiden Werte nicht. Ein Benchmark-Spitzenreiter ist Glimmer damit nicht. Interessant ist es wegen der Kombination: Apache-2.0-Lizenz, Ausrichtung auf Agenten und eine Größe, die auf eine einzelne Consumer-Grafikkarte passt.

gpt-oss – OpenAIs offene Modelle

In den bisherigen Fassungen dieses Reports fehlte eine Familie, die in der lokalen Praxis sehr verbreitet ist: OpenAIs gpt-oss. Beide Modelle erschienen bereits im August 2025, also vor gut einem Jahr, unter Apache 2.0. gpt-oss-120b (rund 117 Milliarden Parameter) zielt auf eine einzelne 80-GB-GPU oder Rechner mit viel Unified Memory, gpt-oss-20b (rund 21 Milliarden) auf Notebooks und Desktops. Für das kleinere Modell nennt OpenAI einen Betrieb innerhalb von 16 GB Speicher bei MXFP4-quantisierten MoE-Gewichten; ob ein Rechner mit insgesamt 16 GB für den gewünschten Ablauf genügt, hängt zusätzlich von Betriebssystem, Anwendungen und Kontext ab. Beide sind MoE-Modelle und laufen deshalb schneller, als ihre Gesamtgröße vermuten lässt. Im AA-Index v4.3 liegen sie mit 12 und 9 Punkten klar hinter den neuen chinesischen Modellen. Ihren Platz in vielen Setups haben sie wegen der einfachen Lizenz und der breiten Unterstützung in Ollama, LM Studio und vLLM. Einen Nachfolger als offenes Sprachmodell hat OpenAI bis Anfang Oktober nicht veröffentlicht.

📌 Beispielszenario DACH: Qwen3.5 9B im Steuerbüro

Angenommen, ein Steuerbüro mit 15 Mitarbeitenden setzt Qwen3.5 9B auf einem Mac mini M4 Pro mit 48 GB Unified Memory ein, um eingehende Mandantendokumente (PDF, E-Mail, Scans) automatisch zu klassifizieren und in Stichworten zusammenzufassen. Die Dokumente laufen dabei nacheinander durch; 15 Mitarbeitende bedeuten nicht 15 gleichzeitige Anfragen. Ob Durchsatz und Qualität genügen, zeigt ein Test mit der tatsächlichen Dokumentenmenge. Bei rein lokaler Verarbeitung verlassen die Dokumente das Haus nicht, API-Kosten fallen keine an, und mit dem Datenschutzbeauftragten geht es um einen Rechner im eigenen Netz statt um einen Cloud-Anbieter als Auftragsverarbeiter. Ein erster Prototyp lässt sich mit Ollama und einem einfachen n8n-Flow für die Eingangsverteilung aufbauen; der Aufwand hängt unter anderem von Dokumentqualität, Texterkennung bei Scans und vorhandenen Schnittstellen ab. Für den produktiven Betrieb mit Datenschutzprüfung und Qualitätskontrolle braucht es deutlich mehr Zeit.

Für viele typische KMU-Workloads im DACH-Raum, etwa Dokumentensortierung, E-Mail-Zusammenfassung, interne Q&A oder einfaches RAG auf eigene Handbücher, kann bereits ein Modell der Sub-10B-Klasse auf einem gut ausgestatteten Notebook oder Mac mini ausreichen. Ob das genügt, zeigt am besten ein Test mit eigenen Dokumenten; größere Modelle lohnen sich, wenn die kleine Klasse dabei nicht mithält.

Die folgenden Modelle gehören in die offene Oberklasse. Sie brauchen Server-Hardware oder sehr viel Speicher und sind für die meisten Unternehmen eher über einen eigenen Server oder einen Hoster nutzbar als auf dem Arbeitsplatzrechner.

DeepSeek V4 – das offene Comeback des Frühjahrs

DeepSeek V4 ist das offene Comeback des Frühjahrs. Am 24. April erschien DeepSeeks erste neue Architektur seit V3, und gleich als zweistufige Familie. DeepSeek V4 Pro (1,6 Billionen Gesamt- / 49 Milliarden aktive Parameter, 1M-Kontext, MIT-Lizenz) gehörte mit einem Artificial-Analysis-Intelligence-Index von 52 im Frühjahr zu den drei stärksten offenen Modellen und lag im Coding unter den offenen Modellen vorne (rund 80 % auf SWE-bench Verified). DeepSeek V4 Flash (284 Milliarden Gesamt- / 13 Milliarden aktive Parameter, 1M-Kontext, MIT) ist für schnellere, günstigere Inferenz positioniert und mit nur 13 Milliarden aktiven Parametern die für On-Prem-Setups interessantere Variante. Beide sind Hybrid-Modelle (Thinking/Non-Thinking). Die permissive MIT-Lizenz macht V4 für DACH-Unternehmen, die On-Premises ernst meinen, besonders attraktiv. (Index-Werte nach den Umstellungen auf v4.1 und v4.3: siehe Benchmark-Kapitel.)

Wichtige Einschränkung: Artificial Analysis maß für die Frühjahrs-Versionen von V4 Pro und V4 Flash in seinem Wissenstest AA-Omniscience eine sehr hohe Halluzinationsrate von 94 bzw. 96 Prozent. Gemeint ist: Wenn das Modell eine Frage nicht richtig beantworten kann, gibt es fast immer trotzdem eine falsche Antwort, statt seine Unsicherheit zu zeigen. Für faktenkritische DACH-Workflows (Recht, Steuer, Medizin, Verwaltung) daher nur mit striktem RAG-Grounding und Verifikationsschicht einsetzen.

Ende Juli erschien eine neue Fassung von V4 Flash (0731), Mitte August eine von V4 Pro (0813), beide weiter unter MIT. Interessanter ist, was am 10. September kam: DeepSeek V4.1 Flash, laut Modellkarte von Grund auf neu trainiert, multimodal (Text und Bild), mit 1M Kontext und ebenfalls MIT-Lizenz. Im AA-Index v4.3 erreicht V4.1 Flash 39 Punkte und liegt damit vor V4 Pro 0813 (36). Die Halluzinationswarnung oben bezieht sich auf die April-Versionen; für V4.1 sollte man das vor faktenkritischen Einsätzen selbst prüfen.

Kimi K2.6/K3, MiMo-V2.5/V2.6 und MiniMax M3 – die offene Oberklasse

Drei weitere Releases haben die Spitze des offenen Marktes geprägt. Kimi K2.6 (Moonshot) löste Kimi K2.5 ab und führte im Frühjahr die offenen Modelle im AA-Index an. Das Modell ist als Open-Weights-Modell unter Modified-MIT-Lizenz verfügbar, gehört mit rund 1T Gesamtparametern und 32B aktiven Parametern aber klar in die Server-/Lab-Klasse.

Im Juni legte Moonshot mit Kimi K2.7-Code einen coding-spezialisierten Nachfolger auf Basis von Kimi K2.6 nach: MoE-Architektur, 1T Gesamtparameter, 32B aktive Parameter, 384 Experten, 256K Kontext, Modified-MIT-Lizenz und Gewichte auf Hugging Face. Laut Modellkarte sinkt die Thinking-Token-Nutzung gegenüber K2.6 um rund 30 %; Kimi Code Bench v2 steigt von 50,9 auf 62,0. Das Modell nutzt native INT4-Quantisierung, bleibt aber klar Server-/Lab-Klasse; konkrete VRAM-Zahlen liefern der Deployment-Guide oder eine eigene Messung.

Lange blieb K2.7-Code nicht das neueste Kimi-Modell. Am 16. Juli stellte Moonshot Kimi K3 vor, am 27. Juli folgten die Gewichte. Mit rund 2,8 Billionen Gesamt- und 104 Milliarden aktiven Parametern ist K3 das bislang größte offene Modell, mit 1M Kontext sowie Bild- und Videoverständnis. Anders als K2.6 steht es unter einer eigenen „Kimi K3 License“: Wer ein Model-as-a-Service-Geschäft betreibt, also Dritten etwa per API direkten Zugriff auf Sprachmodelle gibt, und mit verbundenen Unternehmen in zwölf Monaten mehr als 20 Millionen US-Dollar umsetzt, braucht vor jeder kommerziellen Nutzung von K3 einen separaten Vertrag mit Moonshot. Kommerzielle Produkte oder Dienste mit mehr als 100 Millionen monatlich aktiven Nutzern oder mehr als 20 Millionen Dollar Monatsumsatz müssen außerdem sichtbar „Kimi K3“ anzeigen. Rein interne Nutzung ist von beidem ausgenommen; als intern gilt dabei nur, was weder das Modell noch seine Ergebnisse Dritten zugänglich macht. Im AA-Index v4.3 kommt K3 (max) auf 44 Punkte. Für den Betrieb braucht es Rechenzentrumsklasse, auch in starker Quantisierung.

MiMo-V2.5-Pro (Xiaomi) war im Frühjahr der Überraschungseinstieg in die offene Oberklasse. Das Modell gehört klar in die Server-/Lab-Klasse und ist damit beeindruckend, aber nicht sinnvoll auf normaler lokaler Hardware zu betreiben.

Im September hat Xiaomi mit MiMo-V2.6 nachgelegt, wieder unter MIT-Lizenz: MiMo-V2.6-Pro mit rund 1 Billion Parametern und MiMo-V2.6-Flash mit rund 310 Milliarden. Laut Modellkarte verarbeitet die Pro-Variante Text, Bild, Audio und Video. Die Gewichte stehen seit dem 21. September als RL-Fassungen auf Hugging Face, und mit 46 Punkten im AA-Index v4.3 ist MiMo-V2.6-Pro Anfang Oktober das am höchsten bewertete offene Modell. Am 27. September schob Xiaomi überarbeitete MOPD-Fassungen nach, die unter anderem wiederholte Tool-Aufrufe in Agenten-Läufen verringern sollen. Für lokale Hardware interessanter ist ein Nebenprodukt: MiMo-V2.6-Distill-Qwen-9B, ein destilliertes 9B-Modell auf Qwen-Basis, ebenfalls unter MIT. Unabhängige Messwerte dafür lagen zum Redaktionsschluss noch nicht vor.

MiniMax M3 stand in der Juni-Fassung dieses Reports noch auf der Watchlist, weil Gewichte und Lizenz nicht verifizierbar waren. Inzwischen sind die Gewichte veröffentlicht, und die Eckdaten haben sich konkretisiert: rund 428 Milliarden Gesamt- / 23 Milliarden aktive Parameter, 1M-Kontext, native Multimodalität (Bild/Video) und eine Sparse-Attention-Architektur. Wichtig für die Lizenzprüfung: Statt der MIT-Lizenz, die DeepSeek und Z.ai bis GLM-5.2 verwenden, gilt hier eine eigene „MiniMax Community License“ mit Auflagen für kommerzielle Nutzung, die man vor dem Produktiveinsatz prüfen sollte. Im AA-Index v4.1 (Stand Juli) erreichte M3 44 Punkte und spielte damit in einer Liga mit Kimi K2.6 und DeepSeek V4 Pro.

Auf der neuen v4.3-Skala liegt MiniMax M3 bei 29 Punkten und damit deutlich hinter der neuen Spitze aus MiMo-V2.6-Pro, GLM-5.3 und Kimi K3.

GLM-5.2 und GLM-5.3: die Open-Weights-Spitzenreiter des Sommers

Mitte Juni veröffentlichte Z.ai GLM-5.2, ein MoE-Modell, das Hugging Face mit 753 Milliarden Parametern führt, mit solidem 1M-Token-Kontext und MIT-Lizenz. Mit 51 Punkten im AA-Index v4.1 war es im Juli das stärkste offene Modell und löste Kimi K2.6 als Open-Weights-Favoriten ab, und zwar mit deutlichem Abstand: K2.6, MiniMax M3 und DeepSeek V4 Pro folgten bei je 44 Punkten.

Beim Coding rückte GLM-5.2 im Juni bis auf wenige Punkte an die Frontier heran: Terminal-Bench 2.1: 81,0 % (Claude Opus 4.8: 85,0 %); die übrigen offenen Modelle in Z.ais Vergleich kamen auf höchstens 65 %. Auf FrontierSWE lag es laut Modellkarte nahe bei Opus 4.8 und vor GPT-5.5; die Kostenbewertung hängt vom konkreten Self-Hosting- oder API-Setup ab. Für den lokalen Betrieb galt die Server-/Lab-Klasse dieses Reports; wer die Hardware hatte, bekam damit im Juli die frontier-nächste offene Option mit der saubersten Lizenz.

Im August hat Z.ai nachgelegt: GLM-5.3 (753 Milliarden Parameter, 1M Kontext) und GLM-5.3-Flash (rund 320 Milliarden Parameter, davon etwa 18 Milliarden aktiv, nativ multimodal mit Text, Bild und Video). Bei der Lizenz gibt es eine Änderung: Nur Flash steht unter MIT, das große GLM-5.3 kommt mit einer eigenen „glm-5.3“-Lizenz. Wer GLM-5.2 wegen der MIT-Lizenz gewählt hat, sollte das beim Umstieg prüfen. Im AA-Index v4.3 liegt GLM-5.3 (max) bei 45 Punkten, Flash bei 42. Die klare Nummer eins der offenen Welt ist die Familie damit nicht mehr, MiMo-V2.6-Pro liegt einen Punkt davor.

Inkling – Thinking Machines startet mit offenen Gewichten

Am 15. Juli veröffentlichte Thinking Machines sein erstes Modell, und zwar gleich mit offenen Gewichten unter Apache 2.0. Inkling ist ein MoE-Modell mit 975 Milliarden Parametern, von denen 41 Milliarden pro Token aktiv sind, und versteht Text, Bilder und Audio. Ende Juli folgte Inkling Small mit 276 Milliarden Parametern, davon 12 Milliarden aktiv. Die kleine Variante belegt in 4 Bit je nach Variante rund 130 bis 165 GB und gehört damit in die 192-GB-Klasse, das große Modell in die Server-Klasse. Im AA-Index v4.3 kommen Inkling Small auf 26 und Inkling auf 25 Punkte, also weniger als das viel kleinere Qwen3.8-27B. Laut Modellkarte sind beide vor allem auf Englisch ausgelegt. Thinking Machines betreibt mit Tinker eine Plattform zum Feintuning offener Modelle, auf der sich Inkling bereits nutzen lässt.

Nemotron 3 Ultra und Mistral Medium 3.5 – zwei Sonderfälle

Zwei weitere Modelle rundeten das Bild im Juli ab, aus unterschiedlichen Gründen:

Nemotron 3 Ultra gehört zur Nemotron-3-Familie offener NVIDIA-Modelle. Laut Modellkarte ist Ultra ein großes Reasoning-Modell mit rund 550 Milliarden Gesamt- und 55 Milliarden aktiven Parametern pro Token. Besonders relevant ist die Offenheit des Stacks: NVIDIA veröffentlicht neben den Modellen auch Trainingsdaten, Reinforcement-Learning-Umgebungen und Post-Training-Werkzeuge. Im AA-Index v4.1 lag Nemotron 3 Ultra im Juli bei 38 Punkten.

Mistral Medium 3.5 (29. April): 128 Milliarden Parameter dense, 256K Kontext, multimodal, Modified-MIT. Es ersetzte Mistral Medium 3.1, Magistral in Le Chat und Devstral 2 in Mistral Vibe und meldete 77,6 % auf SWE-bench Verified, ähnlich viel wie Qwen3.6-27B, allerdings deutlich größer. Für lokales Serving verweist Mistral vor allem auf vLLM/SGLang/Transformers; konkrete GPU-Zahlen hängen stark vom Serving-Setup ab. Relevant ist es vor allem als Modell eines europäischen Open-Weights-Anbieters.

Am 11. August veröffentlichte NVIDIA Nemotron 3.5 Lightning, ein kleineres MoE-Modell (rund 30 Milliarden Parameter, 3 Milliarden aktiv, OpenMDW-Lizenz), das in die lokal erreichbare Klasse passt. Von Mistral kam schon Anfang Juli Leanstral 1.5 (119 Milliarden Parameter, 6,5 Milliarden aktiv, Apache 2.0), ein Spezialmodell für Beweise mit dem Lean-4-Beweisassistenten aus der Mistral-Small-4-Familie. Im AA-Index v4.3 steht Mistral Medium 3.5 bei 14, Nemotron 3 Ultra bei 23 Punkten.

Bild-KI: FLUX.2 (klein), FLUX 3 und Qwen-Image

Im Bildbereich ist FLUX.2 [klein] besonders relevant, weil Black Forest Labs neben der Bildqualität auch nachvollziehbare Hardwareangaben liefert. Die kleinere 4B-Variante läuft unter Apache 2.0 und ist kommerziell nutzbar. Die frei herunterladbare 9B-Variante steht unter einer Non-Commercial-Lizenz; für kommerzielle Nutzung bietet BFL eine eigene Lizenz für den Selbstbetrieb oder die API an. Nach oben hat BFL die Familie mit FLUX.2 [max] ergänzt, das es nur über die API gibt.

Am 23. Juli hat BFL mit FLUX 3 die nächste Generation vorgestellt, ein Modell, das Bild, Video und Ton gemeinsam lernt. FLUX 3 Video ist seit dem 4. August über die BFL-API allgemein verfügbar und erzeugt Clips von bis zu 20 Sekunden mit eigenem Ton. FLUX 3 Image bietet BFL inzwischen über die API und als Gewichte für den Betrieb auf eigener Infrastruktur an, allerdings nur mit kommerzieller Lizenz. Frei herunterladbare Gewichte für Bild oder Video gibt es von FLUX 3 bisher nicht; eine offene Variante namens FLUX 3 Dev hat BFL angekündigt. Für lokale Bildpipelines mit freier Lizenz bleibt deshalb FLUX.2 [klein] 4B der Ausgangspunkt.

Bei Qwen fiel im Frühjahr vor allem Qwen-Image-2.0 auf (7B, native 2K-Auflösung, starkes Text-Rendering). Offizielle offene Gewichte hat Alibaba für diese Version aber nicht auf Hugging Face veröffentlicht. Für Agenturen ist dieser Unterschied wichtig, bevor Produktionskosten entstehen. Im September hat Alibaba mit Qwen-Image 2.1 den Nachfolger mit offenen Gewichten auf Hugging Face veröffentlicht; sein Bildgenerator hat rund 7 Milliarden Parameter, Text-Encoder und VAE kommen hinzu. Die „Qwen Research“-Lizenz erlaubt allerdings nur Forschung und Evaluierung, für kommerzielle Nutzung braucht es eine separate Lizenz des Anbieters.

Frontier-Referenzen: Daran misst sich die offene lokale Welt

Eine vollständige Einordnung lokaler KI kommt an der proprietären Frontier nicht vorbei. Ihre Gewichte bleiben beim Anbieter, sie setzen aber den Maßstab, an dem sich die offenen Modelle 2026 messen lassen müssen.

Sie lassen sich auch aus lokalen Anwendungen heraus nutzen, die Inferenz läuft aber immer auf Servern des Anbieters oder seiner Cloud-Partner. Die folgende Übersicht zeigt, welche Modelle sich auf eigener Hardware betreiben lassen. Seit Juli sind auf der Cloud-Seite Claude Opus 5/5.5, Sonnet 5.5, Fable 5.1, GPT-6/6.1, Grok 4.6/4.7, Gemini 3.6 bis 3.8 Flash, Gemini 4 Argon und Metas Muse Spark 1.1 bis 1.3 dazugekommen. Auf der offenen Seite kamen Kimi K3, GLM-5.3, Qwen3.8, DeepSeek V4.1, MiMo-V2.6, Muse Glimmer und Inkling hinzu, am 3. Oktober außerdem Kolibri von Aleph Alpha.

Kategorie	Modelle	Lokal betreibbar?
Proprietäre Frontier-Modelle	Claude Fable 5/5.1, Opus 5/5.5, Sonnet 5.5, GPT-5.5/5.6, GPT-6/6.1, Grok 4.5 bis 4.7, Gemini 3.x/4 Argon, Muse Spark	Nein. Sie können zwar über lokal installierte Anwendungen genutzt werden, die Inferenz läuft jedoch immer in der Cloud des Anbieters oder seiner Partner.
Offene Gewichte (Server-Klasse)	GLM-5.2/5.3, DeepSeek V4/V4.1, Kimi K2.6/K2.7/K3, MiMo-V2.5-Pro/V2.6, Qwen3.8-Flash-Next/2.4T, MiniMax M3, Nemotron 3 Ultra, Mistral Medium 3.5, Inkling, Kolibri	Ja, mit leistungsfähiger Server-Hardware und entsprechendem IT-Betrieb
Offene Gewichte (lokal erreichbar)	Qwen3.8-27B, Qwen3.6-27B/35B-A3B, Muse Glimmer 30B, Gemma 4, gpt-oss-20b (120b ab ca. 80 GB), Qwen3.5 4B/9B	Ja, auf Workstations, Notebooks oder Macs mit ausreichendem Speicher

Die Chronologie des Frühjahrs zeigt eine ungewöhnlich hohe Taktung: Claude Opus 4.6 erschien am 5. Februar 2026, gefolgt von Claude Sonnet 4.6 am 17. Februar. GPT-5.4 folgte am 5. März, Gemini 3.1 Flash Live am 26. März. Im April ging es weiter mit Claude Opus 4.7 (16. April) und GPT-5.5 (23. April), bevor im Mai Gemini 3.5 Flash (19. Mai) und Claude Opus 4.8 (28. Mai) nachzogen.

Im Sommer hielt die Taktung an: Claude Fable 5 (9. Juni), die GPT-5.6-Preview (26. Juni) und Grok 4.5 (8. Juli).

Ab Ende Juli zog das Tempo noch einmal an: Claude Opus 5 (24. Juli), Claude Fable 5.1 und Metas Muse Spark 1.3 (1. und 2. September), GPT-6 Astra (Preview am 3. September, allgemein ab 4. September), Grok 4.7 (21. September), GPT-6 Sol und Luna sowie Claude Opus 5.5 (beide 22. September), Claude Sonnet 5.5 (28. September), GPT-6.1 Sol (29. September) und Gemini 4 Argon (vorgestellt am 30. September).

Zur Einordnung der Zahlen: Artificial Analysis hatte den Intelligence Index Mitte Juni von v4.0 auf v4.1 umgestellt und dabei neu skaliert. Im Juni-Stand dieses Reports (v4.0) lag Claude Opus 4.8 mit rund 61 Punkten vorn, gefolgt von GPT-5.5 (xhigh) mit 60 und Gemini 3.1 Pro bei etwa 57. Die offene Spitze (Kimi K2.6, MiMo-V2.5-Pro mit 54, DeepSeek V4 Pro mit 52) rückte damals bis auf wenige Punkte heran. Im Juli (v4.1, Stand 9. Juli) führte Claude Fable 5 mit 60 Punkten vor Claude Opus 4.8 (56), GPT-5.5 xhigh (55) sowie Grok 4.5 und Claude Opus 4.7 (je 54); das stärkste offene Modell war GLM-5.2 mit 51. Die Frühjahrs-Aussage, der Abstand zwischen offener und proprietärer Welt sei „so gering wie nie“, musste man im Juli differenzieren: An der absoluten Spitze hatte sich die Schere mit Fable 5 wieder geöffnet, beim Coding dagegen war sie enger denn je. Aus heutiger Sicht verglich diese Einschätzung allerdings Werte aus zwei verschiedenen Index-Versionen; was eine Nachmessung auf derselben Skala zeigt, steht in der Einordnung weiter unten.

Anfang September hat Artificial Analysis gleich zweimal umgestellt, am 4. September auf v4.2 und am 7. September auf v4.3, unter anderem mit Terminal-Bench 4.0 statt 2.1 und einem höheren Anteil privater Testsets. Anfang Oktober führt Claude Opus 5.5 (max) mit 58 Punkten vor Claude Sonnet 5.5 (56), Claude Fable 5.1, GPT-6 Astra und das am 30. September vorgestellte Gemini 4 Argon (je 53) sowie GPT-6.1 Sol (52). Das stärkste offene Modell ist MiMo-V2.6-Pro mit 46 Punkten, gefolgt von GLM-5.3 (45) und Kimi K3 (44).

GPT-5.5, GPT-5.6 und GPT-6 – Referenz für Wissensarbeit und Computer Use

GPT-5.5 löste im April GPT-5.4 ab und dient hier als Frühjahrsreferenz für Wissensarbeit, Tool-Nutzung und Computer Use. OpenAI nennt für das Modell unter anderem 82,7 Prozent auf Terminal-Bench 2.0, 84,9 Prozent auf GDPval, 78,7 Prozent auf OSWorld-Verified und 58,6 Prozent auf SWE-Bench Pro. Diese Herstellerwerte stammen aus unterschiedlichen Tests und lassen sich nicht zu einer gemeinsamen Rangzahl zusammenfassen. Für den Vergleich mit lokalen Modellen ist vor allem die Kombination aus Coding, Dokumentenarbeit und Werkzeugnutzung interessant.

Am 26. Juni begann die begrenzte Preview der GPT-5.6-Familie, am 9. Juli folgte die allgemeine Freigabe von Sol, Terra und Luna. Sol war das Flaggschiff, Terra die ausgewogene Variante und Luna das günstigere Modell für hohe Nutzung. Die Einführungspreise lagen bei 5/30 US-Dollar pro Million Input-/Output-Token für Sol, 2,50/15 Dollar für Terra und 1/6 Dollar für Luna. Diese Preise sind nur historische Startwerte: OpenAI senkte sie am 30. Juli für Luna (um 80 %) und Terra (um 20 %) und am 21. August vorübergehend auch für Sol. Für aktuelle Kostenvergleiche ist deshalb die jeweils gültige Preisliste maßgeblich.

Im September folgte die GPT-6-Familie. GPT-6 Astra wurde am 3. September vorgestellt, GPT-6 Sol und Luna folgten am 22. September. Astra erreicht im Artificial Analysis Intelligence Index v4.3 mit maximalem Reasoning 53 Punkte. Am 29. September veröffentlichte OpenAI GPT-6.1 Sol für Agenten-Coding, Computer Use und professionelle Arbeit. Die Standardpreise liegen bei 2 US-Dollar Input und 10 US-Dollar Output pro Million Token für Eingaben bis 272K Token; bei größeren Eingaben und anderen Verarbeitungsarten gelten andere Preise.

Claude Opus 4.8, Opus 5 und Opus 5.5 – Referenz für Agenten und Coding

Claude Opus 4.8 war von Ende Mai bis zum 9. Juni die Spitze von Anthropic und blieb auch nach dem Fable-5-Start bis zum Erscheinen von Opus 5 das Referenzmodell für den Alltag, nicht zuletzt, weil Fable 5 in sensiblen Themenbereichen auf Opus 4.8 zurückfiel. Anthropic hob vor allem Zuverlässigkeit und „Ehrlichkeit“ hervor: Das Modell flaggte Unsicherheiten proaktiver und war nach eigenen Evals rund viermal seltener dabei, eigene Code-Fehler unkommentiert durchzulassen. Auf SWE-Bench Pro nannte Anthropic 69,2 %. Praktisch relevant waren der gegenüber dem Vorgänger stabile Preis von $5 Input / $25 Output pro Million Token und der Fast-Modus mit 2,5-facher Geschwindigkeit, der mit $10 / $50 separat abgerechnet wurde. Mit Opus 4.8 kamen außerdem die Effort-Stufen (extra/max) und „Dynamic Workflows“ in Claude Code, mit denen sehr große, mehrstufige Aufgaben über viele parallele Sub-Agenten laufen. Für lokale KI ist die Richtung interessant: längere autonome Läufe, robuste Tool-Nutzung, verlässlichere Selbstprüfung.

Am 24. Juli erschien Claude Opus 5 zu 5 $ / 25 $, keine zwei Monate später, am 22. September, schon Claude Opus 5.5 als erstes Modell der 5.5-Familie. Es kostet 4 $ Input / 20 $ Output pro Million Token und liegt laut Anthropic bei den meisten Aufgaben auf dem Niveau von Fable 5.1. Im typischen Einsatz ist es rund 40 % günstiger im Betrieb als Opus 5 und in der Ausgabe mehr als 30 % schneller. Den Thinking-Modus kann man bei Opus 5.5 nicht mehr abschalten. Mit 58 Punkten (max) führt es Anfang Oktober den AA-Index v4.3 an. Am 28. September kam Claude Sonnet 5.5 hinzu (2 $ / 10 $), mit 56 Punkten direkt dahinter. Die Referenz für lokale Modelle ist damit günstiger geworden und gleichzeitig stärker.

Claude Fable 5 und 5.1: Mythos-Klasse mit Zwangspause

Am 9. Juni stellte Anthropic Claude Fable 5 und Claude Mythos 5 vor, die ersten Modelle der Claude-5-Familie. Sie gehören zur Mythos-Klasse oberhalb von Opus, die es bis dahin nur als Mythos Preview für ausgewählte Partner gab. Beide Varianten nutzen dasselbe zugrunde liegende Modell: Fable 5 war allgemein verfügbar und leitete Anfragen aus sensiblen Bereichen (offensive Cybersicherheit, Biologie/Chemie, Destillationsversuche) per Sicherheitsklassifikator an Opus 4.8 weiter, laut Anthropic in unter 5 % der Sessions. Mythos 5 hatte in diesen Bereichen weniger strenge Schranken, war aber geprüften Partnern vorbehalten (Cyber-Verteidiger im „Project Glasswing“, ausgewählte biomedizinische Forschung).

Der Start verlief holprig: Anthropic startete das Modell am 9. Juni, setzte den Zugang am 12. Juni aber vorübergehend aus. Am 1. Juli wurde Fable 5 nach aufgehobenen Exportkontrollen und nachgeschärften Sicherheitsklassifikatoren wieder ausgerollt.

Preislich lag Fable 5 mit 10 $ Input / 50 $ Output pro Million Tokens deutlich über Opus 4.8. Verfügbar war es über die Claude-API, Claude.ai, Claude Code und Claude Cowork; in den Abo-Plänen war es zeitlich befristet enthalten, danach lief der Zugang über Nutzungsguthaben. Im Artificial-Analysis-Index v4.1 führte Fable 5 im Juli mit 60 Punkten, vier Punkte vor Opus 4.8.

Am 1. September folgte Claude Fable 5.1, zusammen mit Mythos 5.1, demselben Modell mit weniger strengen Schutzmaßnahmen für Cybersicherheit und Biowissenschaften, das weiterhin nur geprüften Organisationen offensteht, vorerst nur in den USA. Der Listenpreis blieb bei 10 $ / 50 $, Cache-Lesezugriffe kosten aber nur noch 0,25 $ statt 1 $ pro Million Token. Im AA-Index v4.3 erreicht Fable 5.1 53 Punkte. Die Spitze hat Anthropic inzwischen mit Opus 5.5 übernommen, das günstiger ist und höher bewertet wird.

Gemini 3.1 Pro, Flash Live und Flash bis 3.8 – Voice, Realtime und Effizienz

Google setzte im Frühjahr mit der Gemini 3-Serie einen breiteren Referenzrahmen. Gemini 3.1 Pro wurde als Modell für komplexe Problemlösung positioniert und erreichte laut Google 77,1 % auf ARC-AGI-2. Gemini 3.1 Flash Live verschob die Frontier in Richtung Audio, Realtime-Interaktion und Voice Agents; im Mai folgten die generelle Verfügbarkeit von Gemini 3.1 Flash-Lite (sehr günstig und schnell) und das neue Gemini 3.5 Flash.

Für lokale Modelle verschiebt das die Messlatte: Gefragt ist 2026 ein System, das Text, Audio und Bilder verarbeitet, Werkzeuge nutzt und schnell antwortet.

Am 21. Juli kam Gemini 3.6 Flash, am 13. August 3.7 Flash, am 2. September 3.8 Flash. Den Sommer hat Google fast ganz der Flash-Linie gewidmet. Gemini 3.8 Flash erreicht im AA-Index v4.3 41 Punkte. Beim großen Pro-Modell lief es weniger rund.

Gemini 3.5 Pro: angekündigt, verschoben, überholt von Gemini 4 Argon

Google hat Gemini 3.5 Pro auf der I/O am 19. Mai angekündigt und eine Veröffentlichung im Folgemonat in Aussicht gestellt. Daraus wurde nichts: Bei der Vorstellung der Quartalszahlen am 22. Juli beschrieb Google das Modell noch als in der Testphase.

Allgemein verfügbar ist Gemini 3.5 Pro auch Anfang Oktober nicht.

Am 30. September hat Google dann gleich die nächste Generation vorgestellt: Gemini 4 Argon. Google bezeichnet es als sein neues Frontier-Modell für Coding, Wissensarbeit in Unternehmen und Cyberabwehr. Unabhängig gemessen kommt es im AA-Index v4.3 (high) auf 53 Punkte, gleichauf mit GPT-6 Astra und Fable 5.1. Zunächst durften es nur ausgewählte Cybersecurity-Teams über Googles Fairwind-Programm nutzen. Seit dem 13. Oktober ist es allgemein verfügbar: über die Gemini-API im kostenpflichtigen Tarif, in AI Studio und für Abonnenten von Google AI Pro und Ultra in der Gemini-App. Zum Start kostet es 2 US-Dollar pro Million Eingabe- und 10 US-Dollar pro Million Ausgabetokens, nach der Einführungsphase will Google den Preis anheben. Was aus Gemini 3.5 Pro wird, hat Google bei der Vorstellung nicht gesagt.

Grok 4.5 bis 4.7: Start auf Augenhöhe mit Opus 4.7, in der EU mit Verspätung

Am 8. Juli erschien Grok 4.5 von SpaceXAI/xAI, zunächst über die xAI-API und in Cursor; den eigenen Blogbeitrag zum Start veröffentlichte SpaceXAI am 16. Juli. Das Modell wurde gemeinsam mit Cursor trainiert und zielte auf Coding, agentische Aufgaben und Wissensarbeit; die Anbieterangaben nannten unter anderem Terminal-Bench 2.1 83,3 % und SWE-Bench Pro 64,7 %. Im AA-Index v4.1 stand Grok 4.5 (high) im Juli bei 54 Punkten, gleichauf mit Claude Opus 4.7.

Für Leser in der EU wichtig: Grok 4.5 war zum Start in der EU nicht verfügbar, weder in den SpaceXAI-Produkten noch über die API-Konsole. Die EU-Freischaltung war für Mitte Juli angekündigt.

Sie kam pünktlich: Am 17. Juli schaltete SpaceXAI Grok 4.5 laut den eigenen Release Notes auch für EU-Nutzer über die API frei.

Im August folgte Grok 4.6, am 21. September Grok 4.7, laut SpaceXAI sein bislang leistungsfähigstes Modell für Coding und Wissensarbeit. Beide bieten 500K Kontext, verarbeiten Text und Bilder und kosten 2 $ Input / 6 $ Output pro Million Token, solange die Eingabe unter 200K Token bleibt. Grok 4.7 ist über die API, in Cursor und in Grok Build verfügbar und kommt im AA-Index v4.3 auf 46 Punkte, genauso viel wie das beste offene Modell, MiMo-V2.6-Pro. Für Grok 5 gibt es weiterhin keinen Termin.

Seit Juni: Abstand, Regulierung und Werkzeuge

Zwischen Juni und Oktober hat sich an der Spitze des Marktes mehr getan als im gesamten Frühjahr, bei den proprietären Frontier-Modellen ebenso wie bei den offenen Gewichten. Was das für den Abstand zwischen beiden Welten, für die Verfügbarkeit der Modelle und für die Werkzeuge bedeutet, zeigen die beiden folgenden Abschnitte.

Einordnung: Der Fable-Sprung und das Aufholen der offenen Modelle

So sah die Einordnung im Juli aus: Zwei gegenläufige Bewegungen prägten den Beginn des dritten Quartals. Oben zog die Frontier davon: Fable 5 (60) lag neun v4.1-Punkte vor dem besten offenen Modell, im Frühjahr war der Abstand (auf der alten Skala) auf wenige Punkte geschrumpft. Beim Coding dagegen schloss sich die Lücke: GLM-5.2 über 80 % auf Terminal-Bench 2.1, knapp einen Punkt hinter Opus 4.8 auf FrontierSWE. Für agentische Entwicklungs-Workflows war die offene Alternative deutlich näher an der proprietären Spitze und mit MIT-Lizenz nutzbar. Der Vergleich mit dem Frühjahr stützte sich dabei auf zwei verschiedene Index-Versionen; die Nachmessung auf derselben Skala folgt zwei Absätze weiter unten.

Dazu kam ein Faktor, den es im Frühjahr nicht gegeben hatte: Regulierung als Verfügbarkeitsrisiko. Binnen eines Monats griff die US-Regierung zweimal direkt in Frontier-Releases ein (Fable 5: Exportkontrollen und 19 Tage Zwangspause; GPT-5.6: begrenzte Partner-Preview), und Grok 4.5 startete ohne EU-Verfügbarkeit. Wer geschäftskritische Prozesse auf US-Frontier-APIs baut, plant künftig auch regulatorische Ausfälle ein. Wer offene Modelle lokal betreibt, ist dagegen nicht auf die laufende Verfügbarkeit einer bestimmten Cloud-API angewiesen.

Wie groß der Abstand heute wirklich ist, lässt sich nur auf derselben Skala beantworten. Die neun Punkte aus dem Juli stammen aus v4.1. Artificial Analysis hat die am 9. Juli führenden Modelle inzwischen auf der aktuellen Index-Version v4.3.2 nachgemessen: Claude Fable 5 kommt dort auf 50 Punkte, Opus 4.8 auf 42 und GLM-5.2, im Juli die offene Spitze, auf 34. Die nachgemessenen Juli-Spitzenreiter liegen auf dieser Skala 16 Punkte auseinander. Seitdem haben die offenen Modelle aufgeholt: Anfang Oktober sind es zwischen Opus 5.5 (58) und MiMo-V2.6-Pro (46) noch 12, gemessen jeweils an den beiden Spitzenreitern im Gesamtindex. Ob sich die Lücke beim Coding weiter geschlossen hat, lässt sich dagegen nicht seriös sagen: Die Coding-Werte oben stammen aus dem Juni, und für einen Vergleich auf denselben neuen Tests liegen für diesen Report keine belastbaren Zahlen vor. Gleichzeitig ist die Frontier billiger geworden: GPT-6.1 Sol kostet pro Token ein Fünftel von GPT-6 Astra, Opus 5.5 im Listenpreis rund 20 % weniger als Opus 5. Auch das Regulierungsthema ist geblieben. GPT-6.1 Astra hat OpenAI laut Wall Street Journal aus Sicherheitsgründen zurückgehalten, Mythos 5.1 ist vorerst nur für US-Organisationen zugänglich, Gemini 4 Argon gab Google erst knapp zwei Wochen nach der Vorstellung für zahlende API-Kunden und Abonnenten frei. Wer Datenhoheit braucht, hat mit den offenen Modellen eine ernsthafte Alternative, auch wenn die Frontier an der absoluten Spitze vorn bleibt.

Agenten-Trends: Was lokal läuft und wo die Cloud beginnt

Zwischen Frühjahr und Oktober 2026 haben sich auch die Werkzeuge rund um die Modelle verändert. Sie übernehmen mehr Arbeit: Sie bearbeiten Dateien, bedienen Browser und erledigen mehrstufige Aufgaben. Für diesen Report zählt dabei eine Unterscheidung. Wo die Software installiert ist, wo das Modell rechnet und wo die Werkzeuge arbeiten, können drei verschiedene Orte sein. Ein Agent auf dem eigenen Rechner kann deshalb trotzdem ein Cloud-Modell nutzen.

Die drei Betriebsarten unten beschreiben Konfigurationen: Derselbe Agent kann mit einem lokalen Modell arbeiten oder einen Cloud-Dienst nutzen. Und „self-hosted“ heißt nur selbst betrieben, ob auf dem eigenen Rechner, im Firmennetz oder auf einem gemieteten Server.

Lokale Agenten: vom Chat zur Arbeit am Rechner

Im Frühjahr begann der Schritt vom Antworten zum Handeln. Ai2 veröffentlichte am 24. März MolmoWeb, einen offenen visuellen Web-Agenten mit 4 und 8 Milliarden Parametern. Er liest Screenshots und führt Browser-Aktionen aus, am 10. April folgte der vollständige Code. MolmoWeb ist für den Selbstbetrieb gedacht, lokal oder in der Cloud, und damit eine Alternative zu gehosteten Browser-Agenten. Ai2 nennt selbst Grenzen, etwa Schwierigkeiten bei mehrdeutigen Anweisungen mit vielen Bedingungen. Auf Aufgaben mit Login oder Zahlungen wurde MolmoWeb nicht trainiert, und die Schutzfilter der öffentlichen Demo gehören nicht zum Modell selbst.

Im Sommer wurde der Ansatz für die Arbeit am Desktop zugänglicher. LM Studio stellte am 16. Juli Bionic vor, eine eigene Agenten-App, die Code und Dokumente bearbeitet und Dateien auf dem Rechner organisiert. Im August kamen Skills dazu, im September eine Suche über frühere Sitzungen. Bionic kann offene Modelle lokal ausführen, bietet über LM Studio Secure Cloud aber auch große offene Modelle in der Cloud an. Ob ein Setup lokal ist, entscheidet also die gewählte Konfiguration.

Auch OpenClaw, ein Open-Source-Assistent, der Aufträge über Messenger wie WhatsApp oder Telegram annimmt, und Hermes Agent von Nous Research lassen sich mit lokalen Modellen betreiben. Beide beschreiben in ihrer Dokumentation die Anbindung von Ollama, OpenClaw zusätzlich die von LM Studio. OpenClaw erlaubt außerdem Mischkonfigurationen, bei denen ein gehostetes Modell als Ausweichlösung bereitsteht. Wer ein solches Setup plant oder prüft, sollte diesen Cloud-Fallback ausdrücklich mitbetrachten.

Auch ein lokal rechnender Agent kann Daten mit dem Netz austauschen: Ein Browser-Agent spricht mit den Websites, die er aufruft, eine Messenger-Anbindung mit dem jeweiligen Dienst. Entscheidend ist, welche Daten an welcher Stelle das eigene System verlassen. Dazu kommt das Sicherheitsrisiko: Ein Agent mit Zugriff auf Dateien, Shell und Messenger kann Schaden anrichten, egal wo das Modell läuft. Bionic prüft Shell-Befehle vor der Ausführung in einem eigenen „Auto Review“-Modus, bei OpenClaw und Hermes hängt viel davon ab, welche Rechte man bei der Einrichtung vergibt.

Hybride Agenten: lokale Werkzeuge, Modell aus der Cloud

Eine zweite Betriebsart verbindet die eigene Arbeitsumgebung mit einem gehosteten Modell. Läuft ein Coding-Agent wie Claude Code oder Codex auf dem eigenen Rechner und nutzt ein Cloud-Modell, bearbeitet er Dateien und führt Befehle lokal aus. Die Eingaben und Werkzeugergebnisse, die das Modell dafür braucht, gehen aber an den Anbieter. Das ist ein hybrides Setup.

Umgekehrt legt ein bekannter Cloud-Name die Modellquelle nicht fest. Ollama richtet seit Januar mit dem Befehl ollama launch bestehende Coding-Agenten wie Claude Code, Codex oder OpenCode ein, wahlweise mit lokalen oder gehosteten Modellen. Seit August lässt sich Ollama außerdem als Modellquelle für Claude Desktop einbinden. Wählt man dort ein lokales offenes Modell, läuft dieses offene Modell auf dem eigenen Rechner; das proprietäre Claude bleibt in der Cloud.

In der Praxis hilft es, die Kombination zu benennen, etwa „Coding-Agent auf dem eigenen Rechner mit Cloud-Modell“ oder „Agent mit lokalem Modell über Ollama“. Erst damit lassen sich Datenschutz- und Hardwarefragen beantworten.

Cloud-Agenten: Arbeit in einer gehosteten Umgebung

Davon zu unterscheiden sind Agenten, deren Arbeitsumgebung ebenfalls beim Anbieter liegt. Auf dem DevDay am 29. September hat OpenAI Codex um wiederverwendbare Cloud-Umgebungen erweitert, in denen Aufgaben weiterlaufen, während der eigene Rechner schläft. Anthropic hat am 23. September die Cloud-Sitzungen von Claude Code allgemein freigegeben, die zuvor als Forschungsvorschau unter dem Namen „Claude Code on the web“ liefen. Claude Code arbeitet dort auf Anthropics Infrastruktur an einem Repository von GitHub; starten lassen sich die Sitzungen im Browser, in den Claude-Apps oder aus dem Terminal. Das ist ein anderer Betriebsmodus als ein Agent, der lokal im Projektordner arbeitet.

Auch innerhalb einer Cloud-Plattform gibt es Mischformen. Bei der Agents API, seit dem 10. September in der öffentlichen Beta, steuert OpenAI den Agenten. Werkzeuge laufen wahlweise in einer von OpenAI verwalteten Sandbox oder über einen selbst betriebenen Executor in der eigenen Infrastruktur. Ein solcher Executor bestimmt nur, wo bestimmte Aktionen stattfinden; Agent und Modell betreibt weiter OpenAI.

Orchestrierung: Haupt- und Unteragenten

Quer durch alle drei Betriebsarten setzt sich 2026 ein Muster durch: Ein Hauptagent zerlegt eine Aufgabe und gibt Teile an Unteragenten weiter, die mit eigenem Kontext und oft parallel arbeiten. OpenAI hat solche Subagenten im März für alle Codex-Nutzer freigegeben. In Claude Code bekommt jeder Unteragent einen eigenen Auftrag, eigene Werkzeugrechte und auf Wunsch ein eigenes Modell; seit Opus 4.8 im Mai gibt es außerdem die „Dynamic Workflows“, die sehr große Aufgaben auf viele parallele Unteragenten verteilen. Hermes Agent delegiert Teilaufgaben über ein eigenes Werkzeug, standardmäßig an bis zu drei Unteragenten gleichzeitig. OpenClaw startet Unteragenten im Hintergrund, ebenfalls mit frei wählbarem Modell, und erlaubt zwei Ebenen. Auch die Agents in n8n können inzwischen Unteragenten aufrufen.

Für den lokalen Betrieb hat das eine praktische Folge. Jeder Unteragent ist eine eigene Anfrage an das Modell mit eigenem Kontext. Die Modellgewichte lädt ein Server dabei in der Regel nur einmal; zusätzlicher Speicher fällt vor allem für die gleichzeitig verarbeiteten Kontexte an, weitere Anfragen warten gegebenenfalls in einer Warteschlange. Laufen drei oder mehr Unteragenten parallel, braucht die Hardware entsprechend mehr Speicher und Rechenleistung, und ein Rechner, der für einen einzelnen Chat gut reicht, wird schnell zum Engpass. Wo sich das Modell pro Unteragent festlegen lässt, sind auch Mischformen möglich: Ein starkes Modell plant, kleinere lokale Modelle erledigen einfache Teilaufgaben. Wie gut solche Kombinationen in der Praxis arbeiten, haben wir für diesen Report nicht getestet.

n8n und MCP: die Verbindung zwischen den Betriebsarten

n8n ist in dieser Einteilung die Automatisierungsplattform. Drei Rollen sollte man auseinanderhalten: Ein Coding-Agent kann Workflows erstellen und reparieren, der eingebaute n8n Assistant hilft beim Bauen, und Agenten innerhalb von n8n führen Workflows als Werkzeuge aus. Für den ersten Fall verbinden Open-Source-Projekte wie n8n-mcp Claude Code oder Codex direkt mit der eigenen n8n-Instanz. Der Agent kennt dann die Node-Dokumentation, erzeugt die Workflow-JSON und liest bei Fehlern die Execution-Logs.

Version 2.35 hat im August die Einrichtung des Assistant auf selbst betriebenen Instanzen vereinfacht. Er kann jeden OpenAI-kompatiblen Endpunkt nutzen, auch einen lokalen, und braucht Docker. Lokal ist damit aber zunächst nur das Modell: Für die Sandbox, in der Code läuft, und für die Websuche braucht es eigene Komponenten, die man selbst betreiben oder als Dienst einbinden kann. Daneben baut n8n die Agents aus, die sich ab Version 2.32.3 vom Juli zuschalten ließen; inzwischen bringen sie Skills, Unteragenten und ein Gedächtnis mit. Seit Version 2.41.1 vom 23. September sind sie standardmäßig eingeschaltet, Ende September hat n8n sie offiziell vorgestellt. Assistant und Agents führt n8n weiterhin als Preview. Wie zuverlässig der Assistant mit einem lokalen 27B-Modell arbeitet, haben wir für diesen Report nicht getestet.

MCP beschreibt die Verbindung zwischen KI-Anwendungen und Werkzeugen. Die Überarbeitung der Spezifikation vom 28. Juli macht den Kern zustandslos, MCP-Server lassen sich damit wie gewöhnliche Webdienste skalieren. Der alte HTTP+SSE-Transport funktioniert laut MCP-Projekt noch mindestens ein Jahr weiter. Wo Daten liegen, legt das Protokoll nicht fest: Ein MCP-Werkzeug kann lokal oder entfernt laufen und seinerseits weitere Dienste aufrufen.

Die Zwischenbilanz für Agenten: Lokale Modelle lassen sich inzwischen in deutlich mehr Arbeitsabläufe einbinden als im Frühjahr, hybride und gehostete Setups gehen dieselben Aufgaben auf anderen Wegen an. Für die Auswahl muss man deshalb getrennt prüfen, wo das Modell rechnet, wer den Agenten steuert und welche Werkzeuge auf welche Daten zugreifen. Tests, knappe Zugriffsrechte und Freigaben für folgenreiche Aktionen braucht es in jeder Betriebsart.

Anwendungsfälle: Modelle und Agenten in der Praxis

Nach dem Überblick über die Agenten jetzt die Praxis. Die folgenden Anwendungsfälle sind bewusst einfach gehalten. Zu jedem steht, welche Modellklasse reicht und welche Werkzeuge oder Agenten sich daran anbinden lassen.

Dokumente, E-Mails und Wissensarbeit im Büro

Für Recherche, Zusammenfassungen, Notizen, Dokumentenarbeit und persönliche Offline-Assistenten sind Qwen3.5 4B, Qwen3.5 9B und Gemma 4 E4B derzeit besonders attraktiv. Diese Klasse liefert genug Qualität für reale Arbeit, ohne dass eine High-End-Workstation nötig wäre. Für DACH-Anwender mit DSGVO-Sensibilität ist das oft der direkteste Einstieg in produktive lokale KI. Seit Juni gehört Gemma 4 12B Unified dazu, das zusätzlich Audio versteht. Ab 16 GB Speicher kommt, je nach Kontext und übrigen Anwendungen, auch gpt-oss-20b unter Apache 2.0 infrage.

Angebunden wird das am einfachsten über Ollama oder LM Studio als lokale Runtime. Für Dokumente und Dateien auf dem eigenen Rechner bietet sich Bionic an, für wiederkehrende Abläufe wie die Verteilung eingehender Post ein n8n-Workflow, der das lokale Modell über Ollama aufruft, wie im Beispiel des Steuerbüros oben.

Assistent im Messenger

Wer Aufgaben per WhatsApp, Telegram oder Slack an einen Assistenten geben will, landet bei OpenClaw oder Hermes Agent. Beide lassen sich über Ollama an ein lokales Modell anbinden. Für Werkzeugaufrufe empfiehlt sich eher ein Modell aus der Workstation-Klasse, die Hermes-Anleitung nutzt dafür etwa Gemma 4 31B; ob es im eigenen Ablauf zuverlässig arbeitet, zeigt nur ein Test. Welche Rechte der Assistent auf dem Rechner bekommt, sollte man vorher genau festlegen.

Coding und technische Arbeit

Sobald längere Kontexte, Codebasen, Tool-Integration, Agentenketten oder strukturierte technische Aufgaben ins Spiel kommen, verschiebt sich die sinnvolle Zone nach oben. Qwen3.6-27B, Qwen3.6-35B-A3B, Gemma 4 31B und Gemma 4 26B A4B sind hier die relevantesten offenen Klassen für lokal erreichbare Hardware. Wer ein IT-Team und Server-Hardware hat, fand im Juli in DeepSeek V4 Flash und GLM-5.2, damals die offene Spitze, sowie am oberen Ende in DeepSeek V4 Pro, Kimi K2.6/K2.7-Code oder MiMo-V2.5-Pro die stärksten offenen Optionen. Seit August sind in der lokal erreichbaren Klasse Qwen3.8-27B und Metas Muse Glimmer dazugekommen, beide auf Tool-Nutzung und Agenten ausgelegt und mit 24 GB VRAM quantisiert nutzbar. Für reine Coding-Agenten lohnt außerdem ein Blick auf Poolside Laguna XS 2.1 (33 Milliarden Parameter, 3 Milliarden aktiv), das direkt in Ollama verfügbar ist. Mit Server-Hardware sind GLM-5.3-Flash und DeepSeek V4.1 Flash die neuen effizienten Optionen; an der Spitze stehen inzwischen MiMo-V2.6-Pro, GLM-5.3 und Kimi K3.

Angebunden werden diese Modelle meist an einen Coding-Agenten: Claude Code, Codex oder OpenCode lassen sich per ollama launch mit einem lokalen Modell starten. Wer dabei mit Unteragenten arbeitet, sollte die Hardware auf mehrere gleichzeitige Anfragen auslegen, sonst warten die Agenten aufeinander.

Automatisierung mit n8n

n8n verbindet die Bausteine. Ein lokales Modell lässt sich über Ollama in Workflows einbinden, der n8n Assistant nutzt seit Version 2.35 ebenfalls lokale Endpunkte, und die neuen Agents verteilen Arbeit an Unteragenten. Workflows selbst lassen sich bequem von einem Coding-Agenten über n8n-mcp bauen. Der fertige Workflow läuft danach auch ohne den Agenten.

Aufgaben im Browser

Für wiederkehrende Abläufe im Browser, etwa interne Webseiten durchsuchen oder Formulare prüfen, gibt es mit MolmoWeb einen offenen Web-Agenten zum Selbstbetrieb. Auf Aufgaben mit Login oder Zahlungen ist er nicht trainiert, und Schutzfilter wie in der öffentlichen Demo muss man in einer eigenen Installation selbst einrichten. Vor dem produktiven Einsatz sollte man ihn an echten Abläufen testen.

RAG und multimodale Suche

Für interne Wissenssysteme, PDFs, Screenshots, Produktbilder oder technische Dokumente entscheidet das Chatmodell nur zum Teil über die Qualität. Embeddings und Retrieval sind oft wichtiger. Deshalb sind multimodale Embeddings so nützlich: Sie durchsuchen Bilder und Dokumente direkt, ohne alles erst in Text umzuwandeln.

Bildgenerierung und Bildbearbeitung

In produktiven Bildpipelines zählen 2026 neben der reinen Bildqualität auch Bearbeitbarkeit, Konsistenz, Steuerbarkeit und die Einbindung in lokale Abläufe. Lokal und mit freier Lizenz laufen vor allem FLUX.2 [klein] 4B sowie Qwen-Image und Qwen-Image-Edit, alle unter Apache 2.0. FLUX.2 [dev] und die 9B-Variante von FLUX.2 [klein] brauchen für kommerzielle Nutzung eine Lizenz von BFL, Qwen-Image 2.1 steht unter einer Forschungslizenz. Die neue Generation FLUX 3 Image lässt sich auf eigener Infrastruktur nur mit kommerzieller Lizenz betreiben; eine offene Variante, FLUX 3 Dev, hat BFL angekündigt, aber noch nicht veröffentlicht. Für kommerzielle Pipelines ohne Lizenzkosten bleibt FLUX.2 [klein] 4B deshalb die sichere Wahl.

Video-Enhancement und diffusionsbasierte Videoverbesserung

Klassische Videoverbesserung ist heute lokal gut machbar. Diffusionsbasierte Verfahren wie Starlight Mini können erheblich mehr Rechenzeit brauchen; entscheidend sind Modell, Auflösung, Videolänge und die gewünschte Bearbeitungszeit.

Benchmark-Vergleich

Die aktuelle Lage lässt sich in eine offene Oberklasse und einen lokalen Sweet Spot unterteilen. Alle Punktzahlen stammen aus dem Artificial-Analysis-Intelligence-Index, einer gewichteten Benchmark-Suite aus standardisierten Tests. Artificial Analysis hat den Index seit Juni dreimal umgestellt und dabei neu skaliert: am 15. Juni von v4.0 auf v4.1, am 4. und 7. September auf v4.2 und v4.3. Werte verschiedener Versionen sind deshalb nicht vergleichbar: Claude Fable 5 lag im Juli bei 60 Punkten (v4.1), dasselbe Modell kommt auf der heutigen v4.3-Skala auf 50. Die aktuellen Werte stammen aus der Revision v4.3.2 (Abruf Anfang Oktober), darunter stehen die Juli- und die Juni-Tabelle als historische Momentaufnahmen. Wie gut ein Modell lokal quantisiert oder mit deutschsprachigen Dokumenten arbeitet, zeigt erst ein eigener Test.

Offene Oberklasse – aktuell (AA Intelligence Index v4.3, Stand Oktober 2026)

Modell	AA-Index v4.3	Einordnung
MiMo-V2.6-Pro (Xiaomi)	46	höchster Open-Weights-Wert; ca. 1T Parameter, MIT, offen seit 21. September
GLM-5.3 (max)	45	Z.ai, 753B Parameter, 1M Kontext; eigene glm-5.3-Lizenz (prüfen)
Kimi K3 (max)	44	Moonshot, ca. 2,8T / 104B aktiv; Kimi-K3-Lizenz mit Umsatzklausel
GLM-5.3-Flash	42	ca. 320B / 18B aktiv, multimodal, MIT
Qwen3.8-2.4T-A95B	40	Alibaba-Flaggschiff, eigene Lizenz
Qwen3.8-Flash-Next	40	ca. 180B, Qwen Community License
DeepSeek V4.1 Flash (max)	39	multimodal, 1M Kontext, MIT
MiMo-V2.6-Flash	38	ca. 310B, MIT
DeepSeek V4 Pro 0813 (max)	36	ca. 1,6T, MIT
Qwen3.8-27B (xhigh)	34	Apache 2.0, lokal erreichbar
MiniMax M3	29	MiniMax Community License
Inkling Small (Thinking Machines)	26	ca. 276B / 12B aktiv, Text, Bild, Audio, Apache 2.0
Nemotron 3 Ultra (NVIDIA)	23	inklusive Trainingsdaten veröffentlicht
Muse Glimmer (Meta, high)	17	30B, Apache 2.0, für 24-GB-GPUs
Gemma 4 31B	15	Apache 2.0, lokal erreichbar
gpt-oss-120b (high)	12	OpenAI, Apache 2.0

Zur Frontier-Referenz auf derselben Skala (v4.3, jeweils in der höchsten getesteten Reasoning-Stufe, bei Claude mit Fallback): Claude Opus 5.5 58, Claude Sonnet 5.5 56, Claude Fable 5.1, GPT-6 Astra und Gemini 4 Argon je 53, GPT-6.1 Sol 52, Muse Spark 1.3 48, GPT-5.6 Sol 47, Grok 4.7 46, Gemini 3.8 Flash 41. Qwen3.8 Max kommt auf 45, ist aber nur in der Cloud verfügbar.

Offene Oberklasse – historische Momentaufnahme (Stand 9. Juli 2026, Index v4.1)

▸ Juli-Tabelle anzeigen (Index v4.1, zehn offene Modelle)

Modell	AA-Index v4.1	Einordnung
GLM-5.2 (max)	51	neuer Open-Weights-Spitzenreiter, MIT, 753B Gesamtparameter laut Hugging Face, 1M Kontext
MiniMax M3	44	1 Mio. Token Kontext, multimodal; MiniMax Community License (Lizenzbedingungen prüfen)
DeepSeek V4 Pro	44	Spitzenmodell der V4-Familie für Coding; MIT-Lizenz; ca. 1,6T Parameter (49B aktiv)
Kimi K2.6	44	Modified MIT License; leistungsstarkes Modell der Server-/Lab-Klasse
MiMo-V2.5-Pro (Xiaomi)	42	starke offene Oberklasse; Server-/Lab-Klasse
DeepSeek V4 Flash	40	MIT-Lizenz; nur 13B aktive Parameter – besonders attraktives Preis-Leistungs-Verhältnis für On-Premises
Nemotron 3 Ultra (NVIDIA)	38	offene NVIDIA-Modellfamilie; laut Modellkarte rund 550B/55B aktiv und mit offenem Trainings-/Post-Training-Stack
Qwen3.5-397B-A17B	34	Apache-2.0-Lizenz; großes MoE-Modell
Mistral Medium 3.5	30	128B Dense-Modell; Modified MIT License; europäischer Anbieter
Gemma 4 31B	29	damals gemessener v4.1-Wert

Zur Frontier-Referenz auf derselben Skala (Juli, v4.1, also vor Opus 5, GPT-6 Astra und Gemini 4 Argon): Claude Fable 5 60, Claude Opus 4.8 56, GPT-5.5 (xhigh) 55, Grok 4.5 (high) 54. Für Kimi K2.7-Code und die Qwen3.6-Varianten lagen zum Redaktionsschluss im Juli noch keine v4.1-Werte vor.

Offene Oberklasse – historische Momentaufnahme (Stand 8. Juni, Index v4.0)

▸ Juni-Tabelle anzeigen (Index v4.0, fünf offene Modelle)

Modell	AA-Index v4.0	Einordnung (Juni)
Kimi K2.6 (Reasoning)	54	Damals höchster Score unter den Open-Weights-Modellen
MiMo-V2.5-Pro (Xiaomi)	54	damalige offene Oberklasse; Server-/Lab-Klasse
DeepSeek V4 Pro	52	Spitzenmodell für Coding (ca. 80 % SWE-bench Verified); MIT-Lizenz
GLM-5.1 (Reasoning)	51	MIT-Lizenz; 40B aktive Parameter; später durch GLM-5.2 und GLM-5.3 ersetzt
GLM-5 (Reasoning)	50	Sehr leistungsstark, aufgrund der Hardwareanforderungen jedoch nur eingeschränkt lokal einsetzbar

Das proprietäre Qwen3.6-Max-Preview kam damals auf 52 Punkte, so viel wie DeepSeek V4 Pro.

Lokal relevanter Sweet Spot

Stand Oktober (AA-Index v4.3):

Modell	AA-Index v4.3	Dateigröße / Hinweis	Einordnung
Qwen3.8-27B (xhigh)	34	ca. 17 GB (mit Bild-Encoder ca. 18 GB, Ollama)	Nachfolger von Qwen3.6-27B, Bild und Video, Apache 2.0
Qwen3.6-35B-A3B	18	ca. 22 GB (GGUF-Q4_K_M-Modelldatei, Zusatzkomponenten separat)	weiter der effiziente MoE-Coder
Muse Glimmer 30B (high)	17	ca. 17 GB (Meta, für 24-GB-GPUs)	Agenten und Tool-Aufrufe, Apache 2.0
Gemma 4 26B A4B	17 (Schätzwert)	–	3,8B aktiv, sehr effizient
Gemma 4 31B	15	–	Apache 2.0
Gemma 4 12B Unified	14 (Schätzwert)	–	mit Audio-Eingabe
Nemotron 3.5 Lightning 30B-A3B	13	–	NVIDIA, OpenMDW-Lizenz
Qwen3.5 4B	13 (Schätzwert)	–	weiter stark für kompakte Systeme
Qwen3.5 9B	11	–	Daily Driver
gpt-oss-20b (high)	9	laut OpenAI Betrieb innerhalb von 16 GB (MXFP4)	Apache 2.0, sehr verbreitet
Gemma 4 E4B	9 (Schätzwert)	–	Edge und Mobile

Schätzwert: Für diese Modelle gibt Artificial Analysis bisher nur einen geschätzten Wert an, die unabhängige Messung steht noch aus.

Stand Juli (historisch, gemischte Index-Versionen v4.0/v4.1):

▸ Juli-Tabelle anzeigen (sieben lokal relevante Modelle)

Modell	Intelligenz / Benchmark	Durchsatz (API, nicht lokal)	Einordnung
Qwen3.6-27B (Dense)	SWE-bench Verified 77,2 %	–	höchster SWE-bench-Wert der lokal erreichbaren Klasse (Herstellerangabe)
Qwen3.6-35B-A3B (MoE, 3B aktiv)	SWE-bench Verified 73,4 %	–	effizienter MoE-Sweet-Spot; sinnvoll ab 24 GB, mit RAM-Offload auch darunter möglich
Gemma 4 31B (Reasoning)	29 (AA v4.1, damals gemessen)	35,8 Token/s, TTFT 1,69 s	Etwas geringere Spitzenleistung
Gemma 4 26B A4B	ca. 31 (AA v4.0, vorläufig)	–	Nur 3,8B aktive Parameter; auf maximale Effizienz ausgelegt
Qwen3.5 9B (Reasoning)	32 (AA v4.0)	131,3 Token/s	Starke Midrange-Klasse und sehr guter Daily Driver
Qwen3.5 4B (Reasoning)	27 (AA v4.0)	218,3 Token/s	Überraschend leistungsfähig für kompakte Systeme
Gemma 4 E4B	19 (AA v4.0)	n. a.	Für Edge-Geräte und mobile Systeme konzipiert

Hinweis zur Juli-Tabelle: Für Gemma 4 31B stand dort bereits der gemessene v4.1-Wert (29), für die übrigen kleineren Modelle noch die v4.0-Werte. Nachträglich korrigiert: Am 9. Juli führte Artificial Analysis auch für Gemma 4 26B A4B (26) und Qwen3.5 9B (21) schon gemessene v4.1-Werte. Für Qwen3.6 dienen weiterhin die derzeit aussagekräftigsten Coding-Benchmarks auf Basis der Herstellerangaben als Referenz. Die Durchsatzwerte in der Juli-Tabelle hat Artificial Analysis über die APIs von Cloud-Anbietern gemessen.

Europäische Modelle: Datenhoheit, Lizenzen und der Abstand zur Spitze

Für viele Unternehmen im DACH-Raum ist die Herkunft eines Modells mehr als eine Formalität. Beim Datenschutz werden dabei aber oft zwei Dinge vermischt. Wer ein Modell lokal betreibt, kann seine Daten im Haus behalten, egal ob das Modell aus China, den USA oder Europa stammt. Die Modellgewichte selbst senden keine Daten nach außen, wohl aber unter Umständen der Rest des Stacks: Runtime-Telemetrie, Cloud-Embeddings, Websuche oder angebundene Agenten-Tools müssen ebenfalls lokal konfiguriert sein. Die Herkunft spielt an drei anderen Stellen eine Rolle. Erstens, wenn man ein Modell über die API des Anbieters nutzt und sich damit in dessen Rechtsraum begibt. Zweitens bei der Frage, mit welchen Daten ein Modell trainiert wurde und ob das nachvollziehbar dokumentiert ist. Und drittens bei der Qualität in Deutsch und anderen europäischen Sprachen.

Die folgende Übersicht zeigt die wichtigsten europäischen Modelle mit offenen Gewichten, Stand Oktober 2026:

Modell	Anbieter	Größe / Lizenz	AA-Index v4.3	Besonderheit
Mistral Medium 3.5	Mistral AI, Frankreich	128B dense, Modified MIT	14	höchster AA-Wert unter den europäischen Modellen mit offenen Gewichten, multimodal, 256K Kontext
Mistral Small 4	Mistral AI, Frankreich	119B, Apache 2.0	11	Basis auch für das Spezialmodell Leanstral 1.5
Mistral Large 3	Mistral AI, Frankreich	675B, Apache 2.0	9	größtes Mistral-Modell mit offenen Gewichten (Dezember 2025)
Apertus 8B / 70B (v1.5)	Swiss AI Initiative (ETH Zürich, EPFL), Schweiz	8B / 70B, Apache 2.0	5 (Version 1, Schätzwert)	offene Gewichte und Trainingsdaten, technischer Bericht und Zwischenstände für v1.5 angekündigt, Opt-outs von Rechteinhabern laut Projekt auch rückwirkend berücksichtigt, soweit möglich; v1.5 seit Juli 2026
Kolibri 1	Aleph Alpha, Deutschland	78B (3,46B aktiv), Apache 2.0	–	Schwerpunkt Deutsch und Englisch, bis 1M Kontext; seit 3. Oktober 2026
EuroLLM-22B	Unbabel, IST Lissabon u. a., EU-gefördert	22B, Apache 2.0	–	35 Sprachen, darunter alle EU-Amtssprachen (Dezember 2025)
ALIA-40B	Barcelona Supercomputing Center, Spanien	40B, Apache 2.0	–	Schwerpunkt Spanisch, Katalanisch, Baskisch, Galicisch
Luciole 1.1	OpenLLM-France	1B / 8B / 23B, Apache 2.0	–	Französisch und Englisch, seit Juli 2026
OpenEuroLLM	Konsortium europäischer Hochschulen, Unternehmen und Rechenzentren	experimentelle 9B-Checkpoints, Apache 2.0	–	Ziel: alle EU-Amtssprachen mit offenen Trainingsdaten; bisher Forschungsstand

Wie weit ist Europa von der Spitze entfernt? Gemessen am AA-Index v4.3 noch sehr weit. Das beste europäische Modell mit offenen Gewichten im AA-Index, Mistral Medium 3.5, kommt auf 14 Punkte. Die besten offenen Modelle aus China liegen bei 44 bis 46, die US-Frontier bei bis zu 58. Selbst Qwen3.8-27B, das auf eine einzelne Workstation-GPU passt, liegt mit 34 Punkten deutlich vor den hier verglichenen europäischen Modellen mit offenen Gewichten. Das insgesamt höchstbewertete europäische Modell im AA-Index ist Quasar 438B von Multiverse Computing aus Spanien mit 27 Punkten, ein geschlossenes Modell auf Basis von GLM-5.2.

Bewegung könnte Mistral Large 4 bringen. Mistral hat das Modell am 6. Oktober als Vorschau über die eigene API freigegeben: rund eine Billion Parameter, davon 52 Milliarden aktiv pro Token, mit Bildeingabe. Die Gewichte will Mistral bis Ende Oktober veröffentlichen, eine Lizenz hat das Unternehmen noch nicht genannt. Wie stark das Modell ist und auf welcher Hardware es sinnvoll läuft, lässt sich erst mit den Gewichten beurteilen.

Aleph Alpha aus Heidelberg, lange als deutscher Hoffnungsträger gehandelt, hatte über ein Jahr lang kein neues Modell auf Hugging Face veröffentlicht. Am 3. Oktober kam dann Kolibri: ein MoE-Modell mit 78 Milliarden Parametern, von denen laut Modellkarte 3,46 Milliarden pro Token rechnen, ausgelegt auf Deutsch und Englisch, mit bis zu 1M Kontext und unter Apache 2.0. In den eigenen Benchmarks von Aleph Alpha liegt Kolibri in der Gesamtwertung vor allen verglichenen MoE-Modellen, darunter Qwen3.6-35B-A3B, gpt-oss-120b, Nemotron 3 Super und die kleineren GLM-Modelle GLM-4.7 Flash und GLM-4.5 Air; vorn liegt dort nur das dichte Qwen3.8-27B. Das sind bisher Angaben des Herstellers (Tabelle in der Modellkarte), ein unabhängiger Wert von Artificial Analysis steht noch aus.

Aleph Alpha beschreibt Kolibri als klein und effizient genug für den Betrieb im eigenen Haus. Klein ist das Modell bei der Rechenlast pro Token; beim Speicher braucht es Server-Hardware: Für die FP8-Gewichte nennt Aleph Alpha rund 78 GB; zu den angegebenen Mindestkonfigurationen gehören zwei A100 mit je 80 GB, zwei H100 SXM5 oder eine H200. Betrieben wird Kolibri über vLLM mit einem zusätzlichen Plugin von Aleph Alpha; empfohlen sind Kontexte bis 262.144 Token, maximal 1M. Kolibri gehört damit vorerst in die Server-Klasse.

Die Forschungsprojekte verfolgen dabei bewusst andere Ziele als die Spitzenwerte. Apertus veröffentlicht neben den Gewichten auch seine Trainingsdaten, weitere Details wie Trainingspipelines und Zwischenstände sind für Version 1.5 angekündigt. Widersprüche von Rechteinhabern berücksichtigt das Projekt laut eigener Angabe auch nachträglich, soweit das möglich ist. EuroLLM und OpenEuroLLM konzentrieren sich auf die europäischen Sprachen. In den Ranglisten tauchen sie kaum auf. Was zum Aufschließen fehlt, ist laut dem Zwischenbericht von OpenEuroLLM vom März vor allem Rechenleistung für das Training der finalen Modelle, obwohl das Projekt Rechenzeit auf vier EuroHPC-Supercomputern bekommen hat.

Für die Praxis lassen sich drei Fälle unterscheiden. Wer lokal die höchste Leistung braucht, landet derzeit bei offenen Modellen aus China oder den USA; lokal betrieben müssen die Daten das Haus dafür nicht verlassen, entscheidend ist dann die Lizenz. Wer die Trainingsdaten nachweisen muss, etwa in der öffentlichen Verwaltung oder in regulierten Branchen, findet in Apertus ein Projekt, das neben den Gewichten auch seine Trainingsdaten veröffentlicht; EuroLLM beschreibt seine Datenquellen immerhin in der Modellkarte. Und wer per API ein Modell eines europäischen Herstellers nutzen will, landet derzeit vor allem bei Mistral. Europa liefert 2026 einige der nachvollziehbarsten offenen Modelle, die stärksten kommen noch von anderswo.

Hardware: Welche Leistung zu welcher Modellkategorie passt

Welche Hardwareklasse passt zu welcher Modellkategorie? Die folgenden Empfehlungen basieren auf Herstellerangaben, Messungen von Artificial Analysis sowie Dateigrößen aus Ollama und Hugging Face. Die Klassen sind auf den Stand Anfang Oktober 2026 gebracht, Preise wurden am 2. und 3. Oktober abgerufen.

Der Speicherbedarf ist größer als die Modelldatei. Die Größe der Modelldateien ist nur der Ausgangspunkt. Hinzu kommen der KV-Cache beziehungsweise andere Zustände der Modellarchitektur, temporäre Rechenpuffer und gegebenenfalls ein Bild-Encoder oder ein zusätzliches Modell für Speculative Decoding. Wie groß der KV-Cache wird, hängt von Architektur, Kontextlänge, Cache-Präzision und der Zahl gleichzeitiger Anfragen ab. Ein Rechenbeispiel ohne Messung: Bei Qwen3.8-27B belegt allein der KV-Cache seiner 16 Full-Attention-Schichten in 16 Bit etwa 2 GiB bei 32K Kontext, 4 GiB bei 64K und 8 GiB bei 128K; beim sparsameren Qwen3.6-35B-A3B sind es rund 0,6, 1,3 und 2,5 GiB. Die Rechnung gilt für eine einzelne Anfrage und nur für den Cache der Full-Attention-Schichten; die Zustände der übrigen Schichten und weitere Laufzeitpuffer kommen hinzu. Die folgenden Hardwareklassen sind deshalb Orientierungshilfen auf Basis von Herstellerangaben und veröffentlichten Messungen. Ob ein System für lange Dokumente, Agenten oder mehrere Nutzer reicht, zeigt ein Test mit dem vorgesehenen Arbeitsablauf.

RAM, VRAM und Prozessor müssen zusammenpassen. Die folgenden Klassen beziehen sich auf Inferenz, also die Nutzung fertiger Modelle. Zuerst muss die Software die konkrete Modellarchitektur, Quantisierung und GPU unterstützen. Bei einer separaten Grafikkarte müssen für vollständig GPU-beschleunigten Betrieb Gewichte, Kontextzustände und Rechenpuffer in den VRAM passen. Der Arbeitsspeicher bleibt für Betriebssystem, Anwendungen, Datenaufbereitung und den Ladevorgang nötig. Bei 64 GB RAM und 16 GB VRAM liegt ein größeres Modell deshalb auf zwei unterschiedlich schnellen Speichern; wie schnell es läuft, hängt von Runtime, Aufteilung und Datenübertragung ab.

Offloading macht größere Modelle nutzbar, kostet aber Tempo: Je nach Verfahren begrenzen dann CPU-Leistung, RAM-Bandbreite und die Übertragung über PCIe die Geschwindigkeit. Beim reinen CPU-Betrieb zählen auch Zahl und Bestückung der Speicherkanäle. Besonders bei der Textgenerierung für einzelne Anfragen begrenzt häufig die Speicherbandbreite das Tempo; zusätzliche Kerne helfen dann nur begrenzt. Auch bei GPU-Betrieb braucht die CPU Reserven für Eingabeverarbeitung, Anfragen und weitere Anwendungen.

Bei Unified Memory (Apple Silicon, Ryzen AI Max, DGX Spark) greifen CPU und GPU auf denselben Speicher zu. Betriebssystem und Programme belegen davon ebenfalls einen Teil, und je nach Plattform darf die GPU nur einen Teil nutzen. Wie viel davon das Modell nutzen kann und wie schnell es läuft, unterscheidet sich deshalb je nach Plattform. Bei mehreren GPUs muss die Runtime die Aufteilung des Modells auf die Karten unterstützen. Netzteil, Kühlung und PCIe-Anbindung gehören ebenfalls zur Planung; eine schnelle SSD verkürzt die Ladezeit.

Speicher ist teuer geworden. Seit Herbst 2025, also seit rund einem Jahr, sind die Preise für Arbeitsspeicher stark gestiegen, unter anderem, weil die großen Hersteller ihre Kapazität auf Speicher für KI-Server und HBM verlagern. In einem US-Preisindex lag das günstigste erfasste 32-GB-DDR5-Kit (DDR5-5600) am 28. September bei 409 Dollar; knapp ein Jahr zuvor, im Oktober 2025, waren es laut demselben Index für ein vergleichbares Kit etwa 100 bis 200 Dollar. Auch Grafikkarten mit mehr VRAM lassen auf sich warten: Die erwarteten RTX-50-Super-Modelle mit 24 GB sind laut Berichten wegen knapper und teurer GDDR7-Chips voraussichtlich auf Anfang 2027 verschoben; bestätigt hat NVIDIA das nicht. Wer lokale KI plant, sollte Speicher früh einkalkulieren.

Edge- und On-Device-Klasse

• Typische Modelle: Gemma 4 E2B, Gemma 4 E4B, Qwen3.5 2B, Qwen3.5 4B (auch im Oktober unverändert, denn Qwen3.8 enthält bisher keine kleinen Modelle)
• Geeignet für: Offline-Assistenten, leichte RAG-Setups, Edge-Anwendungen, eingebettete Workflows (IoT, Kiosk, Retail)
• RAM / Unified Memory: Die Modelle selbst sind klein. In Ollama umfasst das Standardpaket von Qwen3.5 2B rund 2,7 GB (Q8_0), das von Qwen3.5 4B rund 3,4 GB (Q4_K_M) und das von Gemma 4 E2B rund 4,6 GB. Auf Notebooks und Mini-PCs sind mit Betriebssystem und Anwendungen 16 GB ein sinnvoller Einstieg, 24 GB angenehm. Auf einem Raspberry Pi 5 kam Gemma 4 E2B mit LiteRT-LM laut Google mit rund 1,4 GB Spitzenspeicher aus, bei 9 Token pro Sekunde.
• VRAM: meist nicht zwingend
• CPU / SoC: Apple Silicon, Snapdragon X Elite oder ein moderner x64-Prozessor. LM Studio setzt auf x64-Rechnern AVX2 voraus. Weitere Befehlssatzerweiterungen können den CPU-Betrieb beschleunigen, sofern die Runtime passende optimierte Rechenkerne nutzt.
• Software: LM Studio, Ollama, auf Edge-Geräten Googles LiteRT-LM

Daily-Driver-Klasse für Notebooks und Mini-PCs

• Typische Modelle: Qwen3.5 4B, Qwen3.5 9B, Gemma 4 E4B, seit Juni auch Gemma 4 12B Unified; ab 16 GB Speicher je nach Kontext außerdem gpt-oss-20b
• Geeignet für: tägliche Wissensarbeit, Dokumentenarbeit, persönliche Automatisierungen, kleine Coding-Hilfe
• RAM / Unified Memory: 24–32 GB
• VRAM: 8 GB können für Qwen3.5 9B in Q4 bei begrenztem Kontext reichen, die Datei ist in Ollama rund 6,6 GB groß. Die Q8-Fassung hat rund 11 GB, dafür ist eine Karte mit 16 GB sinnvoll.
• CPU: moderner x64-Prozessor (für LM Studio mit AVX2) oder Apple Silicon
• Software: LM Studio, Ollama

Seit dem 22. September deckt auch der neue Mac mini diese Klasse ab: mit M6 (bis 32 GB, ab 1.049 Euro mit 16 GB) oder mit M5 Pro (bis 64 GB, ab 1.999 Euro mit 24 GB).

MoE-Sweet-Spot

• Typische Modelle: Gemma 4 26B A4B, Qwen3.6-35B-A3B, seit August auch Nemotron 3.5 Lightning 30B-A3B; für Coding-Agenten Poolside Laguna XS 2.1 (33B, 3B aktiv)
• Geeignet für: ernsthafte lokale Wissensarbeit, Coding, Agenten und RAG, mit deutlich weniger Rechenaufwand pro Token als das 31B-Dense-Modell; Speicher brauchen MoE-Modelle trotzdem für alle Gewichte
• RAM: 32 GB, auf Apple Silicon mehr als 32 GB Unified Memory (siehe unten)
• VRAM: Die GGUF-Q4_K_M-Modelldatei von Qwen3.6-35B-A3B ist rund 22 GB groß. Das llama.cpp-Paket in Ollama umfasst mit Bild-Encoder rund 23 GB, das separate MLX-Paket rund 24 GB; wie viel Speicher das Modell im Betrieb braucht, zeigen diese Downloadgrößen noch nicht. Ob das Modell vollständig auf eine 24-GB-Karte passt, hängt von Kontext, Runtime und zusätzlichen Komponenten ab; 24 GB sind eine Konfiguration zum Ausprobieren, 32 GB bieten mehr Spielraum.
• Grafikkarten: etwa RTX 3090 oder 4090 mit 24 GB und die RTX 5090 mit 32 GB. Die RTX 5090 war in den lokalen Messungen von Artificial Analysis bei allen Modellen, die in ihren Speicher passten, mehr als 3,5-mal schneller als die getesteten Systeme mit gemeinsamem Speicher (Test mit einem einzelnen Agenten ohne Werkzeugausführung, der M5 Ultra war nicht dabei).
• CPU: moderner Prozessor passend zur Runtime
• Software: Ollama, LM Studio

Mit teilweisem RAM-Offloading läuft Qwen3.6-35B-A3B auch auf GPUs mit weniger VRAM, die Antwortzeiten können dann aber deutlich steigen. Welche Kontextlänge erreichbar bleibt, hängt von freiem RAM, der Platzierung des KV-Caches und der Runtime ab.

Bei Gemma 4 26B A4B rechnen pro Token nur 3,8 der 25,2 Milliarden Parameter, deshalb erzeugt es Text in der Regel deutlich schneller als ein dichtes Modell ähnlicher Größe. In Ollama ist die 4-Bit-Fassung rund 16 GB groß. Artificial Analysis schätzt es im AA-Index v4.3 auf 17 Punkte, gemessen ist das noch nicht; das dichte Gemma 4 31B kommt gemessen auf 15. Speicher spart die MoE-Bauweise dagegen kaum, denn alle Experten müssen geladen sein. Dasselbe Prinzip macht Qwen3.6-35B-A3B lokal besonders schnell: In den lokalen Messungen von Artificial Analysis (AA-AgentPerf-Local, 29. September) war es unter den vier getesteten Modellen auf allen vier Testsystemen das schnellste, 2,5- bis 3,3-mal so schnell wie Qwen3.8-27B. Getestet wurde in 4 Bit mit Speculative Decoding; gemessen wurde allein die Laufzeit nachgespielter Agenten-Sitzungen.

Pro-Desktop- und Workstation-Klasse

• Typische Modelle: Qwen3.6-27B, Gemma 4 31B, seit August auch Qwen3.8-27B und Muse Glimmer 30B
• Geeignet für: Coding, Agenten, große Kontexte, multimodale Analyse, ernsthafte lokale Wissensarbeit, interne RAG-Systeme
• RAM: bei PCs mit separater GPU 48–64 GB als Planungswert für den gesamten Arbeitsablauf
• Unified Memory: bei Apple Silicon 48–64 GB gemeinsamer Speicher für Modell, System und Anwendungen
• VRAM: 24 GB sind eine sinnvolle Zielgröße für diese Q4-Konfigurationen; mit weniger VRAM helfen eine kleinere Quantisierung, weniger Kontext oder teilweiser Offload. Qwen3.6-27B liegt in Q4_K_M bei rund 17 bis 18 GB; wie viel Kontext daneben passt, hängt von Datei und Runtime ab. Eine Q8-Datei von Qwen3.6-27B ist allein rund 29 bis 30 GB groß, 32 GB VRAM sind dafür knapp.
• CPU: moderner Prozessor passend zur Runtime, alternativ Apple Silicon (Pro, Max oder Ultra)
• Software: Ollama, LM Studio, lokale API-Server

Der Nachfolger Qwen3.8-27B liegt in Q4 mit rund 17 GB (mit Bild-Encoder rund 18 GB) auf ähnlichem Niveau, es gelten also dieselben Richtwerte. Muse Glimmer hat Meta ausdrücklich für 24-GB-Karten ausgelegt (offizielle 4-Bit-Fassung rund 17 GB).

Ob eine Workstation mehrere gleichzeitige Nutzer bedient, hängt von der gemessenen Last ab. Jede parallele Anfrage braucht zusätzlichen Speicher für ihren eigenen KV-Cache.

Apple-Silicon-Profi-Setups

• Typische Modelle: Qwen3.6-35B-A3B, Gemma 4 26B/31B, seit August auch Qwen3.8-27B und Muse Glimmer (jeweils quantisiert)
• Unified Memory: mehr als 32 GB, besser 48–64 GB. Die GPU kann davon nicht alles für das Modell nutzen: Metal meldet je Gerät einen empfohlenen Arbeitsbereich, an dem sich Laufzeitumgebungen wie llama.cpp und MLX orientieren, und macOS sowie Anwendungen belegen ebenfalls Speicher. Qwen3.6-35B-A3B ist in Ollama in 4 Bit rund 23 bis 24 GB groß; auf einem 32-GB-Mac bleibt dafür samt KV-Cache wenig Spielraum. Maßgeblich sind der für das Gerät gemeldete Wert und ein Test der konkreten Konfiguration.
• SoC: M4 Pro/Max oder M5 Pro/Max
• Software: Ollama und LM Studio, beide mit MLX-Backend

Seit dem 22. September ist außerdem der neue Mac Studio erhältlich. Mit M5 Max bietet er bis zu 128 GB Unified Memory (ab 2.999 Euro mit 36 GB; 128 GB gibt es nur mit der größeren M5-Max-Variante). Mit M5 Ultra sind es bis zu 512 GB bei 1,2 TB/s Speicherbandbreite (ab 6.599 Euro mit 96 GB; 512 GB nur mit der größeren M5-Ultra-Variante und erst ab Ende Oktober). Damit rücken auf einem einzelnen Desktop-Rechner Modelle in Reichweite, die bisher Server-Klasse waren; welche das sind, zeigt die folgende Klasse.

Kompakte 128- bis 512-GB-Klasse

• Typische Modelle: gpt-oss-120b, Qwen3.8-Flash-Next, GLM-5.3-Flash, DeepSeek V4 Flash, Inkling Small (jeweils quantisiert)
• Geeignet für: speicherintensive lokale Modelle, sofern Modellformat und Runtime unterstützt werden
• Hardware: Mac Studio M5 Max (bis 128 GB) oder M5 Ultra (bis 512 GB), Systeme mit AMD Ryzen AI Max PRO 400, NVIDIA DGX Spark (128 GB, 273 GB/s)
• Software: Ollama, LM Studio, auf DGX Spark auch vLLM

Zur Größenordnung: gpt-oss-120b (rund 65 GB) passt bequem auf 128-GB-Systeme, Qwen3.8-Flash-Next (in 4 Bit rund 94 bis 111 GB) nur knapp; beim Lenovo ThinkCentre X Ultra kann die GPU höchstens 96 GB des Speichers nutzen. DeepSeek V4 Flash und Inkling Small belegen in 4 Bit je nach Variante rund 130 bis 165 GB, GLM-5.3-Flash rund 157 bis 200 GB, jeweils ohne KV-Cache. Für diese Dateigrößen kommen Systeme ab der 192-GB-Klasse für einen Praxistest infrage. Auf den AMD-Systemen stehen der GPU davon höchstens 160 GB zur Verfügung. Beim Mac sind der von Metal empfohlene Arbeitsbereich, die Speicherverwaltung der Runtime und der Bedarf von macOS und Anwendungen zu berücksichtigen. Entscheidend sind der tatsächlich nutzbare Modellspeicher, die konkrete Quantisierung und die Runtime. Außerdem muss die Runtime das Modell schon unterstützen: Für GLM-5.3-Flash kam die Unterstützung in llama.cpp erst am 30. September hinzu, und in Ollama gibt es das Modell bisher nur als Cloud-Variante (glm-5.3-flash:cloud).

Zu den Systemen: AMD hat Ryzen AI Max PRO 400 („Gorgon Halo“) im Mai vorgestellt. Die Plattform unterstützt bis 192 GB LPDDR5X-8533, davon bis 160 GB für die GPU nutzbar, laut AMD genug für ein 300B-Modell in FP4. Lenovo bringt etwa den ThinkCentre X Ultra mit Ryzen AI Max+ PRO 495 und bis zu 128 GB, davon bis 96 GB für die GPU, ab November in den Handel. Laut Lenovo beginnt er bei geschätzt 3.100 Euro, möglicherweise ohne Steuern und je nach Ausstattung. Für den DGX Spark nennt NVIDIA Anfang Oktober einen US-Listenpreis von 6.950 Dollar, im Februar war er auf 4.699 Dollar angehoben worden. Ab dem 23. Oktober soll es ihn über Partner auch mit 64 GB ab 4.999 Dollar geben, bei gleicher Speicherbandbreite von 273 GB/s.

Ob das System lange Kontexte oder mehrere gleichzeitige Nutzer schnell genug bedient, muss für die konkrete Konfiguration gemessen werden.

Ganz neu ist diese Klasse nicht, den DGX Spark und den Mac Studio mit M3 Ultra gibt es schon seit dem vergangenen Jahr. Mit M5 Ultra und Ryzen AI Max PRO 400 wächst sie seit dem Spätsommer aber deutlich. Die Speicherbandbreite liegt bei AMD und NVIDIA bei rund 273 GB/s, beim Mac Studio M5 Ultra bei 1,2 TB/s. Sie beeinflusst vor allem die Textgenerierung bei wenigen gleichzeitigen Anfragen. Wie schnell ein System einen vollständigen Agentenablauf erledigt, hängt außerdem von Eingabeverarbeitung, Rechenleistung und Software ab, eine allgemeine Rangfolge lässt sich aus den Bandbreiten allein nicht ableiten. Für den M5 Ultra liegt diesem Report kein eigener Vergleichstest vor.

Server- und Lab-Klasse

• Typische Modelle: GLM-5.2, Kimi K2.6 / K2.7-Code, MiMo-V2.5-Pro, DeepSeek V4 Pro, MiniMax M3, Nemotron 3 Ultra, Mistral Medium 3.5, GLM-5.1, Qwen3.5-397B-A17B; seit dem Sommer außerdem MiMo-V2.6-Pro, GLM-5.3, Kimi K3, Qwen3.8-2.4T-A95B, DeepSeek V4 Pro 0813 und V4.1 Flash
• Geeignet für: Team-Serving, interne Modellplattformen, On-Prem-Sicherheit, große Modellpools, also typischerweise Umgebungen mit einem IT-Team dahinter
• GPU: nach Modell und Format getrennt planen. Für ein einzelnes passendes Modell wie gpt-oss-120b reicht eine 80-GB-GPU als Einstieg. Bei den sehr großen Modellen mit 700 Milliarden bis 2,8 Billionen Parametern reicht schon der Speicherbedarf der Gewichte je nach Modell und Format von mehreren hundert Gigabyte bis in den Terabytebereich. Für den Betrieb vollständig im GPU-Speicher kommen Kontextzustände und Laufzeitpuffer hinzu; Anzahl, Speicherausstattung und Verbindung der GPUs müssen zur unterstützten Aufteilung passen.
• Arbeitsspeicher und SSD: getrennt planen, nach Ladeverfahren, Zwischendateien und gegebenenfalls Konvertierungen
• Software: vLLM oder SGLang als Serving-Layer (TGI ist seit Dezember 2025 im Wartungsmodus), Ollama mit eigenem API-Gateway für kleinere Teams, LM Studio für Desktop-Workflows (seit Juli 2025, also seit gut einem Jahr, auch im Unternehmen kostenlos; Team- und Enterprise-Funktionen kosten extra)

Bei Kimi K3 umfasst das veröffentlichte Modellpaket mit MXFP4-Gewichten rund 1,56 TB, mehr als der gesamte GPU-Speicher eines DGX B200 (1.440 GB) oder DGX H200 (1.128 GB). Im Betrieb kommen Kontext und Laufzeitpuffer hinzu; die GPU-Konfiguration richtet sich außerdem nach Runtime und Parallelität.

Hinweis: Mit DeepSeek V4 Flash (284 Milliarden Parameter, davon 13 Milliarden aktiv) und Mistral Medium 3.5 (128 Milliarden, dense) gibt es in dieser Klasse Modelle, die deutlich weniger Speicher brauchen als die ganz großen MoE-Flaggschiffe. Als dichtes Modell rechnet Mistral Medium 3.5 allerdings pro Token mit allen 128 Milliarden Parametern, DeepSeek V4 Flash nur mit 13 Milliarden. Am oberen Ende war GLM-5.2 (MIT, 753B Gesamtparameter laut Hugging Face) von Mitte Juni an die frontier-nächste offene Option. Inzwischen teilen sich MiMo-V2.6-Pro (MIT), GLM-5.3 (eigene Lizenz) und Kimi K3 (eigene Lizenz mit Umsatzklausel) die offene Spitze. Wer die MIT-Lizenz von GLM-5.2 schätzt, findet sie bei GLM-5.3-Flash und den MiMo-V2.6-Modellen wieder.

Hardware für Bildmodelle

Im Bildbereich lohnt ein genauer Blick auf die Begriffe: Nicht jedes Modell mit herunterladbaren Gewichten steht unter einer freien Open-Source-Lizenz. Genauer ist deshalb die Rede von offen verfügbaren Gewichten. Vor jedem produktiven Einsatz lohnt die Lizenzprüfung.

FLUX.2 [klein]: Für 4B nennt BFL rund 13 GB VRAM, kleinere Karten brauchen eine konkret dokumentierte Speicheroptimierung. Für 9B nennt die Modellkarte rund 29 GB und zugleich die RTX 4090 mit 24 GB, der Beispielcode nutzt dabei CPU-Offloading; für 24-GB-Karten sollte man ein konkret getestetes Setup wählen. Software: ComfyUI, Diffusers oder Forge Neo. Wichtig: FLUX.2 [klein] 4B ist lokal unter Apache 2.0 nutzbar, also auch kommerziell; die 9B-Variante steht unter einer Non-Commercial-Lizenz, kommerziell nutzbar ist sie mit einer separaten BFL-Lizenz für den Selbstbetrieb oder über die API.

Bild-Oberklasse (FLUX.2 [dev], Qwen-Image, Qwen-Image-Edit): Arbeitsspeicher großzügig planen, weil Offloading Teile des Modells dorthin verlagert; Software: ComfyUI oder Diffusers, für Qwen-Image auch Forge Neo. FLUX.2 [dev] hat 32 Milliarden Parameter und braucht zusammen mit seinem Text-Encoder ohne Offloading mehr als 80 GB VRAM. Mit 4-Bit-Quantisierung von Generator und Text-Encoder und zusätzlichem CPU-Offloading kommt es laut Hugging Face auf einer 24-GB-Karte mit rund 20 GB freiem VRAM aus, belegt dann aber mehr Arbeitsspeicher. Der Generator von Qwen-Image hat 20 Milliarden Parameter und belegt allein in BF16 rund 41 GB, Text-Encoder, VAE und Zwischenspeicher kommen hinzu; für 16- bis 24-GB-Karten braucht es quantisierte Fassungen (die 4-Bit-Datei des Generators ist rund 13 GB groß). Seit September ist auch Qwen-Image 2.1 (Bildgenerator mit 7B) offen verfügbar, allerdings unter einer Forschungslizenz. HunyuanImage 3.0 gehört nicht in diese Klasse: Tencent empfiehlt für das Basismodell mindestens drei GPUs mit je 80 GB, für die Instruct-Fassung acht.

Video-Enhancement-Klasse (Upscaling, Denoising, Schärfung, klassische Restaurierung): unter Windows empfiehlt Topaz 32 GB RAM, eine GPU ab NVIDIA RTX 30, AMD Radeon 5000 oder Intel Arc A770 mit mindestens 8 GB VRAM und eine CPU mit AVX ab Baujahr 2020. Auf dem Mac ist ein M-Chip nötig, empfohlen sind Pro, Max oder Ultra. Linux, Snapdragon-PCs, Intel-Macs und externe GPUs unterstützt Topaz Video derzeit nicht. Software: Topaz Video (das frühere Topaz Video AI wird seit September 2025, also seit gut einem Jahr, nicht mehr weiterentwickelt).

Starlight Mini (diffusionsbasierte Videoverbesserung in Topaz Video): Unter Windows braucht es mit NVIDIA mindestens 10 GB VRAM (empfohlen 16 GB), mit AMD mindestens 20 GB VRAM, dazu mindestens 32 GB Systemspeicher. Auf dem Mac nennt Topaz einen M-Chip der Pro-, Max- oder Ultra-Serie, mindestens 36 GB Arbeitsspeicher und macOS 15 oder neuer. Die Modelle sollten auf einer schnellen internen SSD liegen. Seit Topaz Video 1.7.0 rechnet Starlight Mini auch ohne Pro-Tarif lokal. Für macOS 27 warnt Topaz noch vor eingeschränkten Funktionen, vor einem Neukauf lohnt der Blick auf den aktuellen Stand; andere Starlight-Modelle haben eigene Voraussetzungen.

Zum Nachrechnen: ApX VRAM Calculator (Quantisierung, KV-Cache, Kontextlänge, Batch-Größe, Offloading) und CanIRun.ai (Gegencheck, welche Modellklassen auf vorhandener Hardware laufen). Beide liefern Richtwerte, die man auf der eigenen Hardware nachmessen kann.

Fazit: Lokale KI ist 2026 planbar geworden

Im Frühjahr ließ sich der lokale Markt in vier Klassen ordnen: Edge- und Daily-Driver-Zone, produktive Midrange, Workstations und darüber die Server-Klasse. Diese Einteilung hat gehalten, obwohl die Modelle darin seitdem mehrfach gewechselt haben. Deutlich gewachsen ist die Zone zwischen Workstation und Server: Mac Studio M5 Ultra, Ryzen AI Max PRO 400 und DGX Spark bringen große MoE-Modelle wie gpt-oss-120b oder, in der 192-GB-Klasse, DeepSeek V4 Flash auf einem einzelnen Rechner in Reichweite.

An der offenen Spitze hat sich die Rangfolge seit dem Frühjahr mehrfach verändert. Auf derselben Skala gemessen ist der Abstand zur proprietären Frontier seit Juli von 16 auf 12 Punkte geschrumpft, und die Frontier ist deutlich günstiger geworden. Teurer geworden ist die Hardware, vor allem der Speicher.

Bei den Lizenzen lohnt seit dem Sommer ein genauerer Blick. Viele offene Modelle stehen unter Apache 2.0 oder MIT und sind kommerziell nutzbar, GLM-5.3, Kimi K3 und die großen Qwen3.8-Modelle dagegen unter eigenen Lizenzen. Muse Glimmer ist unter Apache 2.0 erschienen, ohne die Auflagen der früheren Llama-Lizenz.

Was folgt daraus für die Wahl heute? Die Modelle wechseln seit dem Frühjahr im Wochentakt. Wer lokal plant, sollte deshalb nicht mit der Frage beginnen, welches Modell in irgendeiner Rangliste zwei Punkte mehr erreicht. Sinnvoller ist diese Reihenfolge: Aufgabe und Daten klären, passende Software und ein Kandidatenmodell wählen, mit eigenen Unterlagen testen und erst dann die Hardware kaufen. Wer schon einen Rechner hat, sucht umgekehrt das Modell, das darauf gut läuft.

Bezahlen sollte man für den Engpass der eigenen Aufgabe. Für Dokumente, E-Mails und einfaches RAG kann schon die Daily-Driver-Klasse reichen. Coding-Agenten mit langen Kontexten brauchen ausreichend Speicher für Modellgewichte, KV-Cache und Laufzeitpuffer. Für kurze Antwortzeiten zählen außerdem die Rechenleistung beim Verarbeiten neuer Eingaben, die Speicherbandbreite und eine gut abgestimmte Runtime. Viel gemeinsamer Speicher macht große Modelle ladbar; Tempo und Qualität muss man trotzdem messen.

Häufige Fragen (FAQ)

Welches lokale KI-Modell ist 2026 das beste für KMU in Deutschland?

Für viele kleine und mittelständische Unternehmen reicht für den Einstieg Qwen3.5 9B oder Gemma 4 E4B auf einem gut ausgestatteten Notebook oder Mac mini. Wer ernsthaft codet oder mit Agenten arbeitet, kann Qwen3.6-35B-A3B oder Qwen3.6-27B quantisiert und mit begrenztem Kontext auf einer 24-GB-Grafikkarte ausprobieren. Diese Klassen decken Dokumentenarbeit, Zusammenfassungen, E-Mail-Triage und einfaches RAG in vielen Fällen ab, ohne Rechenzentrumskosten; ob die Qualität reicht, zeigt ein Test mit eigenen Dokumenten. Inzwischen kommen Gemma 4 12B Unified für Alltagsaufgaben dazu und, auf einer GPU mit 24 GB VRAM, Qwen3.8-27B oder Muse Glimmer.

Welche Hardware brauche ich für Qwen3.6 27B lokal?

Als Richtwert für einen PC mit eigener Grafikkarte: 48–64 GB RAM und eine GPU mit 24 GB VRAM. Bei Apple Silicon sind 48 GB oder mehr Unified Memory sinnvoll; dort teilen sich Modell, KV-Cache, System und Anwendungen denselben Speicher. Die Q4_K_M-Datei ist rund 17 bis 18 GB groß. 24 GB VRAM sind eine sinnvolle Zielgröße für diese Konfiguration; mit weniger VRAM helfen eine kleinere Quantisierung, weniger Kontext oder teilweiser Offload. Als Datenträger ist eine SSD ab 1 TB sinnvoll: Allein Qwen3.6-27B belegt in Q4, Q8 und BF16 zusammen rund 104 GB, und meist liegen mehrere Modelle nebeneinander. Für längeren Kontext reichen 24 GB VRAM nicht immer; eine Q8-Fassung ist allein rund 29 bis 30 GB groß, 32 GB VRAM sind dafür knapp. Dazu kommt Reserve für KV-Cache und Runtime. Für den Nachfolger Qwen3.8-27B gilt dasselbe, seine Q4-Fassung ist mit rund 17 GB (mit Bild-Encoder 18 GB) kaum größer.

Ist Gemma 4 kommerziell nutzbar?

Ja. Die öffentlich dokumentierten Gemma-4-Varianten E2B, E4B, 12B Unified, 26B A4B und 31B Dense stehen unter Apache-2.0-Lizenz und sind damit kommerziell einsetzbar. Auch Qwen3.6 (27B und 35B-A3B) steht unter Apache 2.0. Bei Qwen3.8 gilt das nur für das 27B-Modell; Flash-Next und 2.4T haben eigene Lizenzen.

Welches ist aktuell das stärkste offene Modell?

Im AA-Index v4.3 liegt Anfang Oktober MiMo-V2.6-Pro mit 46 Punkten vor GLM-5.3 (45) und Kimi K3 (44). Das gilt für diese Benchmark-Suite und die getesteten Einstellungen; für Deutsch, RAG oder die eigenen Coding-Aufgaben lohnt ein eigener Test. Alle drei benötigen große Server-Setups. Für eine einzelne Workstation sind Qwen3.8-27B und, je nach Speicherbudget, Qwen3.6-35B-A3B Kandidaten; Muse Glimmer ist ebenfalls lokal nutzbar.

Welcher Unterschied besteht zwischen dem AA Intelligence Index und Chatbot Arena?

Der Artificial Analysis Intelligence Index (seit 7. September v4.3) ist eine gewichtete Suite aus zehn Tests, darunter Terminal-Bench 4.0, AutomationBench-AA, GDPval-AA, SciCode und Humanity’s Last Exam, viele davon mit privaten Testsets. Chatbot Arena misst menschliche Präferenz in Blindvergleichen. Der AA-Index prüft also Fähigkeiten mit festen Tests, die Arena, welche Antworten Menschen bevorzugen.

Lohnt sich ein eigener lokaler KI-Server für ein 10-Personen-Unternehmen?

Die Teamgröße allein entscheidet das nicht. Eine Workstation kann reichen, wenn wenige Personen gleichzeitig arbeiten und Wartezeiten akzeptabel sind. Ein Server wird interessanter bei hoher Parallelität, kontinuierlichen Agentenläufen, Verfügbarkeitsanforderungen oder zentraler Administration. Plane anhand gemessener Last, gewünschter Antwortzeiten und Betriebskosten.

Kann ich Claude Opus 5.5, Claude Fable 5, GPT-6 oder Grok 4.7 lokal betreiben?

Nein. Auch die aktuellen Spitzenmodelle wie Claude Opus 5.5, Claude Fable 5, GPT-6 und Grok 4.7 sind proprietäre Cloud-Modelle. Sie lassen sich über die Dienste, Apps und APIs der jeweiligen Anbieter nutzen, ihre Modellgewichte stehen jedoch nicht für den lokalen Betrieb zur Verfügung. Das gilt ebenso für Modelle wie Claude Opus 5, Sonnet 5.5, Fable 5.1, GPT-6.1 und Gemini 4 Argon. Auch über eine Desktop-App bleiben die Gewichte beim Anbieter. Unterstützt die App einen lokalen Modellanbieter, nutzt sie stattdessen ein anderes, offenes Modell auf dem eigenen Rechner. Wer eine vergleichbare Lösung vollständig lokal betreiben möchte, kann stattdessen auf offene Modelle wie Qwen3.6-27B oder Gemma 4 31B zurückgreifen. Mit leistungsfähiger Workstation- oder Server-Hardware kommen auch größere offene Modelle wie Qwen3.8-Flash-Next oder DeepSeek V4.1 Flash infrage.

Was bedeutet der Trend „Coding-Agent + n8n“ für KMU?

Er senkt die Einstiegshürde für Automatisierung deutlich: n8n läuft self-hosted als deterministisches Rückgrat (Trigger, Zeitpläne, Datenrouting), während ein Coding-Agent wie Claude Code oder Codex die Workflows entwirft, baut und debuggt. Der Einstieg gelang bisher am einfachsten über das Open-Source-Projekt n8n-mcp, das den Agenten per Model Context Protocol direkt mit der eigenen n8n-Instanz verbindet. Inzwischen bringt n8n auch selbst einen MCP-Zugang für die ganze Instanz mit (seit November 2025, also seit knapp einem Jahr, zunächst als Beta), und Version 2.35 vereinfacht die Einrichtung des n8n Assistant mit einem OpenAI-kompatiblen, gegebenenfalls lokalen Modellendpunkt (siehe Agenten-Trends). Erstellung und Betrieb sollte man dabei getrennt betrachten: Ein Cloud-Modell kann einen Workflow entwerfen, der danach ganz ohne KI lokal läuft, und umgekehrt kann ein lokal betriebener Workflow externe KI-Dienste aufrufen.

Warum sind die Benchmark-Werte im Oktober niedriger als im Juli?

Weil Artificial Analysis die Skala zweimal umgestellt hat, zuletzt am 7. September auf Version 4.3 mit schwereren Tests (unter anderem Terminal-Bench 4.0) und mehr privaten Testsets. Claude Fable 5 lag im Juli bei 60 Punkten, nachgemessen auf v4.3 kommt dasselbe Modell auf 50. Deshalb stehen die Tabellen in diesem Report getrennt.

Kann ich Kimi K3 lokal betreiben?

Auf einem gewöhnlichen Desktop ist das nicht realistisch. Die rund 2,8 Billionen Parameter benötigen selbst stark quantisiert ein sehr großes Deployment. Die Kimi-K3-Lizenz erlaubt grundsätzlich auch kommerzielle Nutzung, enthält jedoch Sonderbedingungen für große Model-as-a-Service-Anbieter sowie eine Pflicht zur Namensanzeige bei kommerziellen Produkten oder Diensten oberhalb bestimmter Nutzer- oder Umsatzschwellen. Rein interne Nutzung, bei der weder das Modell noch seine Ergebnisse an Dritte gehen, ist von diesen Zusatzbedingungen ausdrücklich ausgenommen. Die konkrete Nutzung sollte daher anhand des Lizenztextes eingeordnet werden.

Welches offene Modell ist das beste fürs Coding auf einer 24-GB-Grafikkarte?

Qwen3.8-27B und Qwen3.6-35B-A3B kommen für eine 24-GB-Grafikkarte infrage. Beim größeren 35B-A3B ist der Spielraum besonders knapp. Ob die gewählte Quantisierung vollständig im VRAM läuft, muss mit der vorgesehenen Kontextlänge und Runtime geprüft werden; gegebenenfalls sind eine kleinere Quantisierung oder teilweiser Offload nötig. Das MoE-Modell aktiviert nur rund 3 Milliarden seiner insgesamt 35 Milliarden Parameter pro Token und war in den lokalen Messungen von Artificial Analysis unter vier getesteten Modellen auf allen vier Testsystemen das schnellste; auf der eigenen Hardware sollte man das trotzdem nachmessen. Muse Glimmer und Poolside Laguna XS 2.1 sind weitere Kandidaten für lokale Coding- und Tool-Workflows. Welche Variante am besten passt, sollte anhand der eigenen Coding-Aufgaben, der benötigten Kontextlänge und der verwendeten Runtime getestet werden.

Mac Studio, Ryzen AI Max oder DGX Spark: Was passt wofür?

Alle drei bieten viel gemeinsamen Speicher für große Modelle. Der Mac Studio M5 Ultra hat mit bis zu 512 GB und 1,2 TB/s die größte Kapazität und mit Abstand die höchste Bandbreite. Er startet bei 6.599 Euro in der Grundausstattung mit 96 GB; die 512-GB-Konfiguration kostet mehr und ist laut Apple erst ab Ende Oktober erhältlich. Die GPU kann davon jeweils nur einen Teil nutzen. Beim Mac hängt der praktisch nutzbare Modellspeicher unter anderem vom empfohlenen Metal-Arbeitsbereich, der Runtime und dem Speicherbedarf anderer Programme ab. Die Ryzen-AI-Max-PRO-400-Plattform erlaubt bis zu 192 GB, davon bis 160 GB für die GPU, der Lenovo ThinkCentre X Ultra kommt ab November mit bis zu 128 GB, davon bis 96 GB für die GPU; solche Systeme laufen unter Windows und Linux, DGX Spark bringt 128 GB und den CUDA-Software-Stack von NVIDIA mit. Beide liegen bei rund 273 GB/s. Die höhere Bandbreite des M5 Ultra hilft vor allem bei der Textgenerierung; wie schnell ein ganzer Agentenablauf läuft, hängt auch von Eingabeverarbeitung, Rechenleistung und Software ab. Einen eigenen Vergleichstest mit dem M5 Ultra gibt es für diesen Report nicht.

Was kostet Hardware für lokale KI im Herbst 2026?

Spürbar mehr als vor einem Jahr, vor allem wegen des Speichers. Das günstigste in einem US-Preisindex erfasste 32-GB-DDR5-Kit kostete am 28. September 409 Dollar, knapp ein Jahr zuvor, im Oktober 2025, waren es etwa 100 bis 200. Der Mac mini startet in Deutschland bei 1.049 Euro (M6, bis 32 GB) und 1.999 Euro (M5 Pro, bis 64 GB), der Mac Studio bei 2.999 (M5 Max mit 36 GB) und 6.599 Euro (M5 Ultra mit 96 GB). Die großen Speicherstufen kosten deutlich mehr. Für den DGX Spark mit 128 GB nennt NVIDIA in den USA Anfang Oktober 6.950 US-Dollar, im Februar war der Preis auf 4.699 angehoben worden; ein deutscher Endkundenpreis lässt sich daraus nicht direkt ableiten.

Open Weights oder Open Source: Worauf muss ich bei den Lizenzen achten?

Was man mit offenen Gewichten darf, regelt die Lizenz. MIT und Apache 2.0 sind permissive Lizenzen, die kommerzielle Nutzung grundsätzlich erlauben, solange man die Lizenzbedingungen einhält, etwa Lizenz- und Copyright-Hinweise mitliefert. Das gilt etwa für MiMo-V2.6, GLM-5.3-Flash, DeepSeek V4/V4.1, Qwen3.8-27B, Gemma 4, gpt-oss und Muse Glimmer. GLM-5.3, Kimi K3, Qwen3.8-Flash-Next und Qwen3.8-2.4T stehen dagegen unter eigenen Lizenzen, Qwen-Image 2.1 unter einer Forschungslizenz. Vor dem produktiven Einsatz deshalb immer die Lizenzdatei des Modells auf Hugging Face prüfen.

Gibt es europäische offene Modelle?

Ja, vor allem von Mistral aus Frankreich. Mistral Medium 3.5 (128 Milliarden Parameter, Modified-MIT) ist unter den europäischen Modellen mit offenen Gewichten im AA-Index das stärkste, Leanstral 1.5 (Apache 2.0) ein Spezialmodell für mathematische Beweise. Gegenüber den chinesischen Spitzenmodellen liegen sie deutlich zurück, für die Souveränitätsfrage sind sie trotzdem ein eigenes Argument. Seit dem 3. Oktober gibt es mit Kolibri von Aleph Alpha außerdem ein neues offenes Modell aus Deutschland, ausgelegt auf Deutsch und Englisch. Für den Betrieb braucht Kolibri vorerst Server-Hardware. Einen Überblick mit Kolibri, Apertus, EuroLLM, ALIA und Luciole gibt der Abschnitt „Europäische Modelle“ oben.

Läuft Metas Muse Glimmer auf einem normalen PC?

Ja, mit einer passenden Grafikkarte. Meta liefert eine 4-Bit-Fassung von rund 17 GB, die für Karten mit 24 GB VRAM vorgesehen ist; für die unquantisierte Fassung nennt Meta 64 GB VRAM als Zielkonfiguration. Die Lizenz ist Apache 2.0, kommerzielle Nutzung ist also erlaubt.

Lohnt sich ein Mac Studio M5 Ultra für lokale KI?

Für Teams, die große MoE-Modelle ohne eigenen Server betreiben wollen, kann er sich lohnen: Mit bis zu 512 GB Unified Memory passen dort Modelle in den Speicher, die sonst Multi-GPU-Server brauchen, sofern die Runtime sie unterstützt. Wie schnell sie laufen, sollte man vor dem Kauf anhand von Messungen prüfen. Für kleinere Modelle und geringe Parallelität können ein passend konfigurierter Mac mini oder Mac Studio M5 Max die sinnvolleren Optionen für einen Praxistest sein. Ob sie ausreichen, entscheidet der konkrete Arbeitsablauf.

Quellen

Trends, Modelle, Benchmarks

• Artificial Analysis: Modelle & Intelligence Index
• Artificial Analysis: DeepSeek V4 Pro & Flash
• Anthropic: Claude Fable 5 und Claude Mythos 5
• Anthropic: Redeploying Claude Fable 5
• OpenAI: Previewing GPT-5.6 Sol
• SpaceXAI: Grok 4.5
• Cursor: Grok 4.5 (8. Juli 2026)
• SpaceXAI: Grok 4.7 (21. September 2026)
• VentureBeat: GLM-5.2 (Z.ai)
• Moonshot AI: Kimi K2.7-Code (Hugging Face)
• NVIDIA: Nemotron 3 Familie
• Mistral AI: Mistral Medium 3.5 (Hugging Face)
• Mistral AI: Mistral Medium 3.5 (Model Card)
• Mistral AI: Introducing Mistral Large 4
• Qwen3.6 (GitHub)
• Artificial Analysis: Gemma 4
• Google: Gemma 4
• Google: Gemini 3.1 Pro
• Google: Gemini 3.1 Flash-Lite (GA)
• Ai2: MolmoWeb
• OpenAI: GPT-5.5
• Anthropic: Claude Opus 4.8
• Artificial Analysis: Intelligence Index v4.3 (7. September 2026)
• Artificial Analysis: LLM Leaderboard (Stand 1. Oktober 2026)
• Hugging Face: Kimi K3 (Moonshot)
• Hugging Face: GLM-5.3 (Z.ai)
• Hugging Face: GLM-5.3-Flash (Z.ai)
• Hugging Face: Qwen3.8-27B
• Hugging Face: Muse Glimmer 30B (Meta)
• Hugging Face: MiMo-V2.6-Pro-RL (Xiaomi)
• Hugging Face: MiMo-V2.6-Pro-MOPD (Xiaomi, 27. September)
• Hugging Face: DeepSeek V4.1 Flash
• Hugging Face: Gemma 4 12B Unified
• Hugging Face: gpt-oss-120b (OpenAI)
• Hugging Face: Qwen-Image 2.1
• Anthropic: Introducing Claude Opus 5
• TechCrunch: Anthropic releases Opus 5.5
• TechCrunch: OpenAI limits GPT-5.6 rollout after government request
• Lenovo: ThinkCentre X Ultra und neue Business-Geräte (IFA 2026)
• Anthropic: Introducing Claude Fable 5.1 and Claude Mythos 5.1
• Anthropic: Introducing Claude Opus 5.5
• Anthropic: Introducing Claude Sonnet 5.5
• OpenAI: Introducing GPT-6.1 Sol
• OpenAI: DevDay 2026 Recap
• SpaceXAI: Release Notes (Grok 4.5, EU-Freischaltung)
• Hugging Face: Inkling (Thinking Machines)
• Hugging Face: Inkling Small (Thinking Machines)
• Artificial Analysis: Intelligence Index v4.2 (4. September 2026)
• Hugging Face: NVIDIA Nemotron 3 Ultra 550B-A55B
• Artificial Analysis: AA-AgentPerf-Local (29. September 2026)
• Artificial Analysis: Intelligence Index v4.1 (15. Juni 2026)
• Artificial Analysis: Claude Fable 5 (Modellseite, v4.3)
• Artificial Analysis: GLM-5.2 (Modellseite, v4.3)
• Hugging Face: Kimi K3 License
• Google: I/O 2026 Keynote (Gemini 3.5)
• OpenAI: Introducing the Agents API
• Google: Alphabet-Quartalszahlen Q2 2026 (22. Juli)
• n8n Community: Instance-level MCP access (18. November 2025)
• Ollama: GLM-5.3-Flash (Cloud)
• llama.cpp: Unterstützung für GLM-5.3-Flash (PR #27773, 30. September)
• Hugging Face: Apertus v1.5 70B
• Google: Gemini 4 Argon
• Hugging Face: GLM-5.2 (Z.ai)
• TechCrunch: Google releases Gemini 4 Argon
• VentureBeat: Gemini 4 Argon allgemein verfügbar (13. Oktober)
• TechCrunch: OpenAI launches GPT-6.1 Sol
• Hugging Face: Mistral Small 4
• Hugging Face: Kolibri 1 (Aleph Alpha)
• Artificial Analysis: Quasar 438B (Multiverse Computing)
• Aleph Alpha: Kolibri Has Landed
• Hugging Face: Apertus 70B (Swiss AI Initiative)
• Hugging Face: EuroLLM-22B-Instruct
• Hugging Face: ALIA-40B (BSC)
• Hugging Face: Luciole 23B (OpenLLM-France)
• Hugging Face: OpenEuroLLM
• OpenEuroLLM: Zwischenbericht (6. März 2026)
• Model Context Protocol: Spezifikation 2026-07-28
• n8n 2.35.0: Release Notes (AI Assistant für Self-Hosted, MCP 2026-07-28)
• n8n 2.41.1: Release Notes (Agents standardmäßig aktiviert)
• n8n Blog: Introducing n8n Agents
• n8n Docs: Build and manage agents (Preview)
• Ollama: Qwen3.8 27B
• LM Studio: Introducing LM Studio Bionic
• OpenClaw (GitHub)
• Hermes Agent von Nous Research (GitHub)
• OpenClaw: lokale Modelle (Dokumentation)
• Hermes Agent: Betrieb mit Ollama (Dokumentation)
• OpenAI: DevDay 2026 (Codex-Cloud-Umgebungen)
• Anthropic: Cloud-Sitzungen von Claude Code (allgemein verfügbar seit 23. September 2026)
• OpenAI: Agents API, Architektur
• Claude Code: Subagents (Dokumentation)
• Hermes Agent: Delegation an Unteragenten
• OpenClaw: Sub-Agents (Dokumentation)
• n8n: Changelog (Assistant, Agents)

Automatisierung & Agenten

• n8n-mcp (GitHub, czlonkowski)
• Ollama: ollama launch (23. Januar 2026)
• Ollama: Claude Desktop mit Ollama (25. August 2026)
• OpenAI Developers: Codex Agent Skills
• n8n: Claude-Integrationen

Hardware, Laufzeit, Software

• Ollama: MLX on Apple Silicon
• Ollama: GPU support
• Ollama: Windows
• LM Studio: System requirements
• LM Studio: Qwen 3.6
• BFL: FLUX.2 overview
• BFL: FLUX.2 [klein] fast generation guide
• BFL: FLUX 3 (23. Juli 2026)
• BFL: FLUX 3 Video (4. August 2026)
• BFL: FLUX 3 Image
• Apple Developer: Metal recommendedMaxWorkingSetSize (GPU-Anteil am Unified Memory)
• Google Developers Blog: Gemma 4 und LiteRT-LM auf dem Raspberry Pi (11. August 2026)
• NVIDIA: DGX B200
• NVIDIA: DGX H200 Datenblatt
• Ollama: Qwen3.5 (Dateigrößen)
• Ollama: Qwen3.6 35B-A3B (MLX- und llama.cpp-Paket)
• MLX: set_wired_limit (Speichergrenzen auf Apple Silicon)
• Topaz Video: Systemanforderungen
• Topaz Video: Starlight Mini
• Topaz: Video AI und Topaz Video im Vergleich
• Sentence Transformers v5.4
• ComfyUI
• Apple: Neuer Mac mini und Mac Studio erhältlich (22. September 2026)
• Hugging Face: HunyuanImage 3.0 (Tencent)
• BFL: Lizenzen für FLUX.2 [klein] und Selbstbetrieb
• LM Studio: Free for use at work
• Hugging Face Blog: FLUX.2 in Diffusers (Speicherbedarf)
• Forge Neo: unterstützte Modelle (GitHub)
• Hugging Face: Text Generation Inference (Wartungsmodus)
• AMD: Ryzen AI Max PRO 400 Series
• NVIDIA: Preisänderung DGX Spark (Februar 2026)
• Hardware Busters: DGX Spark 128 GB für 6.950 Dollar (2. Oktober 2026)
• Apple: Mac Studio, technische Daten
• Hugging Face: FLUX.2 [klein] 9B (Modellkarte)
• Hugging Face: Qwen3.8-27B, Konfiguration (KV-Rechnung)
• TrendForce: DRAM-Preise und Kapazitätsverlagerung zu Server und HBM (5. Januar 2026)
• NVIDIA Marketplace: DGX Spark (Preis, Abruf 2. Oktober 2026)
• Ollama: Release Notes (GitHub)

Rechner / Service-Links

• ApX VRAM Calculator
• CanIRun.ai