Lokale KI-Modelle 2026: Report zu Modellen, Benchmarks und Hardware

aktualisiert, Stand: 8. Juni 2026

Lokale KI ist im Frühjahr 2026 an einem Punkt angekommen, an dem die alte Grundsatzfrage kaum noch trägt. Es geht nicht mehr darum, ob brauchbare Modelle lokal laufen – sondern darum, welche Modellklasse für welchen Workload sinnvoll ist, wie sich offene Systeme gegenüber der proprietären Frontier einordnen und welche Hardware dafür realistisch nötig ist. Für DACH-Unternehmen kommt ein zweiter Hebel dazu: Datenhoheit. Wer sensible Dokumente, Kundendaten oder Geschäftslogik nicht über US-APIs leiten will – wegen DSGVO, Branchenvorgaben oder strategischer Eigenständigkeit – findet mit dem aktuellen Stand der offenen Modelle erstmals produktionsreife Alternativen zur reinen Cloud-KI.

Noch vor einem Jahr war lokale KI ein spürbarer Kompromiss: mehr Privatsphäre, aber weniger Qualität; mehr Kontrolle, aber deutlich mehr Bastelaufwand. Im März und April 2026 hat sich dieses Verhältnis sichtbar verschoben. Offene Modelle in der Sub-32B-Klasse sind stärker geworden, kleine Modelle produktiver, Apple-Silicon-Setups ernsthaft relevant, und die Diskussion hat sich vom reinen Chat-Modell zu Agenten, multimodaler Suche und produktionsnahen Workflows verlagert.

Was sich im März und April 2026 wirklich verändert hat

Die Dynamik der letzten Wochen lässt sich auf drei Linien verdichten.

Erstens ist die offene Sub-32B-Klasse erheblich stärker geworden. Das klarste Signal kommt aus der neuen Qwen-3.6-Generation: Das dichte Qwen3.6-27B soll laut Hersteller in mehreren wichtigen Coding-Benchmarks das vorherige offene Flaggschiff Qwen3.5-397B-A17B übertreffen. Ein 27B-Dense-Modell schlägt damit ein deutlich größeres 397B-MoE.

Das ist natürlich keine Gleichsetzung mit proprietären Frontier-Systemen, aber trotzdem ein ziemlich eindeutiger Hinweis: Modelle, die lokal oder effizient betrieben werden können, rücken in ihrer Leistungsfähigkeit spürbar näher an die Spitze heran – viel stärker, als man es noch vor einem Jahr erwarten würde.

Zweitens ist mit Gemma 4 am 2. April 2026 eine Modellfamilie erschienen, die den Markt nicht als Einheitsklasse behandelt. E2B und E4B adressieren Edge- und Mobile-Szenarien, 26B A4B die effiziente MoE-Mittelklasse, 31B Dense die dichte lokale Oberklasse. Alle vier Varianten stehen unter Apache 2.0 – kommerziell nutzbar ohne gesonderte Lizenzvereinbarung, was für DACH-Unternehmen die Einführung deutlich vereinfacht. Dieses Release ist deshalb so wichtig, weil es eine Marktbewegung sichtbar macht: Modelle werden 2026 nicht mehr nur entlang ihrer Größe, sondern entlang ihrer Zielhardware und Nutzungssituation designt.

Drittens ist das lokale Software-Ökosystem reifer geworden. Ollama hat Apple-Silicon-Workflows mit MLX sichtbar gestärkt, LM Studio ist als Desktop- und Laufzeitplattform breiter und belastbarer geworden, und mit MolmoWeb von Ai2 ist ein offener Web-Agent erschienen, der zeigt, wie stark sich die lokale Welt in Richtung Handlungssysteme verschiebt. Das ist vielleicht die eigentliche Nachricht des Frühjahrs: Lokale KI 2026 ist nicht mehr ein Modell im Terminal, sondern ein vollständiger Stack.

Über diese drei Linien hinweg hat sich die offene Oberklasse in sehr kurzer Zeit neu sortiert – im Grunde seit April. Modelle wie DeepSeek V4 (Pro und Flash), Kimi K2.6, das überraschende MiMo-V2.5-Pro von Xiaomi und zuletzt MiniMax M3 haben die Spitze im offenen Markt sichtbar verschoben. Mehrere davon erreichen im neutralen Artificial-Analysis-Index inzwischen Werte, die noch vor wenigen Monaten klar der proprietären Spitzenklasse vorbehalten waren.

Die neuen Open-Weights-Releases, die 2026 wirklich zählen

Nicht jede Neuerscheinung ist für den lokalen Alltag gleich wichtig. Einige setzen Benchmarks, andere verändern tatsächlich die Praxis.

Gemma 4 – die breiteste Staffelung des Frühjahrs

Gemma 4 ist eines der strategisch wichtigsten Open-Weights-Releases des Frühjahrs. Die Familie deckt gleich mehrere Klassen ab: Edge, effiziente lokale Mittelklasse und hochwertige Workstation-Zone. Google nennt direkte Hardware-Signale: Das 31B-Dense-Modell passt unquantisiert in BF16 auf eine einzelne 80 GB H100, quantisierte Varianten laufen lokal auf Consumer-Hardware, und E2B/E4B sind ausdrücklich für Phones, Raspberry Pi und Jetson Orin Nano gedacht. Alle Modelle sind nativ multimodal (Text, Bild, Video), die beiden Edge-Varianten zusätzlich mit nativer Audio-Eingabe. Der Kontext reicht bei den Edge-Modellen bis 128K Token, bei 26B und 31B bis 256K. Genau diese saubere Staffelung hat der offenen Welt lange gefehlt.

Besonders spannend für kleinere DACH-Unternehmen: Das 26B A4B aktiviert nur etwa 3,8 Milliarden seiner 25,2 Milliarden Parameter pro Inferenz. Die Rechenkosten liegen näher an einem 4B-Modell, während die Qualität sich dem dichten 31B-Modell annähert — ein attraktives Verhältnis für Teams, die keine Rechenzentrumskapazität haben.

Qwen3.6 – die aktuell wichtigste Leistungsachse

Qwen 3.6 löst im Oberbau die Qwen3.5-Generation ab und ist für die lokale Praxis das wichtigste Release des Frühjahrs. Zwei Open-Weights-Varianten zählen, beide unter Apache 2.0 und beide auf einer 24-GB-Consumer-GPU lauffähig:

Qwen3.6-27B (Dense, veröffentlicht am 22. April) ist nativ multimodal, bietet 262K-Kontext (über YaRN bis 1M erweiterbar) und meldet SWE-bench Verified 77,2 %, SWE-bench Pro 53,5 % und Terminal-Bench 2.0 59,3 % — Werte, die das deutlich größere Qwen3.5-397B-A17B über mehrere Coding-Benchmarks hinweg übertreffen. In 4-Bit-Quantisierung liegt das Gewicht bei rund 17 GB.

Qwen3.6-35B-A3B (MoE, veröffentlicht am 15. April) aktiviert von 35 Milliarden Parametern nur etwa 3 Milliarden pro Inferenz. Damit liefert es Rechenkosten nahe einem 3B-Modell bei der Qualität einer deutlich größeren Klasse: SWE-bench Verified 73,4 %, Terminal-Bench 2.0 51,6 %. Community-Messungen nennen rund 100 tok/s auf einer RTX 3090 in Q4; mit RAM-Offload läuft es bereits auf 16 GB VRAM.

Wichtig für die Einordnung: Die stärksten Qwen-Modelle der Cloud (Qwen3.6-Max-Preview, Qwen3.7 Max/Plus) sind closed-weights und lokal nicht verfügbar. Für den lokalen Einsatz zählen also die beiden offenen Varianten oben. Die kompakte und mittlere Tagesarbeit deckt — bis Qwen entsprechende kleine 3.6-Open-Weights nachlegt — weiterhin sehr gut die Qwen3.5 4B/9B-Klasse ab.

DeepSeek V4 – zurück an der offenen Spitze

DeepSeek V4 ist das offene Comeback des Frühjahrs. Am 24. April erschien DeepSeeks erste neue Architektur seit V3, und gleich als zweistufige Familie. DeepSeek V4 Pro (1,6 Billionen Gesamt- / 49 Milliarden aktive Parameter, 1M-Kontext, MIT-Lizenz) ist mit einem Artificial-Analysis-Intelligence-Index von 52 nach Kimi K2.6 das zweitstärkste offene Modell und liegt im Coding ganz vorne (rund 80 % auf SWE-bench Verified). DeepSeek V4 Flash (284 Milliarden Gesamt- / 13 Milliarden aktive Parameter, 1M-Kontext, MIT) ist für schnellere, günstigere Inferenz positioniert und mit nur 13 Milliarden aktiven Parametern die für ernsthafte On-Prem-Setups eigentlich interessantere Variante. Beide sind Hybrid-Modelle (Thinking/Non-Thinking). Die permissive MIT-Lizenz macht V4 für DACH-Unternehmen, die On-Premises ernst meinen, besonders attraktiv.

Wichtige Einschränkung: Artificial Analysis misst für V4 Pro und V4 Flash eine sehr hohe Halluzinationsrate von 94 bzw. 96 Prozent – wenn das Modell eine Antwort nicht kennt, antwortet es fast immer trotzdem. Für faktenkritische DACH-Workflows (Recht, Steuer, Medizin, Verwaltung) daher nur mit striktem RAG-Grounding und Verifikationsschicht einsetzen, nicht als freistehendes Wissensmodell.

Kimi K2.6, MiMo-V2.5-Pro und MiniMax M3 – die neue offene Oberklasse

Zwei weitere Releases haben die Spitze des offenen Marktes geprägt. Kimi K2.6 (Moonshot) löst Kimi K2.5 ab und führt mit einem AA-Intelligence-Index von 54 die offenen Modelle an. Das Modell ist als Open-Weights-Modell unter Modified-MIT-Lizenz verfügbar, gehört mit rund 1T Gesamtparametern und 32B aktiven Parametern aber klar in die Server-/Lab-Klasse.

MiMo-V2.5-Pro (Xiaomi) ist der Überraschungseinstieg: ein MoE mit rund 1,02 Billionen Gesamt- und etwa 42 Milliarden aktiven Parametern, 1M-Kontext und MIT-Lizenz. Auch dieses Modell ist beeindruckend, aber lokal nur mit ernsthafter Server-Hardware sinnvoll zu betreiben.

MiniMax M3 sollte zum Redaktionsschluss noch nicht als gesicherte lokale Open-Weights-Option eingeordnet werden. MiniMax bewirbt M3 mit 1M-Kontext, nativer Multimodalität und 59,0 % auf SWE-Bench Pro; lokale Gewichte, finale Lizenzbedingungen und unabhängige Reproduzierbarkeit waren jedoch noch nicht abschließend verifizierbar. Deshalb gehört M3 vorerst eher auf die Watchlist als in die Liste gesicherter On-Prem-Modelle.

MolmoWeb – der Markt bewegt sich Richtung Agenten

MolmoWeb ist kein generisches Chatmodell, sondern ein offener visueller Web-Agent. Für Teams, die sichere Browser-Automation, interne Web-Workflows, QA oder agentische Recherche lokal und selbst gehostet denken, ist das eine der spannendsten Veröffentlichungen des Frühjahrs. Gerade in regulierten DACH-Branchen ist ein lokaler Web-Agent attraktiv, weil er sensible Interaktionen nicht über fremde API-Schichten leitet.

📌 Praxisbeispiel DACH: Wo Qwen3.5 9B reicht

Ein 15-köpfiges Steuerbüro setzt Qwen3.5 9B auf einem Mac mini M4 Pro mit 48 GB Unified Memory ein, um eingehende Mandantendokumente (PDF, E-Mail, Scans) automatisch zu klassifizieren und zu Stichworten zusammenzufassen. Keine Daten verlassen das Haus, keine API-Kosten, keine DSGVO-Diskussion mit dem Datenschutzbeauftragten. Der gesamte Setup-Aufwand: rund zwei Tage Konfiguration mit Ollama und einem einfachen n8n-Flow für die Eingangsverteilung.

Die ehrliche Einordnung: Für 70–80 % der KMU-Workloads im DACH-Raum -Dokumentensortierung, E-Mail-Zusammenfassung, interne Q&A, einfaches RAG auf eigene Handbücher – reicht ein Modell der Sub-10B-Klasse auf einem gut ausgestatteten Notebook oder Mac mini. Alles darüber ist in der Regel Over-Engineering, bis der konkrete Workload es erzwingt.

FLUX.2 (klein) – Bild-KI mit Hardwaretransparenz

Im Bildbereich ist FLUX.2 [klein] besonders relevant, weil Black Forest Labs nicht nur Qualität, sondern auch brauchbare Hardwaretransparenz liefert. Die kleinere 4B-Variante läuft unter Apache 2.0 und ist kommerziell nutzbar. Die 9B-Variante ist für die lokale Nutzung nicht-kommerziell vorgesehen — für kommerzielle Workloads führt BFL über die API. Inzwischen hat BFL die Familie nach oben mit FLUX.2 [max] ergänzt, das in der Bildqualität an die proprietäre Spitze heranrückt, dort aber wieder API-gebunden ist.

Auf der offenen Seite ist Qwen-Image-2.0 der wichtigste Bewegungspunkt (schlankes 7B-Modell, native 2K-Auflösung, herausragendes Text-Rendering); hier war die lokale Gewichtsverfügbarkeit zum Redaktionsschluss allerdings noch nicht abschließend bestätigt. Diese Unterscheidungen sind für deutsche und österreichische Agenturen wichtig, bevor Produktivkosten entstehen.

Frontier-Referenzen: Daran misst sich die offene lokale Welt

Eine vollständige Einordnung lokaler KI kommt an der proprietären Frontier nicht vorbei. Diese Modelle gehören zwar nicht zur Open-Weights-Kategorie, setzen aber den Referenzrahmen, an dem sich die offene Entwicklung 2026 faktisch ausrichtet.

Die Chronologie des Frühjahrs zeigt eine ungewöhnlich hohe Taktung: Claude Opus 4.6 erschien am 5. Februar 2026, gefolgt von Claude Sonnet 4.6 am 17. Februar. GPT-5.4 folgte am 5. März, Gemini 3.1 Flash Live am 26. März. Im April ging es weiter mit Claude Opus 4.7 (16. April) und GPT-5.5 (23. April), bevor im Mai Gemini 3.5 Flash (19. Mai) und Claude Opus 4.8 (28. Mai) nachzogen.

Im neutralen Artificial-Analysis-Intelligence-Index (v4.0) liegt aktuell Claude Opus 4.8 mit rund 61 Punkten vorn, dicht gefolgt von GPT-5.5 (xhigh) mit 60 und Gemini 3.1 Pro bei etwa 57. Die offene Spitze – etwa Kimi K2.6, MiMo-V2.5-Pro mit 54 und DeepSeek V4 Pro mit 52 – rückt damit spürbar näher an diese Werte heran. Der Abstand zwischen offener und proprietärer Welt ist damit 2026 so gering wie nie zuvor.

GPT-5.5 – Referenz für Wissensarbeit und Computer Use

GPT-5.5 (intern „Spud“) hat im April GPT-5.4 abgelöst und ist die klarste Referenz für produktionsnahe Wissensarbeit und Computer Use. OpenAI nennt unter anderem Terminal-Bench 2.0 82,7 %, GDPval 84,9 %, OSWorld-Verified 78,7 % und SWE-Bench Pro 58,6 %. Das Modell bietet ein 1M-Token-Kontextfenster und liegt preislich bei $5 Input / $30 Output pro Million Token; der Wissensstand reicht bis Dezember 2025. Wichtiger als die Einzelzahlen ist die Richtung: GPT-5.5 wird als Modell für Tool-Nutzung, Softwareumgebungen, Dokumente, Spreadsheets und Computer Use positioniert. Genau an dieser Fähigkeitsmischung müssen sich offene lokale Modelle heute messen lassen.

Claude Opus 4.8 – aktuelle Referenz für Agenten und Coding

Claude Opus 4.8 ist seit Ende Mai die aktuelle Spitze von Anthropic und ein moderater, aber spürbarer Schritt über Opus 4.7 hinaus. Anthropic hebt vor allem Zuverlässigkeit und „Ehrlichkeit“ hervor: Das Modell flaggt Unsicherheiten proaktiver und ist nach eigenen Evals rund viermal seltener dabei, eigene Code-Fehler unkommentiert durchzulassen. Auf SWE-Bench Pro nennt Anthropic 69,2 %. Praktisch relevant: Der Fast-Modus läuft mit 2,5-facher Geschwindigkeit, der Preis bleibt mit $5 Input / $25 Output pro Million Token gegenüber dem Vorgänger stabil. Neu sind außerdem die Effort-Stufen (extra/max) und „Dynamic Workflows“ in Claude Code, mit denen sehr große, mehrstufige Aufgaben über viele parallele Sub-Agenten laufen. Für lokale KI ist die Richtung interessant: längere autonome Läufe, robuste Tool-Nutzung, verlässlichere Selbstprüfung.

Gemini 3.1 Pro, Flash Live und 3.5 Flash – Voice, Realtime und Effizienz

Google setzt mit der Gemini 3-Serie einen breiteren Referenzrahmen. Gemini 3.1 Pro wird als Modell für komplexe Problemlösung positioniert und erreicht laut Google 77,1 % auf ARC-AGI-2. Gemini 3.1 Flash Live verschiebt die Frontier in Richtung Audio, Realtime-Interaktion und Voice Agents; im Mai folgten die generelle Verfügbarkeit von Gemini 3.1 Flash-Lite (sehr günstig, sehr schnell) und das neue Gemini 3.5 Flash.

Die Bedeutung für die lokale Welt ist klar: Die Zielgröße 2026 ist nicht mehr nur Textreasoning, sondern ein System aus Text, Audio, Vision, Tool-Nutzung und niedriger Latenz.

Was Nutzer damit konkret machen

Die wichtigste praktische Frage lautet nicht, welches Modell „insgesamt am besten“ ist, sondern welches Modell für welchen Workload die beste Wahl darstellt.

Private Wissensarbeit und lokale Alltagsassistenz

Für Recherche, Zusammenfassungen, Notizen, Dokumentenarbeit und persönliche Offline-Assistenten sind Qwen3.5 4B, Qwen3.5 9B und Gemma 4 E4B derzeit besonders attraktiv. Diese Klasse liefert genug Qualität für reale Arbeit, ohne dass eine High-End-Workstation nötig wäre. Für DACH-Anwender mit DSGVO-Sensibilität ist das oft der direkteste Einstieg in produktive lokale KI.

Coding und technische Wissensarbeit

Sobald längere Kontexte, Codebasen, Tool-Integration, Agentenketten oder strukturierte technische Aufgaben ins Spiel kommen, verschiebt sich die sinnvolle Zone nach oben. Qwen3.6-27B, Qwen3.6-35B-A3B, Gemma 4 31B und Gemma 4 26B A4B sind hier die relevantesten offenen Klassen für lokal erreichbare Hardware. Wer ein IT-Team und Server-Hardware hat, findet in DeepSeek V4 Flash, GLM-5.1 und – am oberen Ende – DeepSeek V4 Pro, Kimi K2.6 oder MiMo-V2.5-Pro die stärksten offenen Optionen. Der Mehrwert liegt nicht nur in besseren Einzelergebnissen, sondern auch in längerer Stabilität, saubererem Verhalten bei mehrstufigen Aufgaben und besserer Tool-Nutzung.

RAG und multimodale Suche

Für interne Wissenssysteme, PDFs, Screenshots, Produktbilder oder technische Dokumente ist nicht das Chatmodell allein der Hebel. Embeddings und Retrieval-Stacks sind oft wichtiger. Genau deshalb ist die aktuelle Bewegung zu multimodalen Embeddings so relevant —-die Suche passt sich der Realität der Daten an, statt alles erst in Textform übersetzen zu müssen.

Bildgenerierung und Bildbearbeitung

In produktiven Bildpipelines zählt 2026 nicht nur rohe Text-to-Image-Qualität, sondern Bearbeitbarkeit, Konsistenz, Steuerbarkeit und lokale Einbettung. FLUX-2-dev, Qwen-Image, Qwen-Image-Edit und FLUX-2-klein sind deshalb besonders interessant; bei Qwen-Image-2.0 lohnt vor dem produktiven Einsatz der Blick auf die lokale Gewichtsverfügbarkeit.

Video-Enhancement und diffusionsbasierte Videoverbesserung

Video bleibt die teuerste lokale KI-Disziplin. Klassische Videoverbesserung ist heute lokal gut machbar. Sobald aber diffusionsbasierte Workflows wie Starlight Mini ins Spiel kommen, steigt der Ressourcenbedarf spürbar. Das ist kein Alltagsthema für kleine Systeme, sondern klar ein Workstation-Workload.

Benchmark-Vergleich

Die aktuelle Lage lässt sich sinnvoll in eine offene Oberklasse und einen lokalen Sweet Spot unterteilen. Ein methodischer Hinweis vorweg: Chatbot-Arena-Elo-Werte werden in diesem Artikel bewusst nicht mit dem Artificial-Analysis-Intelligence-Index vermischt. Das sind unterschiedliche Messungen – Arena ist menschliches Präferenz-Voting, der AA-Index eine gewichtete Benchmark-Suite aus zehn standardisierten Evals (v4.0).

Offene Oberklasse (Artificial Analysis Intelligence Index v4.0)

Modell	AA-Intelligence-Index	Einordnung
Kimi K2.6 (Reasoning)	54	derzeit höchster Open-Weights-Score, Server-/Lab-Klasse
MiMo-V2.5-Pro (Xiaomi)	54	~1T total / ~42B aktiv, MIT, Server-/Lab-Klasse
DeepSeek V4 Pro	52	Coding-Spitze (~80 % SWE-bench Verified), MIT, 1.6T/49B aktiv
Qwen3.6-Max-Preview	52	stark, aber closed – nicht lokal verfügbar
GLM-5.1 (Reasoning)	51	sauberste Lizenz (MIT), 40B aktiv, 200K Kontext
GLM-5 (Reasoning)	50	sehr stark, aber nicht typisch lokal einsetzbar

Lokal relevanter Sweet Spot

Modell	Intelligence / Benchmark	Durchsatz	Marktlesart
Qwen3.6-27B (Dense)	SWE-bench Verified 77.2 %	—	maximale Coding-Qualität in lokal erreichbarer Klasse
Qwen3.6-35B-A3B (MoE, 3B aktiv)	SWE-bench Verified 73.4 %	~100 tok/s (RTX 3090, Q4)	effizienter MoE-Sweet-Spot, läuft ab 16–24 GB
Gemma 4 31B (Reasoning)	ca. 39*	35.8 tok/s, TTFT 1.69 s	etwas schwächer, aber sehr reaktiv
Gemma 4 26B A4B	ca. 31*	—	3.8B aktive Parameter, Effizienz-Fokus
Qwen3.5 9B (Reasoning)	32	131.3 tok/s	starke Midrange-/Daily-Driver-Klasse
Qwen3.5 4B (Reasoning)	27	218.3 tok/s	sehr stark für kompakte Systeme
Gemma 4 E4B	19	n/a	wichtige Edge- und Mobile-Zone

Die Gemma-4-Werte sind vorläufig. Für Qwen 3.6 lagen zum Redaktionsschluss noch keine offiziellen Werte im AA-Intelligence-Index vor, deshalb werden hier die zuverlässigsten verfügbaren Coding-Benchmarks auf Basis der Herstellerangaben verwendet. Alle Zahlen sind als Momentaufnahme zu verstehen, nicht als feste Einordnung – der offene Markt verschiebt sich 2026 spürbar schnell, teilweise schon innerhalb weniger Wochen.

Hardware: Welche Leistung zu welcher Modellkategorie passt

Welche Hardwareklasse passt zu welcher Modellkategorie? Die folgenden Empfehlungen basieren auf Herstellerangaben, Artificial-Analysis-Daten und Community-Benchmarks.

Ein wichtiger Hinweis vorab: Der KV-Cache kostet echten VRAM. Die unten genannten Speicherangaben decken das reine Modell-Gewicht ab. Jede laufende Konversation – besonders mit langem Kontext (RAG auf große Dokumente, Agentenketten, Codebasen) – produziert zusätzlich einen Key-Value-Cache im GPU-Speicher. Faustregel: Für 32K Kontext rechne 1–2 GB extra ein, für 64K eher 2–4 GB, für 128K+ schnell 5 GB+. Plane also mindestens 15–25 % Headroom über der reinen Modellgröße ein, sonst friert die Inferenz bei langen Sessions ein oder fällt auf SSD-Offloading zurück (und wird dadurch sehr langsam).

Edge- und On-Device-Klasse

Typische Modelle: Gemma 4 E2B, Gemma 4 E4B, Qwen3.5 2B, Qwen3.5 4B

Geeignet für: Offline-Assistenten, leichte RAG-Setups, Edge-Anwendungen, eingebettete Workflows (IoT, Kiosk, Retail)

Sinnvolle Hardware

• RAM / Unified Memory: 16 GB Einstieg, 24 GB angenehm
• VRAM: meist nicht zwingend
• CPU / SoC: Apple Silicon, Snapdragon X Elite, moderne x64-CPUs mit AVX-512 oder AVX-VNNI (ab Intel 12th-gen / AMD Zen 4)
• Software: LM Studio, Ollama, Edge-Runtimes von Google

Daily-Driver-Klasse für Notebooks und Mini-PCs

Typische Modelle: Qwen3.5 4B, Qwen3.5 9B, Gemma 4 E4B

Geeignet für: tägliche Wissensarbeit, Dokumentenarbeit, persönliche Automatisierungen, kleine Coding-Hilfe

Sinnvolle Hardware

• RAM / Unified Memory: 24–32 GB
• VRAM: 8 GB reichen für Qwen3.5 9B in Q4/Q5-Quantisierung. Wer Q8 fahren will, sollte 12 GB`einplanen.
• CPU: moderner 8-Kern-Prozessor oder Apple M2/M3/M4

Software: LM Studio, Ollama

Diese Klasse dürfte 2026 für die meisten DACH-Anwender – Freelancer, kleine Agenturen, IT-Abteilungen in KMU – die eigentliche Realität lokaler KI sein.

MoE-Sweet-Spot

Typische Modelle: Gemma 4 26B A4B, Qwen3.6-35B-A3B

Geeignet für: ernsthafte lokale Wissensarbeit, Coding, Agenten und RA, aber mit deutlich geringerem Hardware-Bedarf als das 31B-Dense-Modell, dank Mixture-of-Experts-Architektur

Sinnvolle Hardware

• RAM / Unified Memory: 32 GB
• VRAM: 16 GB reichen für Q4 mit komfortablem Kontext (Qwen3.6-35B-A3B mit RAM-Offload bereits ab 16 GB, komfortabel ab 24 GB) – eine RTX 4080, RTX 5060 Ti oder RTX 3090/4090 genügt
• CPU: moderner 8-Kern+

Software: Ollama, LM Studio

Das Gemma 4 26B A4B ist für DACH-KMU oft die intelligentere Wahl als ein Dense-Modell: fast gleiche Qualität bei halbem Hardware-Budget, weil nur 3,8 Milliarden der 25,2 Milliarden Parameter pro Inferenz aktiv sind. Dasselbe Prinzip macht Qwen3.6-35B-A3B mit nur 3 Milliarden aktiven Parametern zu einem der effizientesten lokalen Coder des Jahres.

Pro-Desktop- und Workstation-Klasse

Typische Modelle: Qwen3.6-27B, Gemma 4 31B

Geeignet für: Coding, Agenten, große Kontexte, multimodale Analyse, ernsthafte lokale Wissensarbeit, interne RAG-Systeme

Sinnvolle Hardware

• RAM / Unified Memory: 48–64 GB
• VRAM: 24 GB ist das absolute Minimum für Q4-Quantisierung mit kurzem Kontext (≤16K Tokens). Qwen3.6-27B liegt in Q4 bei rund 17 GB Gewicht; wer längeren Kontext (32K+) oder Q8 nutzen will, sollte 32 GB+ einplanen.
• CPU: 12+ Kerne oder Apple Silicon Max/Ultra

Software: Ollama, LM Studio, lokale API-Server

Diese Zone ist aktuell der eigentliche Premium-Sweet-Spot für lokale KI – für Teams, die On-Premises-KI als echte Alternative zu Cloud-APIs aufbauen wollen.

Apple-Silicon-Profi-Setups

Typische Modelle: Qwen3.6-35B-A3B, Gemma 4 26B/31B quantisiert

Geeignet für: hochwertige lokale LLM-Nutzung auf macOS, Coding-Agenten, leise kompakte Entwicklersysteme

Sinnvolle Hardware

• Unified Memory: mindestens >32 GB, besser 48–64 GB
• CPU / SoC: M4 Pro, M4 Max, M5, M5 Pro, M5 Max

Software: Ollama MLX, LM Studio

Für die MoE-Modelle der A3B-Klasse auf Apple Silicon empfiehlt sich ein Mac mit mehr als 32 GB Unified Memory; die Modelle laufen über die MLX-Backends von Ollama und LM Studio nativ.

Server- und Lab-Klasse

Typische Modelle: Kimi K2.6, MiMo-V2.5-Pro, DeepSeek V4 Pro, MiniMax M3, GLM-5.1, Qwen3.5-397B-A17B

Geeignet für: Team-Serving, interne Modellplattformen, On-Prem-Sicherheit, große Modellpools – also typischerweise Umgebungen mit einem IT-Team dahinter

Sinnvolle Hardware

• RAM: 128 GB+
• VRAM: 80 GB-Klasse oder Multi-GPU
• CPU: Server-CPU mit vielen PCIe-Lanes
• SSD: 1 TB NVMe oder mehr

Software: vLLM, SGLang oder TGI (Text Generation Inference) als Serving-Layer; Ollama mit eigenem API-Gateway für kleinere Teams; LM Studio mit Business-Lizenz für Desktop-Workflows

Hinweis: Mit DeepSeek V4 Flash (13 Milliarden aktive Parameter) und GLM-5.1 (40 Milliarden aktiv, MIT) gibt es in dieser Klasse inzwischen Optionen, die auf kleineren Footprints deutlich günstiger laufen als die ganz großen MoE-Flaggschiffe.

Hardware für Bildmodelle

Im Bildbereich ist die Begriffswahl wichtig. Nicht jede Modellfamilie läuft unter einer vollständig freien Open-Source-Lizenz. Für die kommerzielle Nutzung in DACH-Unternehmen ist deshalb die präzisere Formulierung **offen verfügbare oder community-gelistete Modelle sinnvoller als pauschales Open Source – die Lizenzprüfung lohnt sich vor jedem produktiven Einsatz.

FLUX.2 [klein]

Geeignet für: schnelle lokale Bildgenerierung, interaktive Edit-Workflows, produktive Kreativpipelines

Sinnvolle Hardware

• FLUX.2 [klein] 4B: ca. ~13 GB VRAM
• FLUX.2 [klein] 9B: ca. ~24 GB VRAM
• RAM: 32 GB
• CPU: moderner 8-Kern+

Software: ComfyUI, Forge, AUTOMATIC1111

Wichtig für die Einordnung:

FLUX.2 [klein] 4B ist lokal unter Apache 2.0 nutzbar – also auch kommerziell

FLUX.2 [klein] 9B ist lokal für non-commercial use gedacht; kommerzielle Nutzung läuft laut BFL über die API

Bild-Oberklasse

Typische Modelle: Hunyuan Image 3.0, FLUX-2-dev, Qwen-Image, Qwen-Image-Edit

Sinnvolle Hardware

• RAM ab 32 GB
• VRAM 16 bis 24 GB je nach Modell, Workflow
• CPU moderner Desktop-Prozessor

Software ComfyUI, Forge, AUTOMATIC1111

Hier gilt besonders: Das Modell mit dem höchsten Arena-Score ist nicht automatisch die sinnvollste Wahl für eine lokale Produktionspipeline.

Hardware für lokale Video-KI

Video lässt sich 2026 sauber in zwei Klassen einteilen.

Video-Enhancement-Klasse

Typische Workloads Upscaling, Denoising, Schärfung, klassische Restaurierung

Sinnvolle Hardware

• RAM ab 32 GB
• GPU NVIDIA RTX 30-Serie aufwärts oder AMD Radeon 5000-Serie aufwärts
• VRAM ab 8 GB
• CPU Intel oder AMD mit AVX, ideal ab Baujahr 2020

Software Topaz Video AI

Das ist die allgemeine Video-Enhancement-Klasse, nicht die schwerste Form der Video-Diffusion.

Starlight-Klasse (diffusionsbasierte Videoverbesserung)

Typische Workloads diffusionsbasierte hochwertige Videoverbesserung, schwere Restaurierung

Sinnvolle Hardware

• Windows oder NVIDIA mindestens 10 GB VRAM, besser 16 GB
• Windows oder AMD 20 GB VRAM empfohlen
• Mac mindestens 36 GB RAM
• RAM allgemein ab 32 GB
• CPU Intel oder AMD mit AVX, ideal ab Baujahr 2020
• SSD schnelle interne SSD

Das ist der Bereich, in dem lokale Video-KI klar Richtung High-End-Workstation kippt.

Zwei hilfreiche Rechner für die Praxis

ApX VRAM Calculator https://apxml.com/tools/vram-calculator praktisch für grobe Modellierung von Quantisierung, KV-Cache, Kontextlänge, Batch-Größe, Offloading

CanIRun.ai https://www.canirun.ai/device/m5-max?use=vision&license=commercial nützlicher Gegencheck, welche Modellklassen auf vorhandener Hardware realistisch laufen

Beide Tools eignen sich gut als Service-Links, sollten aber nicht die wichtigste Grundlage der Marktanalyse sein.

Fazit: Lokale KI ist 2026 planbar geworden

Der lokale KI-Markt ist im Frühjahr 2026 vor allem deshalb spannend, weil er sich endlich sauberer lesen lässt. Vor einem Jahr war vieles ein unscharfer Mix aus Hoffnungen, Community-Benchmarks und Einzelfall-Hardware. Heute lässt sich die Landschaft in vier klare Klassen gliedern: Edge- und Daily-Driver-Zone, produktive Midrange, Premium-Workstations und darüber die On-Prem-Server-Klasse.

Gemma 4 E2B/E4B und Qwen3.5 4B/9B machen lokale Alltags-KI produktiv. Qwen3.6-27B, Qwen3.6-35B-A3B und Gemma 4 26B/31B definieren die neue lokal erreichbare Oberklasse für starke Notebooks und Workstations. Darüber, in der Server- und Lab-Klasse, hat sich der offene Markt mit DeepSeek V4, Kimi K2.6, MiMo-V2.5-Pro, MiniMax M3 und GLM-5.1 nahe an die proprietäre Frontier herangeschoben. Und die Frontier selbst – GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro und 3.5 Flash -zeigt, wohin sich die Messlatte verschiebt: weg vom bloßen Chat, hin zu Agenten, Computer Use, multimodaler Arbeit und echter Produktionszuverlässigkeit.

Für Unternehmen im DACH-Raum kommt ein strategischer Vorteil dazu: Die offenen Modelle stehen inzwischen meist unter Apache 2.0, MIT oder vergleichbar kommerziell nutzbaren Lizenzen. Das macht eine echte On-Premises-Strategie möglich nicht als Notlösung, sondern als produktive Architektur, die sensible Daten im Haus behält und gleichzeitig mit dem Weltmarkt Schritt hält.

Wer heute lokal plant, sollte deshalb nicht mit der Frage beginnen, welches Modell in irgendeiner Rangliste zwei Punkte mehr erreicht. Die sinnvollere Reihenfolge lautet: Welcher Workload, welche Datenhoheit, welche Hardware, und dann das passende Modell.

Häufige Fragen (FAQ)

Welches lokale KI-Modell ist 2026 das beste für KMU in Deutschland? Für die meisten kleinen und mittelständischen Unternehmen reicht Qwen3.5 9B oder Gemma 4 E4B auf einem gut ausgestatteten Notebook oder Mac mini. Wer ernsthaft codet oder mit Agenten arbeitet, fährt mit Qwen3.6-35B-A3B oder Qwen3.6-27B auf einer 24-GB-Maschine. Diese Klassen decken Dokumentenarbeit, Zusammenfassungen, E-Mail-Triage und einfaches RAG zuverlässig ab -ohne Rechenzentrumskosten.

Welche Hardware brauche ich für Qwen3.6 27B lokal? Realistisch: 48–64 GB RAM, eine GPU mit mindestens 24 GB VRAM (Q4 belegt rund 17 GB Gewicht) oder ein Apple-Silicon-System mit 48 GB+ Unified Memory, 200 GB NVMe-SSD. Für längeren Kontext oder Q8 sollte man 32 GB+ VRAM einplanen.

Ist Gemma 4 kommerziell nutzbar? Ja — alle vier Gemma-4-Varianten (E2B, E4B, 26B A4B, 31B Dense) stehen unter Apache-2.0-Lizenz und sind damit uneingeschränkt kommerziell einsetzbar. Auch Qwen 3.6 (27B und 35B-A3B) steht unter Apache 2.0.

Welcher Unterschied besteht zwischen dem AA Intelligence Index und Chatbot Arena? Der Artificial Analysis Intelligence Index (v4.0) ist eine gewichtete Suite aus zehn standardisierten Benchmarks (u. a. GPQA Diamond, SciCode, Humanity’s Last Exam, Terminal-Bench Hard). Chatbot Arena misst menschliche Präferenz in Blindvergleichen. Beide sind aussagekräftig, aber nicht direkt vergleichbar.

Lohnt sich ein eigener lokaler KI-Server für ein 10-Personen-Unternehmen? Meist nein. Ein starker Workstation-Rechner oder ein Mac Studio deckt die typischen Workloads ab. Ein dedizierter Server lohnt sich erst, wenn mehrere Teams parallel zugreifen oder kontinuierliche Agentenläufe im Hintergrund nötig sind.

Kann ich Claude Opus 4.8 oder GPT-5.5 lokal betreiben? Nein. Beide sind reine Cloud-Modelle und nur über APIs verfügbar (z. B. über Anthropic, AWS Bedrock, Azure oder OpenAI).

Zwar gibt es teilweise Desktop- oder App-Zugänge, aber das ist nur eine Oberfläche für den Cloud-Dienst – das Modell selbst läuft dabei weiterhin auf entfernten Servern und nicht auf dem eigenen Rechner.

Wer etwas Ähnliches lokal umsetzen will, landet bei Modellen wie Qwen3.6-27B oder Gemma 4 31B. Mit entsprechender Server-Hardware kommen auch Systeme wie DeepSeek V4 Flash oder GLM-5.1 näher an die Leistungsklasse der Frontier heran, bleiben aber strukturell in einem anderen Betriebsmodell als echte proprietäre Cloud-Modelle.

Quellen

Trends, Modelle, Benchmarks

• Artificial Analysis: Modelle & Intelligence Index
• Artificial Analysis: DeepSeek V4 Pro & Flash
• Qwen3.6 (GitHub)
• Artificial Analysis: Gemma 4
• Google: Gemma 4
• Google: Gemini 3.1 Pro
• Google: Gemini 3.1 Flash-Lite (GA)
• Ai2: MolmoWeb
• OpenAI: GPT-5.5
• Anthropic: Claude Opus 4.8

Hardware, Laufzeit, Software

• Ollama: MLX on Apple Silicon
• Ollama: GPU support
• Ollama: Windows
• LM Studio: System requirements
• LM Studio: Qwen 3.6
• BFL: FLUX.2 overview
• BFL: FLUX.2 [klein] fast generation guide
• Topaz Video AI: System requirements
• Topaz Video AI: Starlight Mini
• Sentence Transformers v5.4
• ComfyUI
• Forge
• AUTOMATIC1111

Rechner / Service-Links

• ApX VRAM Calculator
• CanIRun.ai