Hintergrund

Lokale KI: Diese Hardware brauchst du wirklich – vom Mini-PC bis zum Eigenbau

Kevin Hofer
16.11.2026
Bilder: Kevin Hofer

Welche Hardware braucht lokale KI, damit sie im Alltag taugt? Hiva Pouri von Asus hat mir drei Systeme gezeigt: vom Mini-PC für 1350 Franken bis zum Eigenbau mit zwei Profi-Grafikkarten.

Ich tippe «Hallo» ins Chatfenster und drücke Enter. Dann warte ich. Der Lüfter des Notebooks dreht hoch, der Arbeitsspeicher füllt sich bis zum Anschlag, das System reagiert kaum noch. Nach 52 Sekunden steht die Antwort da: «Hallo, wie kann ich dir heute helfen?»

Das lokale KI-Modell, das hier antwortet, ist das kleinste, das Hiva Pouri von Asus und ich finden konnten. Das Notebook hat einen aktuellen Core-Ultra-Prozessor, aber keine dedizierte Grafikkarte. Zum Vergleich: Das auf KI abgestimmte Eigenbau-System daneben antwortet quasi sofort – und hat dabei noch ein grösseres Sprachmodell geladen.

Lokale KI läuft fast überall – aber ob sie Spass macht, entscheidet die Hardware. Hiva zeigt mir, welche Komponenten zählen, welche überbewertet werden und was drei sehr unterschiedliche Systeme leisten. Gleich vorneweg: Bei keinem der drei Systeme kannst du Leistung wie bei den Frontier-Modellen erwarten. Hinter denen steckt aber auch das vielfache an Rechenpower. Und nicht nur das: Sie sind den lokalen Modellen vom Können her etwa ein Jahr voraus. Dennoch lohnt sich lokale KI für die im ersten Teil erwähnten Bereiche.

Dieser Artikel ist der zweite Teil einer Serie. In Teil 1 habe ich erklärt, warum sich lokale KI lohnt. Jetzt geht es um die Hardware. Die Installation unter Linux folgt in Teil 3.

Drei Zahlen entscheiden – und der Prozessor ist keine davon

Mit diesen drei Grössen ordnest du jedes Datenblatt selbst ein und weisst, worauf du achten musst. Spoiler: Die Grafikkarte ist zentral.

Video-Speicher bestimmt, welches Modell läuft

Ein Sprachmodell sollte komplett in den Speicher der Grafikeinheit passen, den VRAM. Die Faustregel aus Teil 1 gilt weiterhin: Ein auf 4 Bit komprimiertes Modell braucht rund ein halbes Gigabyte pro Milliarde Parameter. Ein 9B-Modell belegt also etwa 5,5 GB, ein 70B-Modell etwa 40 GB. Das «B» steht für Billion, also Milliarde in Englisch.

Passt das Modell nicht ganz hinein, lagert die Software den Rest in den normalen Arbeitsspeicher aus. Das funktioniert technisch, bremst das Tempo aber um ein Vielfaches, weil die CPU diese Teile aus dem deutlich langsameren Arbeitsspeicher berechnet.

Bandbreite bestimmt, wie schnell es geht

Die Speicherbandbreite beachten die wenigsten, dabei bestimmt sie das Tempo. Sie sagt, wie viele Daten pro Sekunde zwischen Speicher und Recheneinheit fliessen. Ein Modell muss für jedes einzelne Token seine Parameter durchlesen. Deshalb ist die Bandbreite der Flaschenhals. Als Token bezeichnet man die kleinste Informationseinheit, in die Text, Zahlen oder Symbole zerlegt werden, damit eine künstliche Intelligenz sie lesen und berechnen kann.

Drei Bandbreiten-Werte, der in diesem Artikel gezeigten Hardware zur Einordnung:

  • Mini-PC mit 32 GB verlötetem Speicher: 153 GB pro Sekunde Bandbreite
  • Kompaktrechner mit 128 GB Unified Memory: 273 GB pro Sekunde Bandbreite
  • AMD Radeon AI Pro R9700 mit 32 GB VRAM: 640 GB pro Sekunde Bandbreite

Ein Gerät mit viel Speicher kann langsamer antworten als eines mit wenig. Es hat zwar Platz für das grosse Modell, braucht aber länger, um es durchzulesen.

Quantisierung bestimmt, wie klug das Modell ist

Die Quantisierung habe ich in Teil 1 mit einem komprimierten Foto verglichen. Für die Hardware-Wahl heisst das: Dasselbe Modell gibt es in mehreren Kompressionsstufen, und jede Stufe kostet Speicher.

Die Berechnung des reinen Speicherbedarfs ist mathematisch einfach: Anzahl der Parameter mal Bits pro Parameter. Für das Laden und Ausführen kommen dann nochmal bis zu 1,5 GB hinzu. Ein 9B-Modell belegt in der Stufe Q4 etwa 5,5 GB, in Q6 schon 8 GB, in Q8 etwa 10 GB. Je weniger komprimiert, desto genauer antwortet das Modell – und desto mehr Platz braucht es.

Dazu kommt der Kontext, also wie viel Text sich das Modell pro Gespräch merkt. Auch er frisst VRAM, und zwar denselben. «Höherer Kontext, mehr Speicher. Mehr Bits, mehr Speicher. Alles hängt am Speicher», bringt es Hiva auf den Punkt. Wer von 128 000 auf 256 000 Tokens Kontext hochgeht, muss je nach Modell und Karte bei der Genauigkeit eine Stufe zurück Gemeint ist dabei immer der Speicher der Grafikeinheit, nicht der Arbeitsspeicher des Systems.

Speicher, Bandbreite, Quantisierung: Diese drei Grössen bestimmen, was auf deinem Rechner läuft.
Speicher, Bandbreite, Quantisierung: Diese drei Grössen bestimmen, was auf deinem Rechner läuft.
Quelle: Shutterstock / MotionPixxle Studio

Warum der Prozessor fast egal ist

Eine Antwort auf einen Prompt entsteht in zwei Phasen. Beim Prefill liest das Modell deine Eingabe ein und füllt dabei einen Zwischenspeicher zum ersten Mal, den sogenannten KV-Cache. Im Decode schreibt es die Antwort Token für Token. Ohne den KV-Cache müsste das Modell bei jedem Decode-Schritt den gesamten bisherigen Text von vorne berechnen. Der Cache «merkt» sich die Vorarbeit aus der Prefill-Phase und den vorherigen Decode-Schritten. Dadurch wird die Generierung massiv beschleunigt. Wenn von «Tokens pro Sekunde» die Rede ist, meint das praktisch immer das Decode. Alle Werte in diesem Artikel beziehen sich darauf.

Bei lokaler KI macht die GPU die Rechenarbeit, die CPU ist Dirigent, Datenlieferant und Rückfallebene. Sie lädt etwa das Modell von der SSD oder steuert die Inferenz-Engine. Diese lädt Dateien in den Grafikspeicher, zerlegt deine Eingaben, schickt die Rechenarbeit an die Grafikeinheit und verwandelt das Ergebnis in lesbaren Text zurück – dazu in Teil 3 mehr. Sobald das Modell nicht mehr in den VRAM passt, wird die CPU zum Mitrechner. Das tut sie deutlich langsamer als eine GPU. Der Flaschenhals ist jedoch nicht primär die CPU-Rechenleistung, sondern die Speicherbandbreite des RAMs. Selbst mit einem älteren Prozessor verlierst du hier pro Prompt allenfalls wenige Millisekunden bei der Zeit bis zum ersten Token.

Zwei Ausnahmen gibt es. Etwa bei Macs mit Apple Silicon, wo sich CPU und GPU denselben Speicher teilen. Es gibt kein separates VRAM, nichts muss hin- und herkopiert werden – und die Bandbreite liegt deutlich über der eines gewöhnlichen Desktop-RAMs.

Die zweite Ausnahme sind MoE-Modelle. «Mixture of Experts» heisst: Pro Token rechnet nur ein Bruchteil des Modells mit. Ein 30-Milliarden-Modell aktiviert vielleicht drei Milliarden Parameter. Die Experten-Schichten wandern in den RAM, Attention und gemeinsame Teile bleiben auf der GPU. Hier ist der Prozessor plötzlich nicht mehr egal, sondern der Grund, warum ein Modell überhaupt läuft.

AI PC, Agentic PC – was dahintersteckt

Asus teilt lokale KI-Geräte in zwei Kategorien ein. Die Einteilung hilft bei der Orientierung, ist aber kein Standard.

AI PC bezeichnet ein Gerät, das KI-Aufgaben lokal erledigt, ohne dedizierte Grafikkarte. Das können Notebooks sein oder Mini-PCs, wie die NUCs in diesem Artikel. Ihre Chips übernehmen Rauschunterdrückung in Videocalls, Bildbearbeitung oder Auswertungen eigener Dateien. In der stärkeren Ausbaustufe laufen auch vollwertige Sprachmodelle. Grosse Modelle mit langem Kontext schaffen sie jedoch aufgrund der langsameren iGPUs nicht.

Links ein NUC als Beispiel für AI PC und rechts der GX10, den Asus als Agentic PC bezeichnet.
Links ein NUC als Beispiel für AI PC und rechts der GX10, den Asus als Agentic PC bezeichnet.
Quelle: Hiva Pouri

Agentic PC bezeichnet einen Rechner, der stark genug ist für Agenten. Das sind KI-Systeme, die eine Aufgabe in Schritte zerlegen, Werkzeuge aufrufen, Ergebnisse prüfen und weiterarbeiten, statt nur eine Frage zu beantworten. Dafür braucht es ein grösseres Modell, mehr Kontext und entsprechend mehr Speicher und Bandbreite. In diesem Artikel gehören zwei sehr unterschiedliche Geräte dazu: der kompakte GX10 mit Unified Memory und der Eigenbau mit zwei Profi-Grafikkarten.

Beides sind Marketingbegriffe, keine technischen Spezifikationen. Andere Hersteller nutzen dieselben Wörter etwas anders oder haben eigene Bezeichnungen, etwa «Copilot+ PC» bei Microsoft oder «AI Workstation». Eine verbindliche Definition gibt es nicht. Auch eine Mindestleistung garantieren nicht alle diese Begriffe. Microsoft gibt zwar Minimalanforderungen an das System. Für das Label «Copilot+ PC» verlangt das Unternehmen eine Neural Processing Unit (NPU) mit mindestens 40 TOPS. Daraus lässt sich die tatsächliche Leistungsfähgikeit aber nicht lesen.

Verlass dich deshalb nicht auf das Etikett, sondern auf die drei Zahlen oben: Wie viel Speicher hat die Grafikeinheit? Wie hoch ist die Bandbreite? Und welche Quantisierung kannst du dir damit leisten?

Der AI PC: ein Mini-PC für 1350 Franken

Das kleinste System ist ein Asus NUC 16 Pro, ein Mini-PC in der Grösse eines dicken Buchs. Es gibt ihn in zwei Varianten, die sich stärker unterscheiden, als die Namen vermuten lassen. Derzeit haben wir nur die UX-Variante im Shop, die sich sowieso besser für lokale KI eignet.

Produktbild ASUS INTEL NUC 16 Pro UX9 378H (32 GB, Intel Core Ultra X9 378H)
PC
CHF1372.–

ASUS INTEL NUC 16 Pro UX9 378H

32 GB, Intel Core Ultra X9 378H

Die U-Variante hat steckbaren Arbeitsspeicher und eine schwächere integrierte Grafikeinheit. Für lokale Datenauswertung mit Python und Pandas reicht sie, für Sprachmodelle nicht: «Die U-Variante schafft kein LLM in vernünftigem Tempo», sagt Hiva. «Selbst ein 9B-Modell ist hier quälend langsam.» Wer einen Chat-Assistenten will, überspringt diese Variante. Ein Small Language Model (SLM) wäre jedoch grundsätzlich denkbar.

Die UX-Variante nutzt 32 LPDDR5X, der fest verlötet wird. Das erlaubt höhere Taktraten und damit mehr Bandbreite: 153 GB pro Sekunde. Hier läuft Qwen3.6-35B-A3B in der Stufe Q4 mit 27 bis 30 Tokens pro Sekunde. Das ist schneller als du lesen kannst.

Der Haken der UX-Variante: Der Speicher ist verlötet. Du kaufst von Anfang an, was du brauchst. Aufrüsten geht nicht, und wenn der Speicher ausfällt, ist das Gerät hinüber. Bei der U-Variante tauschst du einfach das Modul. Für Sprachmodelle ist die UX-Variante dennoch die bessere Wahl.

Typische Einsätze sind ein persönlicher Assistent mit Zugriff auf eigene Dokumente, die Auswertung von Tabellen und PDFs, kleinere Automatisierungen. Das Gerät bedient eine Person, die geduldig ist und nicht bereits nach einer Sekunde eine Antwort erwartet.

Agentic PC I: maximale Modellgrösse im Kompaktgehäuse

Der Asus GX10 basiert auf Nvidias DGX-Spark-Plattform und setzt auf Unified Memory. Prozessor und Grafikeinheit teilen sich denselben Speicher, statt Daten hin und her zu schieben.

Produktbild ASUS GX10-GG0026BN (2000 GB, 128 GB, nVidia GB10)
PC
CHF7382.08

ASUS GX10-GG0026BN

2000 GB, 128 GB, nVidia GB10

Das Gerät bringt 128 GB Speicher mit. Damit laufen Modelle, die auf einer 32-GB-Grafikkarte gar nicht starten. Im Test lief ein RadixArk/Qwen3.8-Flash-Next-NVFP4 mit 125 Milliarden Parametern in MoE-Bauweise. Möglich macht das ein kombiniertes Format: Die Experten-Schichten liegen in NVFP4 vor, einem 4-Bit-Fliesskommaformat. Die dichten Schichten wie Attention liegen in FP8.

Das Modell schafft rund 55 Tokens pro Sekunde ohne Thinking und 47 mit Thinking – fast doppelt so viel wie der Mini-PC. Möglich macht das die MoE-Bauweise: Von den 125 Milliarden Parametern rechnet pro Token nur ein kleiner Teil mit, und der GX10 hat knapp doppelt so viel Bandbreite wie der NUC. Er bringt also beides: Ein Modell, das der NUC gar nicht laden könnte, und mehr Tempo. Der Eigenbau ist trotzdem deutlich schneller.

Das lohnt sich in zwei Fällen. Erstens, wenn du die Qualität eines grossen Modells brauchst und dafür auf das Spitzentempo des Eigenbaus verzichten kannst. Zweitens im Mehrbenutzerbetrieb: Mehrere Personen, die gleichzeitig auf dasselbe Gerät zugreifen, teilen sich den Speicher – pro Person kommt der KV-Cache hinzu. Mit 32 GB geht das nicht, mit 128 GB schon.

Günstig ist das nicht. Je nach SSD-Grösse kostet der GX10 zwischen 5500 und 8500 Franken.

Agentic PC II: der Eigenbau

Das schnellste System ist ein selbstgebauter Rechner. Hiva hat ihn fast nur aus Asus-Komponenten zusammengestellt – daher nennt er ihn PBA, «Powered by Asus».

Produktbild ASUS Radeon AI PRO R9700 (32 GB, GDDR6)
Grafikkarte
CHF2209.–

ASUS Radeon AI PRO R9700

32 GB, GDDR6

Produktbild ASUS MB PROART Z890-CREATOR WIFI (Intel,LGA1851,DDR5,ATX) (LGA 1851, Intel Z890, ATX)
Mainboard
CHF409.–

ASUS MB PROART Z890-CREATOR WIFI (Intel,LGA1851,DDR5,ATX)

LGA 1851, Intel Z890, ATX

Produktbild ASUS ROG Loki SFX-L Platinum (1000 W)
PC Netzteil
CHF179.–

ASUS ROG Loki SFX-L Platinum

1000 W

Produktbild ASUS ProArt PA602 Wood Edition (ATX, DTX, mATX, Mini-DTX, Mini-ITX)
PC Gehäuse
CHF174.–

ASUS ProArt PA602 Wood Edition

ATX, DTX, mATX, Mini-DTX, Mini-ITX

Produktbild Intel Core Ultra 7 270K Plus (LGA 1851, 3.70 GHz, 24 -Core)
Prozessor
CHF285.–

Intel Core Ultra 7 270K Plus

LGA 1851, 3.70 GHz, 24 -Core

Produktbild Samsung 9100 PRO (1000 GB, M.2 2280)
SSD
CHF209.– CHF209.–/1TB

Samsung 9100 PRO

1000 GB, M.2 2280

Mit einer Grafikkarte kostet die Konfiguration rund 5000 Franken, mit zwei über 7000. Nicht ganz günstig, was auch der aktuellen Situation mit dem KI-Boom geschuldet ist.

Die Grafikkarte ist das Herzstück

Als Grafikkarte dient eine AMD Radeon AI Pro R9700 mit 32 GB VRAM und 640 GB Bandbreite pro Sekunde. Ihre Speicherbandbreite liegt bei knapp einem Drittel einer RTX 5090, kostet aber deutlich weniger. Für lokale Sprachmodelle reicht sie.

Darauf läuft Qwen3.8 27B im Format MXFP4, ebenfalls ein 4-Bit-Fliesskommaformat, mit 128 000 Tokens Kontext. Mit beiden Karten: rund 250 Tokens pro Sekunde ohne Thinking, 180 mit Thinking, erstes Token nach 0,03 Sekunden bei einem kurzen Prompt. Möglich macht das Multi-Token-Prediction: Das Modell schätzt mehrere Tokens auf einmal und prüft sie in einem Durchgang.

Eine zweite Karte verdoppelt den Speicher auf 64 GB und erhöht mit vLLM auch das Tempo, weil sich beide Karten die Rechenarbeit teilen. Auch passen grössere Modelle, längerer Kontext oder eine schwächere Komprimierung mit genaueren Antworten hinein.

Zwei Profi-Grafikkarten, 48 GB Arbeitsspeicher, solides Netzteil: der Eigenbau im Detail.
Zwei Profi-Grafikkarten, 48 GB Arbeitsspeicher, solides Netzteil: der Eigenbau im Detail.

Prozessor: Kerne vor Takt

Verbaut ist ein Intel Core Ultra 7 270K Plus mit 24 Kernen. Solange das Modell komplett in den VRAM passt, hat der Prozessor wenig zu tun: Er lädt das Modell von der SSD, zerlegt die Eingabe in Tokens und hält die Inferenz-Engine am Laufen. Prefill und Decode übernimmt die Grafikkarte.

Wichtig wird die CPU erst, wenn ein Modell nicht mehr ganz in den VRAM passt und einzelne Schichten in den Arbeitsspeicher ausweichen – oder wenn du mit einem MoE-Modell arbeitest. Dann rechnet sie mit, und dabei zählen Kernzahl und Takt wenig, entscheidend ist die RAM-Bandbreite. Eine CPU der Vorgängergeneration tut es deshalb auch. Investiere das gesparte Geld lieber in schnellen Arbeitsspeicher.

Der Prozessor ist grösstenteils im Leerlauf ist. Du musst deshalb keine 400 Franken in die Kühlung stecken. Ein solider Luftkühler genügt. Der hier gewählte ist Overkill.

Mainboard: nicht am falschen Ort sparen

Verwendet wird ein Asus ProArt Z890-Creator WiFi. Für eine einzelne Grafikkarte wäre das zu viel, für zwei ist es richtig. Das Board muss PCI Express im Modus 8+8 Lanes unterstützen, und du musst das im BIOS umstellen können. Fehlt diese Option, läuft die zweite Karte meist nur mit vier Lanes über den Chipsatz.

Achte besonders auf den primären M.2-Steckplatz. Er hängt meist direkt an den PCI-Express-Lanes des Prozessors, und davon gibt es je nach Modell nur bis zu 24. Bei manchen Boards teilt sich ein M.2-Steckplatz die Lanes mit dem zweiten Grafikkarten-Slot. Welcher, steht im Handbuch.

Netzteil: lieber eine Nummer besser

Mit einer R9700 reicht ein Netzteil mit 750 Watt. Bei zwei sollten es 1000 Watt sein, denn jede Karte zieht unter Last bis zu 300 Watt.

Ein lokales KI-System läuft oft rund um die Uhr unter Volllast. Wichtiger als die Wattzahl ist deshalb die Qualität. 80 Plus Gold sollte das Minimum sein, im Testsystem steckt ein Modell mit Platin-Zertifikat.

Arbeitsspeicher: der grosse Irrtum

Als die ersten lokalen Modelle aufkamen, hatten Grafikkarten 8 oder 16 GB VRAM. Was nicht hineinpasste, landete im Systemspeicher. Also kauften Leute 128 GB RAM.

Für den Rechner, den Hiva aufbaut, ist das unnötig. Das Modell passt vollständig in den VRAM, und damit ist der Arbeitsspeicher nur noch Ablageplatz: Er hält das Betriebssystem, die Inferenz-Engine und das Modell, während es von der SSD auf die Grafikkarte wandert. Der Rechner läuft mit 48 GB – belegt sind davon 15. Taktfrequenz und Latenzen spielen hier praktisch keine Rolle. Im System steckt ein exotisches G.Skill-Kit, aber das ist reine Liebhaberei: Jeder handelsübliche Speicher tut es genauso.

Anders sieht es aus, sobald du ein Modell fährst, das nicht mehr ganz in den VRAM passt. Dann rechnet die CPU mit, und das Tempo hängt direkt an der RAM-Bandbreite. Das gilt besonders für grosse MoE-Modelle, bei denen man die Experten gezielt in den Arbeitsspeicher auslagert. Wer das vorhat, braucht viel und schnellen RAM – und ist damit wieder beim 128-GB-Kit von damals, nur aus einem besseren Grund.

Für den Normalfall gilt: 32 bis 48 GB reichen. Mehr VRAM bringt mehr als mehr RAM.

Was nach dem Kauf kommt

Fast alle übersehen den Verschleiss. Eine Grafikkarte, die täglich stundenlang zu 90 Prozent ausgelastet läuft, altert schneller als eine, die abends ein paar Runden «Call of Duty» rendert. Wer früher Kryptowährungen geschürft hat, kennt das. Einen Gaming-PC kannst du viele Jahre nutzen – wenn du mit der Leistung zufrieden bist. Bei Dauerlast durch eine lokale KI musst du eher mit zwei bis drei Jahren rechnen, bevor etwas nachgibt.

Der Unterhalt eines KI-Rechners wird häufig unterschätzt.
Der Unterhalt eines KI-Rechners wird häufig unterschätzt.
Quelle: Shutterstock / Dikushin Dmitry

Dazu kommt der laufende Unterhalt: Treiber, Updates, neue Modelle testen, Einstellungen nachziehen. Das ist nicht anders als bei jedem anderen PC.

Welches System für wen?

Du hast schon einen Gaming-PC mit dedizierter Grafikkarte? Dann fang damit an. Ab 12 GB VRAM läuft ein 9B-Modell. Zwei Stunden lokale KI, dann wieder spielen. Das geht problemlos.

Du willst ein für die KI eigenständiges, sparsames Gerät? Dann empfehle ich den Mini-PC in der UX-Variante für rund 1350 Franken.

Du brauchst sehr grosse Modelle oder willst mehrere Personen bedienen? Dann greif zu einem Kompaktrechner mit Unified Memory und 128 GB, je nach SSD zwischen 5500 und 8500 Franken.

Du willst maximales Tempo und baust selbst? Dann greife zu einer oder zwei Profi-Grafikkarten, nimm ein solides Mainboard, mindestens 48 GB RAM und ein gutes Netzteil. Das kostet dann rund 5000 Franken mit einer Karte, über 7000 mit zweien.

Du hast einen Mac mit Apple Silicon? Der profitiert vom Unified Memory und von MLX, einem von Apple für die eigenen Chips optimierten Framework. Das läuft nur auf Apple-Hardware, dafür erstaunlich flott.

So geht es in der Serie weiter

Die Hardware steht, jetzt fehlt noch die Software. Im nächsten Teil installiere ich eine lokale KI unter Linux: Betriebssystem, Treiber, Inferenz-Engine und das passende Modell.

Wer lieber bei Windows bleibt, kommt in Teil 4 zum Zug. Dort zeige ich den bequemen Weg über LM Studio auf einem RTX-Spark-Gerät.

11 Personen gefällt dieser Artikel


User Avatar
User Avatar

Technologie und Gesellschaft faszinieren mich. Die beiden zu kombinieren und aus unterschiedlichen Blickwinkeln zu betrachten, ist meine Leidenschaft.


Computing
Folge Themen und erhalte Updates zu deinen Interessen

Hintergrund

Interessantes aus der Welt der Produkte, Blicke hinter die Kulissen von Herstellern und Portraits von interessanten Menschen.

Alle anzeigen

Weitere Beiträge aus dem Magazin

Alle anzeigen

Weitere Beiträge aus dem Magazin

4 Kommentare

Avatar
later