Lokales Sprachmodell im Betrieb: was es kann, was es braucht, wo die Grenzen sind
Ein lokales Sprachmodell läuft auf einem Rechner, den Sie kontrollieren. Daten verlassen das Haus nicht. Für viele Büroaufgaben reicht es, für manche nicht.
VON CHRISTIAN STEPHANIDES, GESCHÄFTSFÜHRER · STAND 07.10.2026
Was „lokal“ heißt
Ein Sprachmodell ist das Programm, das Texte versteht und schreibt. Lokal betrieben läuft es auf Ihrem eigenen Server oder auf einem Server, den Ihr Dienstleister für Sie betreibt, statt bei einem großen Cloud-Anbieter. Dafür gibt es offene Modelle, deren Gewichte frei verfügbar sind, etwa Llama, Qwen, Mistral oder Gemma.
Drei Stufen: Nachschlagen, Spezialisieren, eigenes Modell
Wofür es reicht und wofür nicht
Offene Modelle sind kleiner als die größten Cloud-Modelle. Für Zusammenfassen, Einordnen, Entwürfe, Suchen in eigenen Unterlagen und viele Büroabläufe reichen sie gut. Bei sehr langen, verschachtelten Aufgaben oder anspruchsvollem Schlussfolgern sind die größten Cloud-Modelle meist stärker. Ein gutes KI-System kann je Aufgabe das passende Modell wählen und heikle Daten trotzdem im Haus halten.
Was es braucht
- Hardware: Je größer das Modell und je mehr Nutzer gleichzeitig, desto mehr Grafikspeicher. Kleinere Modelle laufen auf einer einzelnen Grafikkarte, größere brauchen mehr.
- Daten: geordnete Dokumente und klare Zugriffsrechte, damit jeder nur sieht, was er sehen darf.
- Betrieb: Updates, Sicherung und Überwachung wie bei jedem anderen Server.
Und die DSGVO?
Lokaler Betrieb löst die Frage der Übermittlung an Dritte. Zweck, Zugriffsrechte, Speicherdauer und Löschung müssen trotzdem geregelt sein. Lokal heißt sicherer, nicht automatisch erledigt.
Passt das zu Ihrem Betrieb?
Im Erstgespräch klären wir es für Ihre Abläufe, persönlich in Wien oder per Bildschirm.