Team IT & KI · KI & Automatisierung

Lokaler KI-Server für Unternehmen

Kurz gesagt

Ein lokaler KI-Server ist ein Rechner mit leistungsfähiger Grafikkarte, auf dem ein Sprachmodell wie Llama, Mistral oder Qwen direkt in deinem Unternehmen läuft. Deine Daten verlassen das Haus nicht. Wir planen die Hardware, richten Modelle und Oberfläche ein und übernehmen auf Wunsch den laufenden Betrieb, von Jena aus, für Unternehmen in Thüringen und bundesweit.

Fachlich geprüft von Marcel, IT-Admin & Webentwickler · Stand Oktober 2026

KI-Vorhaben besprechen Lokal oder Cloud? Zum Vergleich

Zum AnfassenWo der KI-Server im Schrank sitzt

Ein KI-Server ist ein Einschub wie jeder andere: mit Netz, Backup und Firewall davor. Klick dich durch den Schrank.

Patchpanel. Hier kommen die Leitungen aus dem Gebäude an: Arbeitsplätze, Access Points, Kameras, Produktion. Jede Dose ist beschriftet und im Plan dokumentiert, damit ein Umzug kein Rätselraten wird.
Switch. Switches von Ubiquiti, zentral verwaltet. Getrennte Netze für Büro, Gäste, Geräte und Produktion, Stromversorgung der Access Points über das Netzwerkkabel. Zeigt, welcher Port gerade was macht.
Firewall-Paar. Zwei Firewalls mit pfSense oder OPNsense, die sich gegenseitig überwachen. Fällt eine aus, übernimmt die andere, ohne dass jemand etwas merkt. Regeln sind dokumentiert, VPN für Homeoffice und Standorte läuft hier.
Proxmox-Host 1. Ein Virtualisierungs-Host auf Proxmox. Darauf laufen virtuelle Maschinen als getrennte Einheiten: Fileserver, Warenwirtschaft, Mailserver, Websites. Fällt der Host aus, starten die Maschinen auf einem anderen Host neu.
Proxmox-Host 2. Zweiter Host im Cluster. Die Hosts teilen sich den Speicher, deshalb kann eine Maschine im laufenden Betrieb umziehen, etwa für ein Update am Host. Der Knopf „Ausfall simulieren“ zeigt, was passiert, wenn dieser Host stehen bleibt.
Proxmox-Host 3. Dritter Host. Drei Hosts sind das Minimum, damit der Cluster bei einem Ausfall noch entscheiden kann, wer übernimmt. Reserve ist eingeplant: Jeder Host hat Luft, um die Last eines ausgefallenen Nachbarn mitzutragen.
KI-Server. Ein Server mit Grafikkarten für Sprachmodelle. Darauf laufen Modelle für Kunden, die ihre Daten nicht in eine Cloud geben: Dokumente zusammenfassen, Wissensdatenbank, Übersetzung. Zugriff nur für benannte Nutzer über das VPN.
Storage. Gemeinsamer Speicher für die Hosts, auf schnellen Datenträgern, verschlüsselt. Hier liegen die virtuellen Maschinen; die Hosts selbst sind austauschbar.
Backup-Server. Proxmox Backup Server: Sicherung aller Maschinen mit Versionen, die sich nachträglich nicht verändern lassen. Von hier geht eine verschlüsselte Kopie außer Haus. Wiederherstellungen testen wir regelmäßig. „Backup-Lauf zeigen“ spielt den Weg nach.
USV. Unterbrechungsfreie Stromversorgung. Überbrückt Stromausfälle und fährt die Systeme kontrolliert herunter, wenn der Strom länger wegbleibt. Meldet sich im Monitoring, bevor die Batterie alt wird.

Beispielhafte Bestückung. Wo deine Systeme laufen, steht im Trust Center.

WofürWas ein eigener KI-Server im Alltag macht

Nicht „KI einführen“, sondern konkrete Aufgaben abgeben. Das sind die, mit denen unsere Kunden anfangen.

Dokumente durchsuchen und befragen

Verträge, Angebote, Protokolle, Handbücher: Du stellst eine Frage, die KI antwortet mit Quellenangabe aus deinen eigenen Unterlagen, statt dass jemand eine Stunde in Ordnern sucht.

Texte entwerfen und zusammenfassen

E-Mails, Berichte, Ausschreibungsantworten, Protokolle aus Besprechungsnotizen. Die KI liefert den Entwurf, ein Mensch entscheidet.

Vertrauliches verarbeiten

Mandantenakten, Patientendaten, Personalunterlagen, Konstruktionsdaten, Dinge, die niemand an einen US-Dienst schicken darf oder will.

Anbindung an Fachanwendungen

Über Schnittstellen greift die KI auf ERP, Ticketsystem, Nextcloud oder Datenbanken zu, und Automatisierungen mit n8n nutzen dasselbe Modell.

Übersetzen und Strukturieren

Technische Dokumentation in Englisch, Tabellen aus Fließtext, Klassifizierung von Anfragen, Aufgaben, die kleine Modelle bereits gut erledigen.

Sicher experimentieren

Mitarbeiter dürfen ausprobieren, ohne dass Eingaben irgendwo gespeichert oder zum Training verwendet werden.

LeistungsumfangWas du von uns bekommst

Kein Karton mit Hardware vor der Tür, sondern ein System, das am ersten Tag funktioniert, und am fünfhundertsten auch.

Bedarf & Hardware

Wir klären, was die KI können soll, wie viele Menschen sie nutzen und welche Modelle dafür passen, daraus ergibt sich die Hardware, nicht umgekehrt. Von einem leisen Gerät unter dem Schreibtisch bis zum Server mit mehreren Grafikkarten.

Einrichtung

Betriebssystem, Modell-Server (z. B. Ollama oder vLLM), Chat-Oberfläche, Benutzerverwaltung, Anbindung an dein Netzwerk und deine Anmeldung. Alles auf Open-Source-Basis, ohne Lizenzfalle.

Dein Wissen anbinden

Dokumente, Nextcloud, Wiki oder Fachanwendung: Die KI antwortet mit Quellenangabe aus deinen eigenen Unterlagen. Mehr dazu unter Wissensdatenbank.

Sicherheit

Zugriffsrechte, Verschlüsselung, Backup, Protokollierung. Auf Wunsch komplett ohne Internetverbindung.

Betrieb & Updates

Monitoring, Modellwechsel, Sicherheitsupdates. Wenn ein besseres offenes Modell erscheint, stellen wir um, du musst nichts neu kaufen.

Einführung im Team

Kurze, praktische Schulung: Was kann die KI, was nicht, und wie fragt man richtig? Danach eine Sprechstunde für die ersten Wochen.

AblaufIn vier Schritten zur eigenen KI

ca. 1 Woche
Erstgespräch & Anwendungsfälle
Wofür soll die KI eingesetzt werden? Wir sortieren gemeinsam: Was lohnt sich sofort, was später, was gar nicht.
1 bis 2 Wochen
Testbetrieb
Du probierst die Anwendungsfälle auf unserer Testumgebung aus, mit unkritischen Daten und ohne vorher Hardware zu kaufen.
2 bis 4 Wochen, je nach Lieferzeit
Aufbau bei dir
Hardware, Installation, Anbindung deiner Datenquellen, Rechtekonzept, Abnahme.
laufend
Betrieb
Wir überwachen das System, spielen Updates ein und entwickeln die Anwendungsfälle mit dir weiter.

VergleichLokal, EU-Cloud oder ChatGPT?

Es gibt nicht die eine richtige Antwort, aber eine ehrliche Tabelle. Ausführlicher im Ratgeber Lokale KI, EU-Cloud oder ChatGPT?

	Lokaler KI-Server	KI aus der EU-Cloud	ChatGPT / US-API
Wo liegen die Daten?	Bei dir im Haus	Im Rechenzentrum eines EU-Anbieters	Auf Servern des Anbieters, meist USA
Berufsgeheimnis, Patientendaten	Geeignet	Mit Auftragsverarbeitung möglich, im Einzelfall prüfen	In der Regel nicht geeignet
Modellqualität	Offene Modelle: für Büroaufgaben sehr gut, bei Spezialfällen hinter den größten Modellen	Wie lokal, teils größere Modelle	Am stärksten bei komplexen Aufgaben
Kosten	Einmal Hardware, danach Strom und Betreuung, keine Gebühr pro Anfrage	Nach Nutzung, gut planbar	Nach Nutzung oder pro Nutzer, bei vielen Anfragen teuer
Ohne Internet nutzbar	Ja	Nein	Nein
Anbindung an eigene Systeme	Direkt im Netzwerk	Über Schnittstellen	Über Schnittstellen
Abhängigkeit vom Anbieter	Keine, Modell und Software sind offen	Mittel	Hoch

Stand: 09/2026. Häufig ist eine Kombination sinnvoll: lokal für alles Vertrauliche, Cloud für Sonderfälle.

Ehrlich gesagtWovon der Aufwand abhängt

Wir nennen dir einen verbindlichen Rahmen, sobald wir diese Punkte kennen, meist nach dem ersten Gespräch.

Anzahl gleichzeitiger NutzerFünf Personen brauchen andere Hardware als fünfzig.
ModellgrößeTexte zusammenfassen geht mit kleinen Modellen. Komplexe Analysen brauchen größere, und mehr Grafikspeicher.
DatenquellenEin Ordner mit PDFs ist schnell angebunden. Eine Fachanwendung mit eigener Datenbank dauert länger.
SicherheitsanforderungenBerufsgeheimnis, Kundenaudits oder Betrieb ohne Internet erhöhen den Einrichtungsaufwand.
BetriebsmodellBei dir im Haus, in unserem Hosting oder als Mischung, das entscheidet über Wartung und Erreichbarkeit.
Schulung und BegleitungEin Team, das schon mit ChatGPT arbeitet, braucht einen halben Tag. Ein Team ohne Vorerfahrung mehr.

AnwendungsfallAktenrecherche in einer Kanzlei: ohne Cloud

Eine Kanzlei wollte Akten, Schriftsätze und Urteile per Frage durchsuchen, ohne dass ein Byte Mandantendaten das Haus verlässt. Ein Server mit Grafikkarte, ein offenes Sprachmodell, Anbindung an die Aktenablage und ein Rechtekonzept nach Mandaten: Die Antwort nennt die Fundstelle, der Anwalt prüft. So sind wir vorgegangen →

FAQHäufige Fragen zum lokalen KI-Server

Brauche ich dafür einen eigenen Serverraum?

Nein. Für kleinere Teams genügt ein leises Gerät in der Größe eines Desktop-PCs. Ab mittlerer Größe empfehlen wir einen belüfteten Technikraum oder den Betrieb in unserer Hosting-Umgebung.

Ist eine lokale KI so gut wie ChatGPT?

Für die typischen Aufgaben im Büro, zusammenfassen, formulieren, Dokumente durchsuchen, übersetzen, ja. Bei sehr komplexen Spezialaufgaben liegen die großen Cloud-Modelle noch vorn. Im Testbetrieb siehst du vorher, ob es für deine Fälle reicht.

Welche Hardware braucht ein KI-Server?

Entscheidend ist der Grafikspeicher: Er bestimmt, welche Modelle laufen und wie viele Anfragen gleichzeitig. Für ein kleines Team reicht eine Workstation-Grafikkarte, für viele Nutzer oder große Modelle ein Server mit mehreren Karten. Wir legen das anhand deiner Anwendungsfälle fest, nicht anhand einer Preisliste.

Was passiert, wenn bessere Modelle erscheinen?

Wir tauschen das Modell aus. Offene Modelle entwickeln sich schnell weiter, und die Hardware bleibt dieselbe.

Kann die KI auf unsere Dokumente zugreifen?

Ja, das ist der häufigste Anwendungsfall. Dokumente werden lokal indexiert; die KI antwortet mit Quellenangabe und sieht nur, was der jeweilige Nutzer auch sehen darf.

Ist das DSGVO-konform?

Da die Daten dein Haus nicht verlassen und kein Dritter sie verarbeitet, entfällt der schwierigste Teil, die Übermittlung an einen Anbieter. Die übrigen Pflichten (Zugriffskonzept, Löschfristen, Dokumentation) gelten wie für jedes andere System; wir richten sie mit ein. Rechtsberatung ersetzen wir nicht.

Wie lange dauert es bis zum Start?

Vom Erstgespräch bis zum laufenden System meist vier bis acht Wochen, abhängig von Lieferzeiten für Hardware und der Anzahl der Datenquellen.

Können wir den Server auch selbst betreiben?

Ja. Wir dokumentieren alles und schulen dein IT-Team. Viele Kunden lassen uns trotzdem Updates und Monitoring machen, das ist der Teil, der im Alltag liegen bleibt.