Für die meisten Unternehmen lautet die Antwort nicht „entweder oder“. ChatGPT und ähnliche US-Dienste eignen sich für Aufgaben ohne vertrauliche Daten, ein EU-Anbieter mit Auftragsverarbeitungsvertrag für den Alltag mit personenbezogenen Daten, und ein lokaler KI-Server für alles, was unter Berufsgeheimnis, Geheimhaltungsvereinbarungen oder besondere Schutzpflichten fällt. Entscheidend ist, welche Daten in die Anfrage wandern, nicht, welches Modell am besten formuliert.
Worum es bei der Entscheidung wirklich geht
Die meisten Diskussionen über KI im Unternehmen drehen sich um Modelle: Welches ist am klügsten, welches schreibt die besten Texte? Für die Entscheidung zwischen Cloud und eigenem Server ist das zweitrangig. Die Frage, die alles andere bestimmt, lautet: Welche Daten schickst du in die Anfrage? Ein Sprachmodell sieht alles, was du ihm gibst, den Vertragsentwurf, die Patientenakte, die Konstruktionszeichnung im Anhang. Wo dieses Modell läuft, entscheidet darüber, wer diese Daten außerdem sehen kann.
Eine lokale KI ist ein Sprachmodell, das auf eigener Hardware im Unternehmen läuft und keine Daten nach außen sendet. Eine EU-Cloud-KI ist dasselbe Modell, betrieben von einem Anbieter mit Rechenzentrum in der EU, den du per Auftragsverarbeitungsvertrag bindest. ChatGPT, Claude, Gemini und ähnliche Dienste laufen auf Servern der jeweiligen Anbieter, meist in den USA. Alle drei Varianten haben ihren Platz. Falsch ist nur, die Entscheidung dem Zufall oder den Mitarbeitern zu überlassen, die sich privat einen Account angelegt haben.
Die drei Optionen im Überblick
ChatGPT und andere US-Dienste
Die Stärke ist offensichtlich: die besten Modelle bei komplexen Aufgaben, kein Aufwand, sofort verfügbar. Die Schwäche ebenso: Die Daten liegen beim Anbieter, in der Regel außerhalb der EU. Es gibt Unternehmenstarife mit Auftragsverarbeitungsvertrag und der Zusage, Eingaben nicht zum Training zu verwenden. Ob das für deine Daten reicht, ist eine Frage, die dein Datenschutzbeauftragter beantworten muss, nicht der Anbieter. Bei kostenlosen Verbraucherversionen solltest du davon ausgehen, dass Eingaben zur Verbesserung des Dienstes genutzt werden dürfen, sofern du das nicht ausdrücklich abschaltest.
KI aus der EU-Cloud
Anbieter mit Rechenzentrum in der EU stellen offene Modelle wie Llama, Mistral oder Qwen über eine Schnittstelle bereit, abgerechnet nach Nutzung. Du brauchst keine Hardware, hast einen Auftragsverarbeitungsvertrag nach europäischem Recht und kannst bei Bedarf größere Modelle nutzen, als du selbst betreiben könntest. Was bleibt: Die Daten verlassen das Haus, du brauchst eine Internetverbindung, und der Anbieter kann Modelle oder Preise ändern.
Lokaler KI-Server
Ein Rechner mit leistungsfähiger Grafikkarte in deinem Netzwerk, darauf ein Modell-Server wie Ollama oder vLLM und eine Chat-Oberfläche wie Open WebUI. Deine Daten verlassen das Haus nicht, es gibt keine Gebühr pro Anfrage, und das System läuft auch ohne Internet. Dafür brauchst du einmalig Hardware und dauerhaft jemanden, der Updates, Backup und Rechte im Griff hat. Offene Modelle sind für Büroaufgaben inzwischen sehr gut, bei anspruchsvollen Spezialfällen liegen sie hinter den größten Cloud-Modellen.
Vergleich: Wo die Unterschiede liegen
| Lokaler KI-Server | KI aus der EU-Cloud | ChatGPT / US-Dienst | |
|---|---|---|---|
| Wo liegen die Daten? | Bei dir im Haus | Im Rechenzentrum eines EU-Anbieters | Auf Servern des Anbieters, meist USA |
| Berufsgeheimnis, Patientendaten | Geeignet | Mit Auftragsverarbeitung möglich, im Einzelfall prüfen | In der Regel nicht geeignet |
| Modellqualität | Für Büroaufgaben sehr gut, bei Spezialfällen hinter den Spitzenmodellen | Wie lokal, teils größere Modelle | Am stärksten bei komplexen Aufgaben |
| Kostenlogik | Einmal Hardware, danach Strom und Betreuung | Nach Nutzung, gut planbar | Nach Nutzung oder pro Nutzer, bei vielen Anfragen teuer |
| Ohne Internet nutzbar | Ja | Nein | Nein |
| Anbindung an eigene Systeme | Direkt im Netzwerk | Über Schnittstellen | Über Schnittstellen |
| Abhängigkeit vom Anbieter | Keine, Modell und Software sind offen | Mittel | Hoch |
| Eigener Aufwand | Hoch: Betrieb und Pflege | Gering | Sehr gering |
Welche Daten dürfen wohin?
Das ist keine Rechtsberatung, sondern die Einordnung, mit der wir in Projekten arbeiten. Die verbindliche Bewertung gehört zu deinem Datenschutzbeauftragten oder deiner Kanzlei.
- Öffentliche und unkritische Daten, Marketingtexte, allgemeine Recherchen, Formulierungshilfe ohne Namen und Zahlen: Hier spricht nichts gegen ChatGPT und Co.
- Personenbezogene Daten von Kunden, Bewerbern oder Mitarbeiter: Dafür brauchst du einen Auftragsverarbeitungsvertrag und eine Antwort auf die Frage, ob die Daten die EU verlassen dürfen. Praktisch heißt das EU-Cloud oder lokal.
- Berufsgeheimnis und Vertraulichkeit, Mandanten- und Patientendaten nach § 203 StGB, Konstruktionsdaten unter Geheimhaltungsvereinbarung, Unterlagen aus Kundenaudits: Hier ist der lokale Server die einfache Antwort. Eine EU-Cloud kann möglich sein, verlangt aber eine Prüfung im Einzelfall und meist zusätzliche Vertragsklauseln.
Eine Faustregel, die sich bewährt hat: Wenn du die Daten nicht ohne Vertrag per E-Mail an einen fremden Dienstleister schicken würdest, gehören sie auch nicht in einen Cloud-Chat. Und ein zweiter Punkt, der oft untergeht: Auch die Antwort des Modells kann vertraulich sein. Wer ein Cloud-Modell einen Vertrag zusammenfassen lässt, hat den Vertrag hochgeladen, egal, wie kurz die Zusammenfassung ist.
Was lokale Modelle heute leisten: und was nicht
Offene Modelle haben in den letzten zwei Jahren stark aufgeholt. Zusammenfassen, Umformulieren, Übersetzen, Klassifizieren, Informationen aus Dokumenten ziehen, Fragen an die eigene Dokumentenablage beantworten: Das erledigen sie zuverlässig, auf Deutsch und in einer Qualität, die für den Büroalltag reicht. Genau diese Aufgaben machen den größten Teil dessen aus, was Unternehmen mit KI tatsächlich tun. Der spannendste Anwendungsfall ist meist die Wissensdatenbank: Antworten aus den eigenen Dokumenten, mit Quellenangabe, ohne dass ein Dokument das Haus verlässt. Wie das in der Praxis aussieht, zeigt unser Anwendungsfall Aktenrecherche mit KI ohne Cloud.
Schwächer sind lokale Modelle bei langen, mehrstufigen Schlussfolgerungen, bei seltenen Fachsprachen und überall dort, wo aktuelles Weltwissen gefragt ist, ein lokales Modell kennt das Internet nicht, wenn du es ihm nicht gibst. Wer regelmäßig mit den Spitzenmodellen vergleicht, merkt den Unterschied. Wer den Server für die täglichen Routineaufgaben nutzt, merkt ihn selten.
Bei der Hardware bestimmt der Grafikspeicher, wie groß das Modell sein darf, und die Zahl der gleichzeitigen Nutzer, wie schnell es antwortet. Anbieter am Markt nennen für kleine Systeme Einstiegshardware ab rund 5.000 Euro (Anbieterangaben, Stand 2026); realistisch kommen Strom, Wartung, Backup und irgendwann ein Modellwechsel dazu. Ein KI-Server mit Zugriff auf alle Dokumente braucht außerdem ein sauberes Rechtekonzept, das ist ein Thema für die IT-Sicherheit, nicht für die KI-Abteilung.
Hybrid: der Weg, den wir meistens empfehlen
In den meisten Projekten landen wir bei einer Kombination. Der lokale Server ist der Standard für interne Chats, Dokumente und Automatisierungen, etwa Rechnungen sortieren oder Anfragen klassifizieren mit n8n. Eine EU-Schnittstelle übernimmt Lastspitzen oder Aufgaben, für die ein größeres Modell gebraucht wird, mit Daten, die dafür freigegeben sind. Und ChatGPT bleibt für Marketingtexte und Recherchen ohne Kundendaten erlaubt, mit Firmenaccount statt privatem Login.
Das funktioniert nur mit einer kurzen, verständlichen KI-Richtlinie: Welche Werkzeuge sind freigegeben, welche Daten dürfen wohin, wer ist Ansprechpartner. Das ist keine Bürokratie, sondern der Teil, der verhindert, dass die Entscheidung von jedem einzeln getroffen wird. Was das Gesetz dazu inzwischen verlangt, steht im Artikel AI Act nach dem Digital Omnibus.
Entscheidungshilfe in fünf Fragen
- Welche Daten sollen verarbeitet werden, und würdest du sie einem externen Dienstleister ohne Vertrag schicken?
- Unterliegst du einem Berufsgeheimnis, Geheimhaltungsvereinbarungen oder Kundenaudits, die den Datenstandort vorschreiben?
- Wie viele Menschen sollen das System täglich nutzen, und wie viele Anfragen kommen dabei zusammen?
- Gibt es jemanden, der einen Server betreibt, intern oder als Dienstleister, oder soll es ohne Betrieb funktionieren?
- Willst du das Modell an eigene Systeme anbinden, etwa Dokumentenablage, Ticketsystem oder Buchhaltung?
Wer die ersten beiden Fragen mit „vertraulich“ und „ja“ beantwortet, ist beim lokalen Server richtig. Wer wenige Nutzer, unkritische Daten und keinen Betrieb hat, fährt mit einem EU-Anbieter gut. Die dritte bis fünfte Frage entscheidet über Hardwaregröße und Anbindung.
Fazit
Die Wahl zwischen lokaler KI, EU-Cloud und ChatGPT ist eine Datenfrage, keine Modellfrage. Für Unternehmen mit vertraulichen Daten, Kanzleien, Praxen, Ingenieurbüros, Zulieferer, ist ein lokaler KI-Server die klarste Lösung, und offene Modelle sind für die typischen Büroaufgaben gut genug. Wer keine solchen Daten hat, kommt mit einem EU-Anbieter schneller ans Ziel. In der Praxis empfehlen wir meist die Kombination mit einer kurzen Richtlinie, die festlegt, was wohin darf.
Häufige Fragen
Darf ich ChatGPT im Unternehmen nutzen?
Für Aufgaben ohne personenbezogene oder vertrauliche Daten spricht in der Regel nichts dagegen, etwa für Marketingtexte oder allgemeine Recherchen. Sinnvoll sind ein Firmenaccount statt privater Logins und eine kurze Richtlinie, welche Daten tabu sind. Für Kunden-, Mandanten- oder Patientendaten brauchst du einen Vertrag zur Auftragsverarbeitung oder eine Lösung ohne Cloud.
Ist ChatGPT mit Auftragsverarbeitungsvertrag DSGVO-konform?
Die Unternehmenstarife der großen Anbieter bieten einen Auftragsverarbeitungsvertrag und sagen zu, Eingaben nicht zum Training zu verwenden. Ob das für deine Daten reicht, hängt davon ab, welche Daten du verarbeitest und wie die Übermittlung in ein Drittland bewertet wird. Das beurteilt dein Datenschutzbeauftragter, nicht der Anbieter.
Welche laufenden Kosten hat ein lokaler KI-Server?
Nach der Anschaffung der Hardware fallen vor allem Strom, Wartung, Backup und gelegentlich ein Modellwechsel an; eine Gebühr pro Anfrage gibt es nicht. Wie viel das im Einzelfall ausmacht, hängt von Hardwaregröße und Auslastung ab. Einen verbindlichen Rahmen nennen wir, sobald Nutzerzahl und Anwendungsfälle feststehen.
Können lokale Sprachmodelle gut Deutsch?
Ja. Aktuelle offene Modelle verstehen und schreiben Deutsch in einer Qualität, die für Büroaufgaben reicht. Bei Fachsprache und seltenen Begriffen unterscheiden sich die Modelle deutlich, deshalb testen wir mit echten Texten aus deinem Alltag, bevor wir uns für eines entscheiden.
Kann ich lokale KI und ChatGPT kombinieren?
Ja, das ist der Weg, den wir in den meisten Projekten empfehlen. Vertrauliches läuft über den lokalen Server, unkritische Aufgaben dürfen an einen Cloud-Dienst. Damit das im Alltag funktioniert, legt eine kurze Richtlinie fest, welche Daten wohin dürfen.
Stand: September 2026, wir aktualisieren diesen Artikel, wenn sich Rechtslage oder Technik ändern.
