Lokale KI
Es gibt Unterlagen, die nicht an einen amerikanischen Anbieter gehen: Personalakten, Patientendaten, Konstruktionszeichnungen, Verträge mit Vertraulichkeitsklausel. Für sie lässt sich ein Sprachmodell auf eigener Hardware betreiben.
Das ist kein Ersatz für Cloud-Dienste, sondern eine Entscheidung für bestimmte Inhalte. Wo die Grenze verläuft und ab wann sich eigene Hardware rechnet, steht weiter unten auf dieser Seite.
Lokale KI bezeichnet Sprachmodelle, die auf Hardware im eigenen Unternehmen laufen statt beim Anbieter in der Cloud. Eingaben und Dokumente verlassen das Netzwerk nicht. Der Betrieb erfordert eine passende Grafikkarte, laufende Pflege und jemanden, der zuständig ist, wenn das System steht.
Technisch ist das inzwischen unspektakulär: Ein offenes Modell wird auf einem Rechner mit ausreichend Grafikspeicher betrieben und über eine Oberfläche oder Schnittstelle angebunden. Die eigentliche Arbeit liegt woanders, nämlich in der Auswahl des Modells, der Anbindung an vorhandene Dokumente und der Frage, welche Aufgaben überhaupt lokal laufen müssen.
Der Bitkom nennt für 2026 Unsicherheit beim Datenschutz als eine der drei häufigsten Hürden beim KI-Einsatz: 47 Prozent der Unternehmen führen sie an. Die Frage, welche Daten wohin fließen, bleibt unbeantwortet und blockiert die Entscheidung. Bei kleinen und mittleren Unternehmen wiegt das schwerer, weil dort selten jemand im Haus ist, der die Antwort geben kann.
Das ist der eigentliche Grund für lokale KI: nicht bessere Ergebnisse, sondern eine Frage weniger. Wenn Inhalte das Netzwerk nicht verlassen, entfällt die Prüfung, ob sie es dürfen. Für Betriebe mit Berufsgeheimnis oder vertraglichen Vertraulichkeitspflichten ist das der Unterschied zwischen Einsatz und Nichteinsatz.
Gegenrechnung: Ein Drittel der Unternehmen mit KI-Einsatz meldet höhere Kosten als geplant. Bei lokaler KI liegt der teure Teil in der Hardware und in der Pflege, nicht in der Einrichtung. Wer nur gelegentlich zusammenfassen oder formulieren lässt, fährt mit einem Cloud-Dienst und einem sauberen Auftragsverarbeitungsvertrag günstiger.
„Die Frage ist nie, ob lokale KI funktioniert. Sie funktioniert. Die Frage ist, ob im Betrieb jemand da ist, der sie am Laufen hält, wenn nach einem Treiber-Update nichts mehr antwortet. Wo diese Person fehlt, ist ein Cloud-Dienst mit ordentlichem Vertrag die ehrlichere Empfehlung.“
Beides hat seine Berechtigung. Diese Fragen entscheiden, was für Ihren Fall passt:
| Thema | Lokal betreiben | Cloud-Dienst nutzen |
|---|---|---|
| Inhalte | Personaldaten, Gesundheitsdaten, Verträge mit Geheimhaltung | Marketingtexte, Recherche, allgemeine Formulierungshilfe |
| Nutzung | Täglich und von mehreren Personen | Gelegentlich, einzelne Personen |
| Zuständigkeit | Jemand im Haus kann Updates und Störungen übernehmen | Niemand soll sich um Technik kümmern müssen |
| Kosten | Einmalig Hardware, danach Strom und Pflege | Monatlich je Nutzer, ohne Anschaffung |
| Leistungsfähigkeit | Gut genug für Zusammenfassen, Einordnen, Suchen im Bestand | Die stärksten verfügbaren Modelle, ohne eigene Hardware |
01
Zuerst wird sortiert, welche Inhalte tatsächlich das Haus nicht verlassen dürfen. Häufig ist das ein kleinerer Teil als angenommen. Bleibt am Ende zu wenig übrig, bekommen Sie die Empfehlung, es zu lassen, auch wenn damit ein Auftrag entfällt.
02
Entscheidend ist der Grafikspeicher, nicht der Prozessor. Wir rechnen anhand der geplanten Modellgröße und der Zahl gleichzeitiger Nutzer, was nötig ist, und nennen die Anschaffungskosten, bevor etwas bestellt wird.
03
Ein offenes Modell, dessen Lizenz die gewerbliche Nutzung erlaubt, wird eingerichtet und auf Ihre Aufgaben hin geprüft. Nicht das größte Modell gewinnt, sondern das, das die konkrete Aufgabe auf Ihrer Hardware zuverlässig erledigt.
04
Der Nutzen entsteht meist erst, wenn das Modell auf Ihre eigenen Unterlagen zugreift: Angebote, Protokolle, Handbücher. Dafür werden die Dokumente aufbereitet und durchsuchbar gemacht, mit einer nachvollziehbaren Angabe, aus welchem Dokument eine Antwort stammt.
05
Wer darf was fragen, was wird protokolliert, wie lange werden Verläufe aufbewahrt. Diese Fragen gehören vor die Inbetriebnahme, nicht danach. Sie gehören auch in die Dokumentation, weil sie bei einer datenschutzrechtlichen Prüfung als Erstes gestellt werden.
06
Ohne Einweisung wird auch ein gutes System nach wenigen Wochen umgangen. Ihr Team lernt, was das Modell kann, wo es zuverlässig ist und woran sich eine falsche Antwort erkennen lässt. Auf Wunsch übernehmen wir den Betrieb.
Ein lokales System ohne Nutzungsdaten ist ein teurer Rechner. Diese Werte zeigen, ob es tatsächlich verwendet wird:
Dieser Abschnitt steht bewusst auf der Verkaufsseite und nicht im Kleingedruckten:
Was wir zusagen: eine ehrliche Rechnung vor der Anschaffung, eine dokumentierte Einrichtung und die Empfehlung gegen das Projekt, wenn die Voraussetzungen nicht stimmen.
Befähigen Sie Ihr Team an einem halben Tag, KI im Arbeitsalltag einzusetzen und Ergebnisse zu beurteilen. Zugeschnitten auf Ihre Beispiele.
800 €
netto, zuzüglich Umsatzsteuer
Termin nach Absprache. Fester Umfang, fester Preis, keine Angebotsphase.
Angebot ausschließlich für Unternehmer im Sinne des § 14 BGB. Zahlung über Stripe, Rechnung folgt automatisch.
Lieber erst sprechenAlle Beträge netto, zuzüglich Umsatzsteuer. Hardware wird gesondert ausgewiesen und nicht von uns berechnet.
Nächste Schritte
Buchen Sie ein kostenloses Erstgespräch von 30 Minuten. Sie schildern die Ausgangslage, wir ordnen ein, ob und wie sich das lösen lässt. Ist Ihr Anliegen woanders besser aufgehoben, erfahren Sie das im Gespräch.
Lieber schreiben? jan.kuepper@build-ai-tech.com
Lieber anrufen? +49 152 03775619
Termin direkt im Kalender wählen
Der Kalender wird von Calendly bereitgestellt. Mit dem Klick laden Sie Inhalte von Calendly, dabei werden Ihre IP-Adresse und Browserdaten an Calendly übertragen. Näheres in unseren Datenschutzhinweisen.
Lieber ohne Kalender? Schreiben Sie uns