On-Premise-KI
für Unternehmen
Die IOWIS Plattform läuft auf abgestimmter Hardware in der Infrastruktur Ihres Unternehmens. Sprachmodelle und zentrale KI-Verarbeitungsprozesse werden dort ausgeführt. Unternehmensinhalte werden nicht zur Verarbeitung an externe KI-Dienste übertragen. Der Kernbetrieb funktioniert ohne dauerhafte Internetverbindung; Onlinezugriffe werden nur für Funktionen eingerichtet, die externe Informationen oder angebundene Dienste benötigen.
IOWIS stellt Plattform und Hardware bereit und begleitet die technische Einführung.
Was On-Premise-KI konkret bedeutet
Bei einer On-Premise-Lösung wird die KI nicht in der Infrastruktur eines externen Dienstes, sondern in der Infrastruktur des Unternehmens betrieben, das sie einsetzt. Dort laufen die IOWIS Plattform und die eingesetzten Sprachmodelle, sogenannte Large Language Models (LLMs).
Sowohl die Speicherung der Dokumente als auch die eigentliche Berechnung der Antwort erfolgen lokal. Stellen Mitarbeitende eine Anfrage, übergibt die Plattform sie an das Sprachmodell auf der bei Ihnen betriebenen Hardware. Dort wird die Anfrage verarbeitet und die Antwort erzeugt. Dieser Vorgang wird technisch als Inferenz bezeichnet.
Dabei verarbeitet das Sprachmodell die Eingabe, die Anweisungen des verwendeten Assistenten und gegebenenfalls zusätzliche Informationen, die für die Antwort benötigt werden. Soll internes Unternehmenswissen einbezogen werden, kann die Plattform passende Inhalte aus freigegebenen Dokumenten oder Wissensdatenbanken bereitstellen.
Welche Inhalte verwendet werden dürfen, richtet sich nach dem Assistenten und den vergebenen Berechtigungen. Das Modell erhält nicht automatisch Zugriff auf sämtliche Dokumente oder Datenquellen.
Sie möchten lokale Sprachmodelle in vorhandene Programme und Arbeitsabläufe einbinden? Wir unterstützen Sie bei der Auswahl, Einrichtung und Integration. Mehr zu unserer Beratung und Umsetzung für lokale KI.
Verbindungen nach außen nur für benötigte Funktionen
Die zentralen Funktionen der IOWIS Plattform benötigen keine dauerhafte Internetverbindung. Mitarbeitende können mit den lokal verfügbaren Sprachmodellen, hochgeladenen Dateien und internen Wissensbeständen arbeiten, ohne für jede Anfrage einen Onlinedienst aufzurufen.
Auch Software-, Funktions- und Modellupdates können offline bereitgestellt und eingespielt werden.
Eine Verbindung nach außen wird benötigt, wenn eine Funktion auf externe Informationen oder Dienste zugreifen soll. Dazu können beispielsweise gehören:
- Websuche und Crawling,
- externe Wissensquellen,
- Kommunikationsplattformen,
- weitere Online- und Cloud-Dienste.
Bei einer Websuche ruft die Plattform aktuelle Inhalte aus dem Internet ab. Bei einer Integration werden Daten über die vorgesehene Schnittstelle mit dem angebundenen Dienst ausgetauscht. Welche Informationen dabei übertragen werden, hängt von der jeweiligen Funktion und ihrer Konfiguration ab.
Sie legen fest, welche Anbindungen für Ihren vorgesehenen Einsatz freigegeben werden. Eine On-Premise-Installation muss nicht vollständig vom Internet getrennt sein.
Wann lokaler KI-Betrieb sinnvoll ist
Bei externen KI-Diensten werden Anfragen, hochgeladene Dateien und eingebundene Inhalte in der Infrastruktur des Anbieters verarbeitet. Für allgemeine Aufgaben kann das vertretbar sein. Schwieriger wird es, sobald Mitarbeitende vertrauliche Dokumente, personenbezogene Daten, Geschäftsgeheimnisse oder internes Fachwissen mit KI nutzen sollen.
Neben Datenschutz und regulatorischen Vorgaben ist der erhebliche wirtschaftliche Wert zu berücksichtigen, den interne Informationen für ein Unternehmen haben können. Werden sie durch Sicherheitslücken, Fehlkonfigurationen oder unberechtigte Zugriffe offengelegt, können finanzielle Schäden, Wettbewerbsnachteile und Vertrauensverluste entstehen.
Bei externen Diensten muss deshalb geprüft werden, wohin Daten übertragen werden, welche Anbieter beteiligt sind, wie Inhalte gespeichert und protokolliert werden und welche Kontrolle über die Verarbeitung tatsächlich besteht.
Beim lokalen Betrieb behalten Sie die Kontrolle über Ihre Daten während der KI-Verarbeitung. Die zentralen Verarbeitungsprozesse finden innerhalb Ihrer Infrastruktur statt. Datenquellen, Zugriffsrechte und Verbindungen nach außen können passend zum jeweiligen Einsatz festgelegt werden.
Beim lokalen Betrieb lassen sich außerdem die Kosten der KI-Verarbeitung unabhängig von den Tokenpreisen eines Cloud-Anbieters planen. Zusammen mit der eigenen Auswahl der Sprachmodelle stärkt das die Souveränität beim KI-Einsatz.
On-Premise-KI ist nicht automatisch DSGVO-konform
Eine lokale Installation ist nicht allein aufgrund ihres Betriebsorts DSGVO-konform.
Die IOWIS Plattform stellt jedoch wesentliche technische Grundlagen für einen DSGVO-konformen Betrieb bereit. Dazu gehören steuerbare Zugriffsrechte, getrennte Wissensbereiche, Aufbewahrungs- und Löschregeln, die Protokollierung relevanter Vorgänge sowie die Kontrolle über externe Anbindungen.
Ob der konkrete Einsatz datenschutzkonform ist, hängt zusätzlich von der jeweiligen Verarbeitung ab. Sie müssen unter anderem festlegen, welche personenbezogenen Daten zu welchem Zweck verarbeitet werden, welche Rechtsgrundlage besteht und welche Personen darauf zugreifen dürfen.
Die daraus entstehenden rechtlichen und organisatorischen Vorgaben müssen bei der Konfiguration und Nutzung der Plattform berücksichtigt werden. Auch bewusst angebundene externe Funktionen gehören in diese Bewertung.
Wie die IOWIS Plattform bereitgestellt und betrieben wird
Für den lokalen Einsatz werden Hardware, Einbindung in die bestehende IT und laufender Betrieb aufeinander abgestimmt. Die konkrete Auslegung richtet sich nach der geplanten Nutzung, den benötigten Funktionen und der vorhandenen Infrastruktur.
Hardware passend zur Nutzung
Der Rechenbedarf hängt von den verwendeten Sprachmodellen und der gewünschten Geschwindigkeit ab. Auch parallele Anfragen sowie Funktionen für Dokumente, Bilder, Audio oder Video beeinflussen die benötigte Leistung.
IOWIS wählt auf dieser Grundlage die passende Hardware aus und stellt sie gemeinsam mit der Plattform bereit.
Einbindung in die bestehende Infrastruktur
Die Lösung wird in die vorhandene System- und Netzwerkumgebung eingebunden. Dabei werden interne Zugänge, Benutzerstrukturen, benötigte Schnittstellen und externe Verbindungen berücksichtigt.
Welche Datenquellen und Systeme angebunden werden, richtet sich nach den vorgesehenen Anwendungsfällen.
Betrieb und Updates
Da die Plattform innerhalb Ihrer Infrastruktur läuft, wird sie in Ihre bestehenden IT-Betriebsprozesse eingebunden. Dazu zählen insbesondere die Überwachung der Verfügbarkeit, regelmäßige Datensicherungen und geplante Wartungsfenster. Die konkrete Ausgestaltung richtet sich nach der vorhandenen IT-Umgebung.
IOWIS stellt Software-, Funktions- und Modellupdates bereit. Sie können auch ohne direkten Internetzugang eingespielt werden. Bei technischen Fragen und Anpassungen unterstützt das IOWIS-Team.
Sie möchten Ihren Kunden lokale KI anbieten?
Die IOWIS Plattform lässt sich mit Ihrer Hardware und Ihren Dienstleistungen verbinden.
KI in Ihrer Infrastruktur einsetzen
Wir besprechen mit Ihnen, wie sich die IOWIS Plattform in Ihrer Infrastruktur betreiben lässt und welche Voraussetzungen dafür nötig sind. Dabei betrachten wir die vorgesehenen Anwendungsfälle, benötigten Funktionen, internen Datenquellen, erforderlichen Verbindungen und die passende Hardware.
Häufige Fragen zu On-Premise-KI
Welcher interne Aufwand entsteht bei Einführung und Betrieb?
Für die technische Einbindung wird normalerweise eine Ansprechperson benötigt, die mit Ihrer Netzwerk- und Systemumgebung vertraut ist. Die Einbindung in das interne Netzwerk sowie vorhandene Firewall-, VPN- und Zugriffskonzepte erfolgt in Abstimmung mit Ihrem IT-Team. IOWIS stellt die Hardware und Plattform bereit und begleitet die technische Einführung.
Steht kein geeigneter interner Ansprechpartner zur Verfügung, kann IOWIS nach Prüfung der vorhandenen Umgebung zusätzliche technische Aufgaben übernehmen. Dieser Aufwand wird separat vereinbart.
Für die spätere Nutzung benennen Sie mindestens einen Administrator. Dieser verwaltet beispielsweise Nutzer, Berechtigungen, Assistenten und Wissensbereiche. Bei der Auswahl erster Anwendungsfälle, der Arbeit mit Testgruppen sowie der Einführung der Mitarbeitenden können IOWIS und auf Wunsch JADE IT zusätzlich unterstützen.
Nach der Inbetriebnahme stellt IOWIS Updates und Support bereit. Netzwerkzugänge, Datensicherung und die Überwachung der Verfügbarkeit werden über Ihre bestehenden IT-Verantwortlichkeiten organisiert.
Erreichen lokale KI-Modelle dieselbe Leistung wie führende Cloud-Modelle?
Nein. Die leistungsfähigsten proprietären Cloud-Modelle erreichen bei besonders anspruchsvollen Aufgaben weiterhin eine Qualität, die sich mit lokal betreibbaren Modellen auf wirtschaftlich sinnvoller Unternehmenshardware nicht vollständig abbilden lässt.
Für viele konkrete Aufgaben im Unternehmen wird diese maximale Leistungsfähigkeit jedoch nicht benötigt. Entscheidend ist, ob ein Modell die vorgesehenen Aufgaben zuverlässig, schnell und mit der erforderlichen Qualität bearbeiten kann. Ein größeres oder in Benchmarks besser bewertetes Modell ist nicht automatisch die sinnvollere Wahl, wenn seine zusätzliche Leistung im tatsächlichen Einsatz keinen erkennbaren Vorteil bringt.
Open-Weight-Modelle entwickeln sich schnell weiter und verkleinern den Abstand in verschiedenen Bereichen. Benchmarks bieten dabei eine hilfreiche Orientierung, bilden den praktischen Einsatz mit eigenen Dokumenten, Anweisungen und Arbeitsabläufen aber nur teilweise ab.
IOWIS wählt die eingesetzten Modelle deshalb passend zu den vorgesehenen Aufgaben, den Anforderungen an Qualität und Geschwindigkeit sowie der verfügbaren Hardware aus.
Aktuelle Modellvergleiche:
Kann die IOWIS Plattform auf vorhandener Hardware betrieben werden?
Sie möchten vorhandene Hardware einsetzen? Sprechen Sie uns an.
Kann die Plattform vollständig ohne Internetverbindung betrieben werden?
Ja. Bei vollständig lokalem Betrieb können die zentralen Funktionen der IOWIS Plattform und die lokal bereitgestellten Sprachmodelle ohne Internetverbindung betrieben werden. Auch eine vollständig vom Internet getrennte, sogenannte Air-Gapped-Umgebung ist möglich.
Die Plattform benötigt keine regelmäßige Verbindung zu IOWIS für Lizenzprüfungen, Accountverwaltung oder Telemetrie. In einer vollständig isolierten Umgebung können jedoch nur Funktionen genutzt werden, die keine externe Verbindung benötigen. Websuche, externe Datenquellen und angebundene Onlinedienste setzen jeweils eine gezielt eingerichtete Verbindung voraus.
Wie werden Updates ohne direkten Internetzugang eingespielt?
IOWIS stellt für jede Installation individuelle, verschlüsselte Updatepakete bereit. Sie können diese über den IOWIS-Updateserver herunterladen, per USB-Datenträger in Ihre getrennte Umgebung übertragen und dort installieren. Ein Changelog informiert vor dem Download über die enthaltenen Änderungen.
Für Umgebungen, aus denen keine Updatepakete heruntergeladen werden sollen, kann alternativ die regelmäßige Zusendung eines vorbereiteten USB-Datenträgers vereinbart werden. Dieser zusätzliche Service wird separat berechnet.
Was geschieht bei einem Hardwaredefekt?
Bei von IOWIS bereitgestellter Hardware bleibt IOWIS die erste Anlaufstelle. IOWIS grenzt gemeinsam mit Ihnen ein, ob die Ursache in der Plattform oder der Hardware liegt, und koordiniert bei einem Hardwaredefekt die Reparatur, den Austausch betroffener Komponenten oder einen erforderlichen Vor-Ort-Service mit dem zuständigen Hardwarepartner.
Das gilt unabhängig davon, ob die Hardware gekauft, gemietet oder geleast wird. Für Ihre bereits vorhandene Hardware gelten Ihre bestehenden Garantie- und Supportvereinbarungen.
Hat IOWIS dauerhaft Zugriff auf unser System oder erhält Daten aus unserer Infrastruktur?
Nein. IOWIS besitzt standardmäßig keinen administrativen Fernzugriff auf die Plattform. Die Plattform übermittelt auch keine Telemetrie, Nutzungsstatistiken, Fehlerberichte oder Unternehmensinhalte an IOWIS.
Benötigt IOWIS für einen Supportfall Zugriff auf das System, entscheiden Sie, ob und wie dieser eingerichtet wird. Möglich ist beispielsweise ein vorübergehend freigegebener Remotezugang. Auf Wunsch kann ein Vor-Ort-Einsatz separat vereinbart werden.