Lokale KI-Infrastruktur für Ihr Unternehmen

KI-Tools wie ChatGPT sind mächtig. Sie kommen aber mit einem Preis, der weit über die monatliche Rechnung hinausgeht: Ihre Daten fließen zu einem Konzern, über dessen Preise und Bedingungen Sie nicht mitreden. Lokale KI dreht das um: Ihre Daten, Ihre Infrastruktur, Ihre Kontrolle.

Kostenloses Beratungsgespräch vereinbaren Technische Details zum LLM-Setup Whitepaper kostenlos herunterladen

Was bedeutet „lokale KI“?

Lokale KI meint jede KI-Anwendung, die auf Hardware arbeitet, über die Sie verfügen: im eigenen Serverraum, im eigenen Rechenzentrum oder in einem österreichischen Colocation-Rechenzentrum. Der Unterschied zur Cloud ist weniger ein technischer als einer der Verfügungsgewalt. Über Zugriff, Modellstand und Verwendung der Daten entscheidet Ihr Haus, und kein Anbieter kann diese Entscheidung entziehen, verteuern oder verändern.

Möglich wurde das, weil quelloffene Modelle die Qualitätslücke zu ChatGPT & Co. weitgehend geschlossen haben. Lokale KI ist damit für den Mittelstand keine Grundsatzentscheidung gegen Komfort mehr, und sie ist die DSGVO-konforme OpenAI-Alternative aus Österreich. Welche Sprachmodelle dafür in Frage kommen und was „aus Österreich“ rechtlich bedeutet, beantwortet die Seite zu KI-Sprachmodellen aus Österreich.

US-Cloud, KI-API aus Österreich oder eigene KI-Infrastruktur?

Drei Wege, KI im Unternehmen zu betreiben, mit sehr unterschiedlichen Folgen für Datenhoheit, Kosten und Abhängigkeit:

Kriterium	US-Cloud-KI (ChatGPT & Co.)	KI-API aus Österreich	Eigene lokale KI-Infrastruktur
Datenhoheit	Daten liegen beim US-Anbieter, Übermittlung in Drittstaaten	Daten bleiben in Österreich, aber beim API-Betreiber	Daten bleiben vollständig in Ihrem Unternehmen
DSGVO	Nur vertraglich abgesichert, US-CLOUD-Act-Risiko	Konform, mit Auftragsverarbeitungsvertrag	Konform by Design, keine Datenweitergabe nötig
Kostenmodell	Laufend: Abo pro Nutzer bzw. Preis pro Token	Laufend: Preis pro Token	Einmalige Hardware-Investition, keine Token-Kosten
Abhängigkeit	Hoch. Preise, Nutzungsbedingungen und Modelle bestimmt der Anbieter	Mittel. Anbieterwechsel möglich, Betrieb bleibt extern	Keine. Ihre Hardware, freie Modellwahl, kein Lock-in
Integration & Betreuung	Selbst umzusetzen	Self-Service. Anwendungsfälle bauen Sie selbst	Durch uns: beraten, integriert und laufend betreut
Geeignet für	Unkritische Alltagsaufgaben ohne sensible Daten	Entwicklerteams, schneller Start ohne Investition	Sensible Daten, hohes Nutzungsvolumen, echte Souveränität

Wir liefern mehr als den Endpoint. Die Lösung kommt fertig und betreut, von der Modellauswahl über die Einrichtung bis zur Integration in Ihre Prozesse. Wo eine österreichische KI-API der bessere erste Schritt ist, sagen wir das ehrlich.

Was ist souveräne KI? Vier Stufen zur digitalen Souveränität

Souveräne KI bedeutet, dass Sie die Kontrolle über Daten, Modell und Infrastruktur behalten, unabhängig davon, wer die KI betreibt oder wo sie läuft. Der Weg dorthin verläuft meist stufenweise, nicht als einmaliger Umstieg:

Die Richtung ist erkennbar. In unseren Erstgesprächen kommt die Frage nach der Abhängigkeit von außereuropäischen Cloud-Anbietern seit dem EU AI Act deutlich häufiger von selbst auf, und sie kommt inzwischen auch aus Betrieben, die vorher kein Thema mit Datenschutz hatten. Für diese Bewegung hat sich der Begriff „Geopatriierung“ eingebürgert.

Stufe 1: US-Cloud-KI

ChatGPT & Co. direkt genutzt. Schnellster Einstieg, aber keine Datenhoheit: Daten verlassen die EU, US CLOUD Act greift.

Stufe 2: EU-/AT-Cloud-KI

KI-API aus Österreich oder der EU. Daten bleiben in der EU, DSGVO-konform per Auftragsverarbeitungsvertrag, aber weiterhin bei einem externen Betreiber.

Stufe 3: Private Cloud / Colocation

Eigene Hardware in einem zertifizierten österreichischen Rechenzentrum. Volle Datenhoheit, ohne eigenen Serverraum betreiben zu müssen.

Stufe 4: On-Premise

KI-Server im eigenen Haus. Die Daten verlassen das Gebäude nicht, und niemand außer Ihnen hat physischen Zugang zur Maschine.

Die meisten Unternehmen starten nicht bei Stufe 4 und müssen es auch nicht. Wir beraten ehrlich, welche Stufe für Ihr Nutzungsvolumen und Ihre Datensensibilität die wirtschaftlich sinnvolle ist, und begleiten den Übergang zur nächsten, wenn er sich lohnt.

Warum lokale KI der richtige Schritt ist

Volle Datenkontrolle

Personalakten, Verträge, Konstruktionszeichnungen. Wenn solche Dokumente in ein Sprachmodell gehen sollen, gibt es genau einen Weg, bei dem sie das Haus nicht verlassen: Das Modell läuft auf Ihrer Hardware.

Unabhängig von US-Tech

Preise und Nutzungsbedingungen eines US-Anbieters können sich über Nacht ändern, und politische Entscheidungen aus Washington reichen bis in Ihren Vertrag. Mit lokaler KI bleiben diese Risiken außen vor.

DSGVO-konform by Design

Keine Datenübermittlung in Drittstaaten, kein US CLOUD Act-Risiko. Lokale KI erfüllt DSGVO-Anforderungen bauartbedingt, nicht nur vertraglich versprochen.

Rund um die Uhr, ohne Token-Kosten

Der Server steht und rechnet, gleich wie viele Anfragen kommen. Statt einer Monatsrechnung, deren Höhe von der Nutzung abhängt, haben Sie eine Abschreibung und eine Stromrechnung.

Kein Vendor-Lock-in

Ein Cloud-Anbieter entscheidet über Preise und Modellstand, und ein abgekündigtes Modell zwingt Sie zum Umbau. Auf eigener Infrastruktur bestimmen Sie den Zeitpunkt selbst.

Freie Modellauswahl

Vom kompakten quelloffenen Modell bis zum Spezialmodell, das wir per Finetuning auf Ihr Haus zuschneiden, steht Ihnen alles offen, und ein Wechsel ist jederzeit möglich.

Unsere Leistungen im Bereich lokale KI

Von der ersten Beratung bis zum laufenden Betrieb begleiten wir Sie auf dem Weg zur eigenen KI-Infrastruktur.

Jonas Heschl und Bernhard Mayr im Serverraum, im Hintergrund zwei Techniker an den Racks

Beratung zu Vorteilen und Risiken

Bevor Sie in Hardware investieren, wollen Sie wissen: Lohnt sich das für mein Unternehmen? Welche Modelle kommen in Frage? Wo sind die Stolperfallen? Genau das klären wir in einer unabhängigen Beratung, ohne Produktempfehlung und ohne versteckte Interessen.

Kosten-Nutzen-Analyse: API-Kosten heute vs. Hardware-Invest und Break-even-Berechnung für Ihr Nutzungsvolumen
DSGVO- & Compliance-Check: Welche Ihrer Prozesse sind datenschutzkritisch? Wo schafft lokale KI echte Rechtssicherheit?
Risikoabwägung: Ehrliche Einschätzung, wann Cloud noch sinnvoll und wann lokal die bessere Wahl ist
Modellauswahl: Welches quelloffene Modell zu Ihren Anforderungen passt, und woran sich das entscheidet
Readiness-Assessment: Prüfung Ihrer bestehenden IT-Infrastruktur auf lokale KI-Eignung

Modell-Evaluierung & Benchmarking

Welches Open-Source-Modell passt wirklich zu Ihnen?

Die Auswahl an quelloffenen Modellen ist groß, und generische Ranglisten aus dem Internet sagen wenig über Ihren konkreten Anwendungsfall aus. Neben den bekannten Familien um Llama und Mistral kommt laufend Neues dazu. Bevor Sie sich festlegen, testen wir die in Frage kommenden Modelle an Ihren echten Aufgaben und Daten. Sie erhalten eine fundierte, herstellerunabhängige Empfehlung statt einer Bauchentscheidung.

Welche Modelle derzeit überhaupt auf eine einzelne Maschine passen, führt unsere Übersicht offener Sprachmodelle mit Parameterzahl, Lizenz und gerechnetem Speicherbedarf.

Anforderungsprofil: Ihre Anwendungsfälle, Qualitätsansprüche, Sprachen und Datentypen werden klar definiert
Kandidatenauswahl: Eine Vorauswahl der für Ihren Bedarf geeigneten Open-Source-Modelle
Test auf Ihren Daten: Evaluierung an Ihren realen Dokumenten und Aufgaben, nicht an generischen Benchmarks
Vergleich nach harten Kriterien: Antwortqualität, Geschwindigkeit, Hardware-/GPU-Bedarf und Kosten je Anwendungsfall
Dokumentierte Empfehlung: Modellempfehlung samt passender Hardware-Dimensionierung, als Grundlage für Ihre Investitionsentscheidung

Als kompakter Eval-Workshop buchbar. Der risikoarme erste Schritt vor jeder Hardware-Investition.

Konfiguration und Einrichten lokaler KI-Server

Wir richten Ihren KI-Server ein, von der Hardware-Auswahl bis zur betriebsbereiten Umgebung. Sie erhalten eine vollständig konfigurierte, dokumentierte Infrastruktur, die Ihre Mitarbeiter ab Tag eins nutzen können.

€ 7.000–14.000

Einstiegsklasse mit einer Workstation-GPU, Hardware und Einrichtung, für etwa 30 aktive Nutzer

€ 17.000–39.000

Mittelklasse mit Server-GPUs, für etwa 100 aktive Nutzer und größere Modelle

24–96 GB

VRAM-Bedarf je nach Modellgröße und Nutzerzahl

Hardware-Beschaffung & GPU-Auswahl: Welche Hardware für welchen Bedarf, und wir begleiten den Einkauf
Deployment-Stack: Aufbau mit Ollama, vLLM oder Open WebUI, je nach Anforderung und Teamgröße
Modell-Setup: Installation, Konfiguration und optionales Finetuning auf Ihre Unternehmensdaten
Sicherheits-Konfiguration: Netzwerkabsicherung, Zugriffsverwaltung, Logging und Audit-Trail
Übergabe mit Dokumentation: Ihr Team erhält eine vollständige Betriebsanleitung und Einschulung

Colocation & Serverhousing für KI-Server

Österreichisches Serverhousing in zertifizierten Rechenzentren

Wer seinen KI-Server nicht selbst im Serverraum betreiben will oder kann, stellt ihn in ein österreichisches Hochsicherheits-Rechenzentrum: echte Datensouveränität und trotzdem volle Kontrolle. Wir begleiten die gesamte Einrichtung und vermitteln den passenden Rechenzentrumsstandort in Österreich.

Rechenzentren in Österreich

Ihre Daten bleiben in der EU. Kein Zugriff durch US-Behörden (CLOUD Act-sicher).

ISO/IEC 27001 & EN 50600

Höchste internationale Zertifizierung für Informationssicherheit und Rechenzentrum-Infrastruktur.

Eigenes Glasfasernetz

Die Netzinfrastruktur im Inland und im angrenzenden Ausland gehört dem Betreiber selbst, keine Abhängigkeit von Drittanbietern.

GPU-as-a-Service möglich

Einstieg ohne eigene GPU-Hardware, skalierbar bis zum vollständigen Dedicated-Server-Hosting.

Disaster Recovery & Backup

Redundante Systeme, Backup-as-a-Service und Notfallwiederherstellung. Ihr KI-System läuft zuverlässig.

Langjähriges IT-Know-how

Lokaler österreichischer Ansprechpartner mit persönlichem Support und Bereitschaftsdienst.

Wir übernehmen die gesamte Koordination: Hardware-Lieferung, Rack-Einbau, Netzwerkkonfiguration und laufende Betreuung.

Einbindung der lokalen KI in Ihre Prozesse

Die KI ist installiert. Jetzt muss sie in Ihren Arbeitsalltag. Ein Sprachmodell, das isoliert läuft, schafft keinen Mehrwert. Wir integrieren Ihre lokale KI in bestehende Systeme und Abläufe, sodass Ihre Mitarbeiter sie täglich produktiv nutzen.

System-Integration: Anbindung an ERP, CRM, Microsoft 365, SharePoint, Teams und weitere Unternehmenstools
Interne KI-Assistenten: Aufbau unternehmenseigener Chatbots und Wissensassistenten auf Basis Ihrer Dokumente
Workflow-Automatisierung: Verbindung der lokalen KI mit bestehenden Prozessen, von der Dokumentenverarbeitung bis zur E-Mail-Analyse
Mitarbeiter-Onboarding: Praxisnahe Einschulung und Prompt-Engineering-Training für Ihr Team
Monitoring & Optimierung: Laufende Qualitätssicherung und Weiterentwicklung der Anwendungsfälle

Was ein LLM-Chatbot im Betrieb leistet und was er kostet, steht auf der eigenen Seite dazu. Verwandt: KI-Prozessautomatisierung und Technische Implementierung

Lokale KI aus Oberösterreich: vor Ort in Wels, Linz und Steyr

Lokale KI braucht einen Partner, der wirklich vor Ort ist. Von Wels und Linz aus übernehmen wir Beratung, Hardware-Einrichtung, Einschulung und laufende Betreuung bei Unternehmen in ganz Oberösterreich persönlich, vom Zentralraum Linz–Wels–Steyr bis ins Innviertel und Salzkammergut. Das Serverhousing erfolgt auf Wunsch in österreichischen, ISO-27001-zertifizierten Rechenzentren.

Mehr zu unserem regionalen Angebot: KI-Beratung Wels · KI-Beratung Linz · KI-Beratung Oberösterreich

Nachhaltige und energieeffiziente KI

KI verbraucht Energie. Wie viel, lässt sich aber gezielt beeinflussen. Lokale KI gibt Ihnen drei konkrete Hebel für einen kleineren Fußabdruck, ohne dass Sie bei der Leistung Kompromisse machen müssen.

Passend dimensionierte Modelle

Ein 8B-Modell auf einer einzelnen Karte zieht im Betrieb einen Bruchteil dessen, was ein Frontier-Modell für dieselbe Zusammenfassung braucht. Für die meisten Aufgaben im Büroalltag reicht das kleinere völlig.

Österreichischer Strommix

Österreich erzeugt seinen Strom zu einem großen Teil aus Wasserkraft und weiteren erneuerbaren Quellen. KI, die in Österreich läuft, profitiert damit von einem der saubereren Strommixe Europas.

Volle Kontrolle über den Verbrauch

Sie bestimmen selbst, wann und wie viel Rechenleistung läuft, statt Energie in der Überkapazität einer fremden Cloud zu verbrauchen, die Sie nicht steuern können.

Wir beziffern den erwartbaren Energie- und Kosteneffekt für Ihren konkreten Anwendungsfall ehrlich, inklusive der Tatsache, dass Anschaffung und Training von Hardware ebenfalls Ressourcen binden.

Lokale KI und Datensicherheit, zwei Seiten einer Medaille

Lokale KI schützt Ihre Daten nach außen. Aber auch intern braucht es klare Sicherheitskonzepte: Wer darf welche Daten an das Modell übergeben? Wie werden Ausgaben auditiert? Welche Risiken entstehen bei der Einbindung von KI in kritische Prozesse?

Mehr über LLM-Sicherheit und Datenschutz erfahren

Häufige Fragen zu lokaler KI-Infrastruktur

Was kostet ein lokaler KI-Server für ein mittelständisches Unternehmen?

Ein Einstiegs-Setup mit einer leistungsfähigen GPU trägt bis etwa 30 aktive Nutzer und kostet € 7.000–14.000, Hardware und Einrichtung zusammen. Die Mittelklasse mit Enterprise-GPUs für größere Modelle liegt bei € 17.000–39.000 und trägt bis etwa 100 aktive Nutzer. Was die Klasse nach oben treibt, ist dabei die Modellgröße und nicht die Zahl der Nutzer: Zwanzig aktive Nutzer erzeugen im Schnitt zwei gleichzeitige Anfragen, nicht zwanzig. Ob sich das rechnet, entscheidet eine Break-even-Rechnung gegen Ihre laufenden API- und Lizenzkosten. Bei zwanzig aktiven Nutzern amortisiert sich eigene Hardware in 9 bis 19 Monaten, Einrichtung und laufende Kosten eingerechnet. Unter 15 bis 20 aktiven Nutzern raten wir ab, dann dauert es zweieinhalb bis knapp fünf Jahre. Die ganze Rechnung samt Tabelle steht im Whitepaper zur lokalen KI; für Ihr konkretes Nutzungsvolumen rechnen wir sie in der Beratung. Diese Rechnung geht von der Nutzerzahl aus. Wer stattdessen ein festes Tokenvolumen gegen den API-Preis hält, findet diese zweite Rechnung mit Betriebskosten je Monat im Kostenvergleich gegen die Cloud-API.

Welche Hardware braucht lokale KI?

Entscheidend ist der Grafikspeicher (VRAM): Kompakte Sprachmodelle laufen bereits auf einer einzelnen Workstation-GPU mit 24 GB VRAM. Für größere Modelle oder viele gleichzeitige Nutzer braucht es Server-GPUs mit 48–96 GB VRAM oder Multi-GPU-Systeme. Wir dimensionieren die Hardware anhand Ihrer Anwendungsfälle, nicht umgekehrt, und begleiten die Beschaffung herstellerunabhängig.

Ist lokale KI DSGVO-konform?

Ja, und zwar bauartbedingt. Bei lokaler KI-Infrastruktur verlassen Ihre Daten weder Ihr Unternehmen noch die EU. Eine Übermittlung in Drittstaaten findet nicht statt, ein Zugriff über den US CLOUD Act läuft ins Leere, und zum Training fremder Modelle taugen Ihre Eingaben schon deshalb nicht, weil sie das Haus nie erreichen. Damit erfüllt lokale KI zentrale DSGVO-Anforderungen technisch statt nur vertraglich. Interne Punkte wie Zugriffsrechte und Löschkonzepte müssen dennoch geregelt werden. Das gehört zu unserem Einrichtungsumfang.

Lokale KI-Infrastruktur oder KI-API aus Österreich: was passt zu wem?

Eine österreichische KI-API ist der schnellste Einstieg: keine Hardware-Investition, Abrechnung pro Token. Dafür laufende Kosten und ein Self-Service-Modell, bei dem Sie Integration und Anwendungsfälle selbst bauen. Eigene lokale KI-Infrastruktur bedeutet maximale Datenhoheit bei planbaren Kosten, und die Modellwahl bleibt frei. Das ist sinnvoll ab regelmäßiger Nutzung und bei sensiblen Daten. Wir beraten anbieterunabhängig, integrieren beide Wege in Ihre Prozesse und betreuen den laufenden Betrieb.

Wie lange dauert die Einführung lokaler KI?

Von der Erstberatung bis zum produktiven System vergehen typischerweise vier bis zwölf Wochen: ein bis zwei Wochen für Beratung und Modell-Evaluierung, danach die Hardware-Beschaffung (abhängig von Lieferzeiten), etwa eine Woche für Einrichtung und Absicherung sowie die schrittweise Integration in Ihre Prozesse samt Team-Einschulung.

Was ist souveräne KI und wie unterscheidet sie sich von lokaler KI?

Souveräne KI beschreibt das Ziel: volle Kontrolle über Daten, Modell und Infrastruktur, unabhängig von einem einzelnen Anbieter. Lokale KI (on-premise oder in einem österreichischen Rechenzentrum betrieben) ist der konsequenteste Weg dorthin. Zwischenstufen wie eine EU-/AT-Cloud-KI-API sind bereits ein Schritt in Richtung Souveränität, lösen die Abhängigkeit von einem externen Betreiber aber nicht vollständig auf. Wir beraten, welche Stufe für Ihr Unternehmen wirtschaftlich sinnvoll ist.

Bietet we-make.ai lokale KI-Infrastruktur auch vor Ort in Wels, Linz und Steyr an?

Ja, und zwar persönlich vor Ort. Welche Standorte wir von Wels und Linz aus abdecken und was dabei remote läuft, steht oben im Abschnitt „Lokale KI aus Oberösterreich“.

Förderung verfügbar, Antragsfrist läuft

DIGITAL.PLUS 26: Bis zu € 7.000 Zuschuss für dieses Projekt

KMU mit Standort in Oberösterreich können dieses Projekt im Rahmen von DIGITAL.PLUS 26 mit einem Zuschuss von bis zu 35 % der Projektkosten (max. € 7.000) fördern lassen, sofern sie aktives Mitglied der WKO Oberösterreich sind. Projektstart ab sofort möglich, Antragstellung bis 2. November 2026.

Förderung prüfen

Bereit für Ihre eigene KI-Infrastruktur?

Im kostenlosen Erstgespräch sehen wir uns an, welche Ausbaustufe zu Ihrem Nutzungsvolumen passt. Wir rechnen dabei den Betrieb über drei Jahre durch, nicht nur die Anschaffung.

Kostenloses Beratungsgespräch vereinbaren Online Digitalisierungs-Check starten

Oder schreiben Sie uns direkt: [email protected] | +43 660 31 96 763