Es war einmal in einem verborgenen Winkel Oberösterreichs, wo die Wälder tief und die Träume groß sind, ein kleiner, aufgeweckter Troll namens Marli. Marli war kein gewöhnlicher Waldtroll. Ihn beschäftigte etwas, das selbst in der magischen Welt als absonderlich galt: Large Language Models (große Sprachmodelle), kurz LLMs. Er wollte wissen, wie diese Maschinen zu ihren Sätzen kommen. Und er wollte ein Modell finden, dem ein Betrieb in seiner Heimat seine Unterlagen anvertrauen konnte.

Die Suche im Land

Eines Morgens schnürte Marli sein Bündel. Sein Ziel war ein Sprachmodell aus Österreich, und er stellte sich darunter etwas vor, das hier erdacht und hier gebaut worden war. Denn er hatte gehört, die bekanntesten Modelle würden von Konzernen jenseits des Atlantiks betrieben. Wer ihnen etwas erzähle, erzähle es über den Ozean.

Auf seiner Wanderung durch die Landschaften des Landes traf er viele weise Wesen, und alle redeten von den Sprachmodellen. Keines davon konnte ihm erklären, wie so ein Modell zu seinen Antworten kommt. Keines konnte ihm eines nennen, das hier zu Hause war. So zog Marli mit zwei Fragen weiter, wo er mit einer aufgebrochen war.

Was die Eule über die Sprachmodelle wusste

Tief im Mühlviertel saß eine Eule auf einem morschen Ast und hörte sich beide Fragen an.

„Ein Sprachmodell zaubert nicht“, sagte sie. „Es hat sehr viele Texte gelesen und dabei immer dieselbe Übung gemacht: zu einem angefangenen Satz das nächste Wort zu raten. Wer das lange genug übt, trifft erstaunlich gut. Am Ende steht eine Maschine, die zu jeder Frage eine Fortsetzung findet, die klingt wie etwas, das schon einmal jemand geschrieben hat.“

Marli überlegte. „Dann weiß es also alles, was in diesen Texten stand?“

„Es weiß gar nichts“, antwortete die Eule. „Es hat ein Gefühl dafür, wie Sprache weitergeht. Über deinen Wald hat es nie etwas gelesen, über die Rechnungen eines Betriebs in Wels erst recht nicht. Wer darüber Auskunft haben will, muss dem Modell die Unterlagen vorlegen, bevor er fragt. Die Tüftler nennen das Retrieval Augmented Generation. Das Modell sucht die passende Stelle im Bestand des Hauses heraus und antwortet aus ihr.“

„Und wenn es die Stelle nicht findet?“

„Dann rät es weiter, und darin liegt die Tücke.“ Die Eule sah ihn ernst an. „Ein Sprachmodell trägt eine falsche Auskunft im selben ruhigen Ton vor wie eine richtige. Seine Stimme zittert nicht. Wer eine Antwort ungeprüft weiterreicht, hat sein Problem deshalb nicht in der Maschine, er hat es im eigenen Ablauf.“

Was die Eule über den Ort der Daten sagte

„Und mein Sprachmodell aus Österreich?“, fragte Marli. „Gibt es das?“

Die Eule schwieg einen Augenblick. „Du suchst am falschen Merkmal. Ein Modell hat keinen Pass. Von den guten Modellen sind viele quelloffen. Ihre Gewichte liegen frei zugänglich, und betreiben darf sie jeder. Die Frage ist also nicht, wer ein Modell gebaut hat. Die Frage ist, wo es arbeitet, wenn du ihm etwas erzählst.“

„Dann muss es in Österreich stehen“, sagte Marli.

„Es muss in einem Rechtsraum stehen, dessen Regeln du kennst. Die DSGVO gilt im ganzen Europäischen Wirtschaftsraum, und ein Rechenzentrum in Frankfurt bricht sie nicht, bloß weil es nicht in Linz steht. Was zählt, ist die Kontrolle. Du musst wissen, wohin deine Eingaben gehen, wer sie sehen darf und wie lange sie bleiben. Am dichtesten ist diese Kontrolle, wenn das Modell auf Hardware im eigenen Haus läuft. Dann verlässt keine einzige Frage das Grundstück.“

Marli bedankte sich und ging. Er hatte seine Suche nicht aufgegeben, er hatte sie nur umgestellt.

Das Ende der Reise

Nach vielen Monaten und vielen Abenteuern kam Marli in Wels an, westlich von Linz, wo er das Ende seiner Reise gar nicht vermutet hatte. In Linz forscht Sepp Hochreiter, dessen Arbeiten zu den Grundlagen der heutigen Sprachmodelle zählen, und wer im Land nach Sprachmodellen fragt, wird zuerst dorthin geschickt.

In Wels traf Marli auf eine Gruppe Tüftler, die genau das taten, was die Eule beschrieben hatte. Eigene Sprachmodelle bauten sie nicht, das überließen sie anderen. Sie nahmen ein quelloffenes Modell und stellten es dorthin, wo die Daten ihres Auftraggebers stehen durften. Dann gaben sie ihm Zugriff auf den Dokumentenbestand des Hauses. Ihr Werkstück trug den Namen DIALOG.pro.

Marli ließ sich die Werkstatt zeigen. Das Modell lief wahlweise in einem österreichischen Rechenzentrum, in einem deutschen Rechenzentrum von Hetzner oder auf Hardware beim Auftraggeber selbst. Zwischen dem Menschen und dem Modell saß ein Prüfer, der jede Eingabe auf Manipulationsversuche ansah und jede Ausgabe daraufhin, ob sie etwas preisgab, das der Fragende nicht sehen durfte. Ein Berechtigungskonzept bildete die Rollen des Hauses ab, damit im Chat niemand las, was in einer fremden Abteilung lag.

„Das ist kein Zauber“, sagte einer der Tüftler, als Marli staunte. „Das ist Handwerk. Zauberei wäre es erst, wenn es ohne die Aufräumarbeit an den Unterlagen ginge.“

So fand Marli sein Geheimnis, und das Geheimnis war, dass es keines gab.

Das Vermächtnis der Suche

Marli blieb bei den Tüftlern und half ihnen, das Wissen über die Sprachmodelle weiterzutragen. Am liebsten erzählte er die Stelle mit dem geratenen Wort. Sie nahm den Zuhörern den Schrecken und ließ ihnen die Vorsicht, und das schien ihm die richtige Mischung für eine junge Technik.

Und so lebte Marli weiter in seinem Winkel Oberösterreichs, um eine Erkenntnis reicher: Das Geheimnis der großen Sprachmodelle liegt nicht in ihrer Magie, sondern in der Sorgfalt derer, die sie betreiben.

Was hinter dem Märchen steht

Drei Punkte der Geschichte begegnen uns in der Beratung jeden Monat. Ein Sprachmodell kennt Ihr Unternehmen nicht, solange ihm niemand Ihre Unterlagen zugänglich macht. Es formuliert eine falsche Auskunft genauso überzeugend wie eine richtige, weshalb jede Anwendung eine Stelle braucht, an der jemand das Ergebnis gegen etwas hält. Über den Datenschutz entscheidet der Betriebsort und nicht die Nationalität des Modells.

Welche Wege zu einem Sprachmodell im europäischen Rechtsraum führen, ordnet die Seite zu den KI-Sprachmodellen aus Österreich ein. Wie eine Installation im eigenen Serverraum dimensioniert wird, steht auf der Seite zur lokalen KI. Und das Werkstück aus der Geschichte gibt es wirklich: DIALOG.pro ist der KI-Assistent, den wir in Wels für Unternehmen aufsetzen.