Vector and Embedding Weaknesses: Was im Vector Store einer RAG-Anwendung schiefgeht

Vector and Embedding Weaknesses ist der Sammelbegriff für die Schwachstellen, die entstehen, wenn eine KI-Anwendung ihre Antworten aus einem eigenen Dokumentenbestand zieht. OWASP hat LLM08 Vector and Embedding Weaknesses mit der Fassung 2025 neu in die Liste aufgenommen. Der Punkt setzt eine bestimmte Bauart voraus, nämlich Retrieval Augmented Generation (RAG), und trifft damit genau die Anwendungen, die im Unternehmen aus den eigenen Unterlagen antworten.

Wo das Unternehmenswissen dabei landet

Ein Assistent, der Fragen zu den eigenen Handbüchern beantworten soll, bekommt dafür keinen neuen Trainingslauf. Die Dokumente werden in Stücke zerlegt, jedes Stück wird in eine Reihe von Zahlen übersetzt, und diese Zahlen kommen in einen Vector Store (Vektorspeicher). Trifft eine Frage ein, wird auch sie in Zahlen übersetzt; ausgeliefert wird, was ihr am nächsten liegt. Welche Bauformen dafür in Frage kommen, steht auf der Seite zu LLM-Chatbots.

Damit liegt das Wissen des Unternehmens an einer zweiten Stelle, und diese Stelle ist eine Datenbank. Sie hat die Eigenschaften einer Datenbank und nicht die der Ablage, aus der sie gefüllt wurde.

Der Speicher, der keine Rechte kennt

In der Ablage hängt an jeder Datei, wer sie öffnen darf. Beim Indexieren wandert der Text in den Speicher, die Berechtigung von sich aus nicht. Zurück bleibt ein Bestand, in dem jedes Textstück für jede Frage gleich gut erreichbar ist, unabhängig davon, aus welchem Ordner es stammt.

OWASP verlangt für diesen Punkt Vector Stores, die Berechtigungen selbst kennen, dazu eine saubere Aufteilung der Datenbestände nach Nutzergruppen. Praktisch beginnt das bei der Aufnahme: Jedes Textstück bekommt die Herkunft und die Einstufung seines Dokuments als Merkmal mit, und wo mehrere Quellen in einen Bestand zusammenlaufen, ist vor dem Zusammenführen zu klären, welche Einstufung dabei gilt. Dass ein Assistent seine Rechte nicht aus dem Prompt beziehen kann, steht beim Punkt Sensitive Information Disclosure (OWASP LLM02). Hier geht es um die Stelle, an der sie stattdessen liegen.

Wie das in einer gebauten Anwendung aussieht, zeigt unser KI-Assistent DIALOG.pro: Er bezieht seine Rollen aus dem Verzeichnisdienst, der im Unternehmen ohnehin bereits entscheidet, wer welche Ablage öffnen darf.

Wenn mehrere Mandanten denselben Speicher teilen

OWASP beschreibt den Fall ausdrücklich: In einer Umgebung mit mehreren Mandanten taucht eine Textstelle aus dem Bestand der einen Gruppe in der Antwort für eine andere auf. Der Weg dorthin braucht keinen Angriff. Es genügt eine Suche, die über die Grenze hinweg Ähnlichkeiten findet, weil die Grenze im Speicher nicht abgebildet ist. Wer eine gemeinsame Installation betreibt, beantwortet diese Frage in der Datenhaltung und nicht am Modell.

Dieselbe Beschreibung nennt einen zweiten Fall, der ohne fremde Mandanten auskommt. Laufen Unterlagen aus mehreren Quellen zusammen, können darin Angaben stehen, die einander widersprechen. Eine alte Fassung verschwindet nicht dadurch, dass eine neue danebengelegt wird, und das Modell entscheidet nicht, welche gilt: Es bekommt beide vorgelegt. Was aus einer falschen Auskunft mit dem Anschein eines Belegs folgt, behandelt der Punkt Misinformation (OWASP LLM09). Die Ursache liegt hier, in einem Bestand, den niemand entrümpelt hat.

Was aus einem Embedding zurückzuholen ist

Ein Embedding (die Übersetzung eines Textes in Zahlen) sieht aus wie eine anonyme Form dieses Textes, und genau das ist es nicht. Die Zahlen sind so gewählt, dass sie die Bedeutung tragen. OWASP führt die Embedding Inversion als eigene Angriffsart auf: Aus den Vektoren lassen sich erhebliche Teile des Quellmaterials wiederherstellen.

Für die Praxis hat das eine schlichte Folge. Ein Vector Store ist so vertraulich zu behandeln wie die Dokumente, aus denen er entstanden ist. Das betrifft jede Kopie, auch die in einer Testumgebung, und es betrifft die Frage, bei wem der Speicher überhaupt liegt. Wer ihn mit der Begründung aus der Hand gibt, es stünden ja nur Zahlen darin, hat die Dokumente aus der Hand gegeben.

Das Dokument, das jemand präpariert hat

In die Knowledge-Base kommt eine Datei, in der eine Anweisung steht, die kein Mensch zu sehen bekommt. OWASP beschreibt den Fall an einer Bewerbung: weißer Text auf weißem Grund, darin die Aufforderung, alle vorherigen Anweisungen zu übergehen und diesen Bewerber zu empfehlen. Beim Einlesen landet der unsichtbare Teil im Bestand wie jeder andere Satz. Der Mechanismus dahinter ist die indirekte Prompt Injection (OWASP LLM01). Was diesen Punkt davon unterscheidet, ist der Ort, an dem die Anweisung liegen bleibt, nämlich im eigenen Bestand und nicht in einer einzelnen Anfrage.

Abfangen lässt sich das vor dem Speicher, bei der Textextraktion. Wer Unterlagen aus einer Quelle annimmt, über die er nicht bestimmt, prüft, was die Extraktion tatsächlich herausholt, und nicht, was die Seitenansicht zeigt. Die allgemeine Form dieser Manipulation, bis hin zum manipulierten Modell selbst, steht beim Punkt Data and Model Poisoning (OWASP LLM04).

Was ein Protokoll später wert ist

Für diesen Punkt verlangt OWASP unveränderliche Protokolle über die Abrufe aus dem Speicher. Ihr Nutzen zeigt sich erst im Streitfall. Behauptet jemand, der Assistent habe ihm eine Auskunft gegeben, die für ihn nicht bestimmt war, gibt es zwei Lagen: Entweder ist nachvollziehbar, welche Textstellen die Anwendung ihm vorgelegt hat, oder der Verdacht bleibt stehen und die Anwendung lässt sich nicht entlasten. Zeigt die Anwendung zu jeder Antwort das Herkunftsdokument, wie es DIALOG.pro tut, ist die eine Hälfte davon schon im Betrieb sichtbar. Die andere Hälfte liegt beim Betreiber und ist auch dann noch da, wenn den Verlauf niemand aufgehoben hat.

Fazit

Ein Vector Store erbt die Rechte der Ablage nicht, aus der er entstanden ist. Daran hängt der ganze Punkt: Was im Dateisystem selbstverständlich war, ist beim Indexieren neu herzustellen, und die Vertraulichkeit der Unterlagen gilt für die Zahlen genauso wie für den Text. Wer ein RAG-Projekt abnimmt, lässt sich deshalb zwei Dinge zeigen. Den Weg, auf dem eine Berechtigung vom Original bis in den einzelnen Treffer kommt. Und das Protokoll, das im Nachhinein sagt, wer welche Stelle zu sehen bekam.

Häufige Fragen

Was sind Vector and Embedding Weaknesses?

OWASP fasst unter LLM08 die Fehler zusammen, die eine Anwendung im Umgang mit ihrem Vector Store macht, vom Erzeugen der Vektoren bis zum Abruf. Die Bandbreite reicht von einer fehlenden Rechtetrennung bis zur Rückrechnung eines Textes aus seinen Vektoren. Gemeinsam ist den Fällen, dass nicht das Modell versagt, sondern der Bestand, aus dem es seine Auskunft bezieht.

Lässt sich aus einem Embedding der ursprüngliche Text rekonstruieren?

OWASP führt die Embedding Inversion unter LLM08 als eigene Angriffsart und hält fest, dass sich daraus erhebliche Teile des Ausgangsmaterials zurückgewinnen lassen. Zugang zur laufenden Anwendung braucht ein Angreifer dafür nicht, es genügt ihm der Speicher selbst oder eine seiner Sicherungen. Wo dieser Speicher liegt und wer ihn kopieren darf, ist damit eine Frage über die Unterlagen des Unternehmens und keine über eine Zahlenreihe.

Wie verhindert man, dass ein Assistent Dokumente aus fremden Bereichen ausgibt?

Die Rechtetrennung einer RAG-Anwendung entsteht beim Indexieren und nicht beim Antworten. Die Probe darauf ist schnell gemacht: Dieselbe Frage einmal mit vollem Zugriff und einmal ohne stellen und vergleichen, ob sich die Treffer unterscheiden oder nur deren Darstellung. Derselbe Weg muss rückwärts funktionieren: Wird ein Dokument gesperrt, gehören die Textstücke daraus im selben Zug aus dem Speicher, weil die Anwendung sonst aus einer Datei antwortet, die in der Ablage niemand mehr öffnen kann.

Worauf kommt es an, wenn mehrere Kunden auf derselben Installation arbeiten?

Für die Trennung mehrerer Mandanten gibt es zwei Bauarten mit sehr unterschiedlicher Haltbarkeit. Läuft sie über ein Feld im gemeinsamen Bestand, hält sie genau so lange, wie jede einzelne Abfrage dieses Feld korrekt setzt; ein eigener Speicher je Mandant nimmt diese Bedingung aus dem Spiel. Dazu kommt die Frage, wer den Bestand eines Mandanten wieder herauslöst, wenn ein Vertrag endet; im gemeinsamen Speicher ist das eine Löschung mitten im laufenden Betrieb. Mehr dazu im Überblick Datenschutz & KI-Sicherheit.