Chunkless RAG: Warum das Zerschneiden von Dokumenten das Problem ist

Stellen Sie sich vor, Sie geben einem Sprachmodell einen 200-seitigen Geschäftsbericht und stellen eine sehr konkrete Frage: „Was hat sich dieses Jahr an der Bilanzierungsmethode für Umsatzerlöse geändert, und wo begründet der Bericht diese Änderung?”

Das ist eine völlig normale Frage. Ein Mensch, der das Dokument kennt, beantwortet sie in zwei Minuten. Er schlägt das Inhaltsverzeichnis auf, blättert zum Abschnitt über Bilanzierungs- und Bewertungsmethoden, liest ihn und folgt gegebenenfalls einer Fußnote.

Die Maschine geht einen anderen Weg. Und dabei wirft sie ausgerechnet das weg, was die Frage einfach machen würde: die Struktur des Dokuments.

Wie klassisches RAG arbeitet und wo es an Grenzen stößt

Der Standardansatz heißt Retrieval Augmented Generation (RAG). Das Prinzip ist schnell erklärt:

1. Das Dokument wird in Stücke zerschnitten, sogenannte „Chunks”, etwa alle 500 Wörter oder pro Absatz.
2. Jeder Chunk wird in einen Vektor umgewandelt und in einer Vektordatenbank abgelegt.
3. Kommt eine Frage herein, wird auch sie in einen Vektor umgewandelt.
4. Das System liefert die Handvoll Chunks zurück, die der Frage am ähnlichsten sind.
5. Diese Fragmente landen im Kontext des Modells, das daraus seine Antwort formuliert.

Dieser Ansatz ist günstig, schnell und für sehr viele Anwendungsfälle ausreichend. Wir setzen ihn selbst in zahlreichen Projekten ein.

Die Grenze zeigt sich bei einem einzelnen, großen, strukturierten Dokument. In dem Moment, in dem Sie es in Chunks zerlegen, verwerfen Sie die Information darüber, wie es zusammengesetzt war:

• Eine Überschrift wird von den Absätzen getrennt, die sie eingeleitet hat.
• Eine Tabelle wird von den Sätzen abgeschnitten, die erklären, was sie bedeutet.
• Liegt die Antwort über mehrere Abschnitte verteilt, hat die Ähnlichkeitssuche keinerlei Anhaltspunkt dafür, dass diese Abschnitte zusammengehören. Sie hat immer nur kleine, isolierte Textblöcke miteinander verglichen.

Das Ergebnis: Das Modell bekommt Fragmente und muss raten, wie sie zueinander stehen. In dieser Lücke entstehen die Antworten, die plausibel klingen, aber aus zusammenhanglosen Bruchstücken zusammengesetzt sind.

Das Dokument war nie ein Haufen Text

Dabei war dieses Dokument von Anfang an keine flache Textmasse. Jemand hat es als Struktur geschrieben.

Es gibt einen Titel, Überschriften, Abschnitte und Unterabschnitte, darunter Absätze, Tabellen und Abbildungen, alles eingeordnet in eine Baumstruktur. Der Autor hat die Information bereits für Sie organisiert.

Chunking nimmt diesen Baum und plättet ihn, damit eine Ähnlichkeitssuche über die flachen Abschnitte laufen kann. Anschließend investieren wir erheblichen Aufwand in Re-Ranking, Kontextanreicherung und Parent-Document-Retrieval, um die Beziehungen wiederherzustellen, die die ganze Zeit schon dagewesen wären.

Der andere Weg: den Baum behalten und navigieren

Die Alternative ist naheliegend, sobald man sie einmal ausgesprochen hat: Das Dokument nicht plätten, sondern den Baum behalten und das Modell sich zur richtigen Stelle durchdenken lassen, statt über Ähnlichkeit zu matchen.

Überlegen Sie, wie Sie die Frage nach der Umsatzrealisierung selbst beantworten würden. Sie lesen nicht 200 Seiten. Sie öffnen das Inhaltsverzeichnis, suchen den Abschnitt zu den Bilanzierungsmethoden, blättern hin und lesen genau diese eine Stelle. Verweist sie auf eine Fußnote, folgen Sie dem Verweis. Sie navigieren durch das Dokument.

Dieses Vorgehen lässt sich einem KI-Agenten beibringen:

1. Er startet mit einer Gliederung des Baums, in der jeder Abschnitt mit einer kurzen Zusammenfassung versehen ist. So sieht er die Form des Dokuments, ohne den Fließtext zu lesen.
2. Er überlegt, welcher Abschnitt die Antwort am wahrscheinlichsten enthält, öffnet ihn und liest ihn.
3. Reicht das aus, beantwortet er die Frage. Wenn nicht, wählt er den nächsten Abschnitt und arbeitet sich Schritt für Schritt weiter, bis er hat, was er braucht.

Zwei Vorteile, die mit flachen Chunks kaum zu erreichen sind

Erstens: Der Kontext kommt gratis mit. Wenn der Agent einen Absatz liest, weiß er weiterhin, in welchem Abschnitt und in welchem Unterabschnitt dieser Absatz steht, schließlich ist er den Baum entlanggegangen. Die Überschriften darüber sind Teil seines Pfades. Ein per Ähnlichkeitssuche gezogener Chunk hat dagegen keine Ahnung, woher er stammt.

Zweitens: Abschnittsübergreifende Fragen werden beantwortbar. Wenn die Richtlinie in einem Abschnitt definiert wird und die Begründung drei Abschnitte später steht, kann der Agent seine Position halten, den anderen Ast lesen und zurückkommen. Er bewegt sich auf einer Karte. Die Ähnlichkeitssuche reicht Ihnen nur die Teile, die zufällig ähnlich zur Anfrage aussehen.

Weniger Kontext, aber der richtige

Ein häufiges Missverständnis: Der Agent macht insgesamt nicht weniger Arbeit. Den Baum abzulaufen bedeutet mehrere Durchgänge, und die summieren sich.

Was sich ändert, ist was am Ende vor dem Modell liegt, bevor es antwortet. Statt des gesamten Dokuments oder einer Handvoll Chunks, die ihren Platz im Dokument verloren haben, bekommt das Modell einen relevanten Abschnitt, samt seiner Überschrift. Es argumentiert über das richtige Material in der richtigen Form. Und das bedeutet in der Praxis sauberere Antworten mit deutlich weniger jener Momente, in denen aus unverbundenen Fragmenten etwas erfunden wird.

Die harte Voraussetzung: Sie brauchen erst einmal den Baum

Alles bisher Beschriebene setzt voraus, dass die Struktur tatsächlich vorliegt. Und das ist der schwierige Teil.

Die meisten Dokumente kommen als PDF an. Ein PDF ist im Kern nichts anderes als eine Anweisungsliste, welche Zeichen und Grafiken an welcher Position auf einer Seite zu platzieren sind. Eine saubere Struktur, durch die man navigieren könnte, steht dort nicht drin.

Hier setzt Docling an, ein Open-Source-Projekt für Dokumentenverarbeitung. Sie geben ein PDF hinein und erhalten ein Docling-Dokument zurück: einen strukturierten Baum mit echten Abschnitten und Überschriften, erhaltener Lesereihenfolge und Tabellen, die noch Tabellen sind. Das PDF-Format begräbt die Hierarchie, die der Autor angelegt hat – Docling rekonstruiert sie.

Liegt dieses Objekt einmal vor, kann direkt auf der Struktur gearbeitet werden: schreiben, bearbeiten, Felder extrahieren, Abschnitte anreichern. Und es lässt sich die oben beschriebene Navigation umsetzen. Das Projekt nennt diesen Ansatz Chunkless RAG.

Der Name trifft es gut. Das Ziel ist dasselbe wie bei klassischem Retrieval: das richtige Material finden und die Antwort darin verankern. Nur der Weg dorthin ist ein anderer. Es wird über die Dokumentstruktur argumentiert, statt das Dokument zu zerhacken und über Ähnlichkeit zu vergleichen. Es ist weiterhin Retrieval – es hält das Dokument dabei nur ganz.

Was der Ansatz kostet

Ehrlichkeit gehört zu jeder Architekturentscheidung. Chunkless RAG ist nicht umsonst:

• Sie brauchen einen guten Baum. Reale Dokumente in saubere Struktur zu parsen ist ein schwieriges Problem, und dort steckt der Großteil des Engineering-Aufwands.
• Mehr Modellaufrufe. Sich durch eine Struktur zu denken erfordert deutlich mehr Hin und Her mit dem Modell als ein einzelner Vektor-Lookup. Das bedeutet: höhere Latenz und mehr Calls.

Chunk-basiertes Retrieval bleibt deshalb in vielen Fällen weiterhin das richtige Werkzeug. Wenn Sie Millionen von Dokumenten haben und eine unscharfe „Finde mir irgendetwas zu Thema X”-Frage beantworten wollen, ist die Ähnlichkeitssuche kaum zu schlagen.

Der strukturierte Ansatz verdient sich seinen Aufwand bei langen, gut organisierten Dokumenten, bei denen Präzision zählt und es auf die Verbindungen zwischen den Teilen ankommt: Geschäftsberichte, Verträge, Normen, technische Spezifikationen, Ausschreibungsunterlagen, Betriebsvereinbarungen.

In vielen realen Systemen kombinieren Sie beides: Ähnlichkeitssuche, um das richtige Dokument zu finden – Struktur, um darin zu navigieren.

Fazit: Die eigentliche Entscheidung

Beide Verfahren sind Retrieval. Die Frage ist nicht, ob Sie RAG einsetzen, sondern:

Zerschneiden Sie das Dokument in Stücke und matchen über Ähnlichkeit? Oder halten Sie es ganz und denken sich durch seine Struktur?

Der Autor Ihres Dokuments hat die Karte längst gezeichnet. Ein Werkzeug wie Docling gibt sie Ihnen zurück, und ein Agent kann ihr folgen.

Für Unternehmen heißt das ganz praktisch: Bevor Sie das nächste Mal an Chunk-Größen, Overlap-Parametern und Re-Ranking-Modellen schrauben, lohnt die Frage, ob Sie nicht ein Strukturproblem mit statistischen Mitteln zu reparieren versuchen.

„Die Struktur eines Dokuments ist keine Formatierung. Sie ist die Wissensorganisation des Autors und damit die beste Suchhilfe, die Sie bekommen können.”

Sie wollen Ihre Fachdokumente, Verträge oder Berichte per KI-Assistent zugänglich machen, DSGVO-konform und auf eigener Infrastruktur? Lernen Sie DIALOG.pro kennen.