Dokumentvorbereitung für RAG

Sauberere Dokumente für RAG-Pipelines vorbereiten

Verwandeln Sie gemischte Office-Dateien in konsistentes Markdown vor Chunking, Embeddings und Retrieval.

Ein Dokument vorbereiten Ein RAG-Testdokument herunterladen

Keine Anmeldung für die ersten Konvertierungen · Dateien werden vorübergehend verarbeitet · Es gelten die Limits Ihres Plans

Dokument hier ablegenPDF · DOCX · PPTX · XLSX und mehrKonverter öffnen

Warum es diese Seite gibt

Ein Retrieval-System kann keine Struktur wiederherstellen, die während der Ingestion verloren ging oder verunreinigt wurde. Wiederholte Kopfzeilen, eine zerbrochene Lesereihenfolge und inkonsistente Extraktion können schwache Chunks erzeugen, noch bevor Embeddings erstellt werden.

TokenPig bietet eine einfache Vorverarbeitungsschicht: Wandeln Sie unterstützte Dokumente in lesbares Markdown um, prüfen Sie das Ergebnis und geben Sie den bereinigten Text dann an Ihre eigene Chunking- und Indexierungs-Pipeline weiter.

Was Sie erhalten

Ein saubererer Weg von der Datei zu nützlichem Kontext

Konsistentes Quellformat

Normalisieren Sie PDFs, Word-Dateien, Folien und Tabellen zu einer gemeinsamen Textdarstellung.

Sichtbare Ingestion-Qualität

Prüfen Sie das tatsächliche Markdown, bevor es in einen Vektorspeicher oder Retrieval-Index gelangt.

Bessere Chunk-Grenzen

Nutzen Sie Überschriften und Listen als Signale, statt sich nur auf willkürliche Zeichenzahlen zu verlassen.

Weniger nachgelagertes Rauschen

Entfernen Sie wiederholte Inhalte, die doppelte oder irreführende Retrieval-Ergebnisse erzeugen können.

So verwenden Sie es

Ein paar Schritte, mit einer Prüfung, bevor Sie dem Ergebnis vertrauen

01
Repräsentative Dokumente wählen
Testen Sie die schwierigsten Beispiele Ihres Korpus, nicht nur saubere Demo-Dateien.
02
In Markdown konvertieren
Normalisieren Sie die Quelle und bewahren Sie dabei Überschriften, Listen und nützliche Tabellen.
03
Metadaten hinzufügen
Hängen Sie Quelle, Datum, Zugriffsebene, Dokumenttyp und stabile Kennungen in Ihrer Ingestion-Schicht an.
04
Chunken und auswerten
Erstellen Sie Chunks, führen Sie Retrieval-Tests durch und prüfen Sie, ob bei echten Fragen die richtigen Passagen erscheinen.

Gut geeignet

Nützlich, wenn Sie

Interne Richtlinien- und Verfahrenssuche
Wissensabruf für den Kundensupport
Assistenten für technische Dokumentation
Forschungsbibliotheken und Prototypen für Dokumentenintelligenz

Grenzen

Was Sie ehrlich prüfen sollten

TokenPig ist ein Vorverarbeitungswerkzeug, keine vollständige Vektordatenbank, kein Embedding-Dienst und kein Retrieval-Evaluator.
Die Markdown-Konvertierung ersetzt kein Metadaten-Design, keine Zugriffskontrolle, keine Deduplizierung und keine Versionsverwaltung.
Tabellen, Diagramme und Scans können für kritische Anwendungsfälle eine spezialisierte Extraktion erfordern.
Die Chunk-Qualität muss anhand echter Fragen und erwarteter Antworten bewertet werden.

Selbst testen

Nutzen Sie ein bekanntes Beispiel vor Ihrer eigenen Datei

Laden Sie das Beispiel herunter, lassen Sie es durch TokenPig laufen und prüfen Sie das Markdown selbst, bevor Sie ihm wichtige Dokumente anvertrauen.

Ein RAG-Testdokument herunterladen Konverter öffnen

FAQ

Fragen speziell zu diesem Workflow

Ist Markdown für RAG erforderlich?

Nein. RAG-Systeme können viele Formate aufnehmen, aber Markdown ist nützlich, weil es lesbar, strukturiert und mit Standardwerkzeugen leicht zu verarbeiten ist.

Erstellt TokenPig Embeddings?

Nein. Diese Seite konzentriert sich auf die Vorbereitung des Quellinhalts vor Ihren eigenen Schritten für Chunking, Embeddings und Indexierung.

Wie sollte ich Markdown chunken?

Beginnen Sie mit semantischen Grenzen wie Überschriften und Abschnitten und wenden Sie Größenlimits und Überlappung nur dort an, wo nötig. Bewerten Sie das Retrieval, statt eine universelle Chunk-Größe anzunehmen.

Welche Metadaten sollte ich behalten?

Behalten Sie mindestens eine stabile Quell-ID, den Titel, die Dokumentversion, das Datum, Berechtigungen und einen Link zurück zur Originaldatei.

Kann ich ein großes Korpus verarbeiten?

Der aktuelle öffentliche Ablauf ist auf die Konvertierungslimits für Dokumente ausgelegt. Stapelverarbeitung und API-Fähigkeiten sollten dem Plan und den beim Deployment tatsächlich verfügbaren Funktionen entsprechen.

Sauberere Dokumente. Besserer Kontext.

Ein Dokument vorbereiten

Beginnen Sie mit einer echten Datei, prüfen Sie das Ergebnis und behalten Sie die Originalquelle zur Verifizierung.

TokenPig kostenlos testen