Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ολοκλήρωση OCR + RAG

Μάθημα 15 / 16 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Δημιουργία ενός έξυπνου συστήματος εγγράφων
  2. Η αρχιτεκτονική των πέντε βημάτων
  3. Βήμα 1: Εξαγωγή χωρίς απώλειες
  4. Βήμα 2: Τμηματοποίηση εκεί που το επιτρέπει το έγγραφο
  5. Βήμα 3: Διανυσματοποίηση και αναζήτηση
  6. Βήμα 4: Δημιουργία απάντησης με πηγές
  7. Από το πρωτότυπο στη διανυσματική βάση δεδομένων
  8. Βασικά σημεία

Ενημέρωση 2 Νοεμβρίου 2026 — OCR. Το OCR 4.0 (mistral-ocr-4-0) αποσύρθηκε στις 30 Σεπτεμβρίου 2026. Χρησιμοποιήστε το OCR 4.1 (mistral-ocr-4-1), το οποίο είναι γενικά διαθέσιμο από τις 31 Αυγούστου στην ίδια τιμή, ή το ψευδώνυμο mistral-ocr-latest, το οποίο δείχνει σε αυτό από τις 16 Ιουλίου. Το OCR 4.1 προσθέτει βαθμολογίες εμπιστοσύνης σε επίπεδο μπλοκ. Προσθήκη 3 Νοεμβρίου 2026: Ένα τοπικό αρχείο PDF μεταδίδεται σε base64 ως {"type": "document_url", "document_url": "data:application/pdf;base64,…"}· ο τύπος document_base64 από παλαιότερα παραδείγματα δεν υπάρχει ούτε στην τεκμηρίωση ούτε στο SDK mistralai, και εκείνα τα παραδείγματα θα απέτυγχαν. Πηγές: Επεξεργαστής OCR · Ερωταποκρίσεις Εγγράφων. Προσθήκη 3 Νοεμβρίου: Οι σχολιασμοί εικόνων διαβάζονται από το image.image_annotation (SDK mistralai 3.7.0), όχι από το image.annotation.

Δημιουργία ενός έξυπνου συστήματος εγγράφων

Η Επαυξημένη Δημιουργία μέσω Ανάκτησης (RAG) είναι η τεχνική που καθιστά ερωτήσιμες μεγάλες συλλογές εγγράφων. Συνδυάζοντας το OCR της Mistral, τα ενσωματώματα (embeddings) και μια διανυσματική βάση δεδομένων, δημιουργείτε ένα σύστημα ικανό να απαντά σε ερωτήσεις σχετικά με τα αρχεία σας—δέκα χρόνια εκθέσεων, ένα αποθετήριο συμβάσεων ή μια ψηφιοποιημένη τεχνική βιβλιοθήκη.

Γιατί να χρησιμοποιήσετε OCR αντί να ευρετηριάσετε τα αρχεία ως έχουν; Επειδή η θεμελιώδης πρόκληση του RAG εγγράφων είναι ότι τα τμήματα που ευρετηριάζονται πρέπει να είναι κείμενο. Τα πολυτροπικά ενσωματώματα δεν είναι ακόμη αρκετά αποδοτικά για να συγκρίνουν άμεσα ερωτήσεις κειμένου με εικόνες εγγράφων. Το OCR λειτουργεί ως γέφυρα: μετατρέπει τα έγγραφά σας σε δομημένο κείμενο υψηλής ποιότητας, το οποίο στη συνέχεια ευρετηριάζετε στη διανυσματική σας βάση δεδομένων.

Η αρχιτεκτονική των πέντε βημάτων

Όλα ξεκινούν με την εισαγωγή, δηλαδή τη λήψη εγγράφων, είτε αυτά φτάνουν ως PDF, εικόνες ή αρχεία DOCX. Ακολουθεί το OCR με σχολιασμούς, παράγοντας τόσο κείμενο όσο και δομημένα μεταδεδομένα. Η τμηματοποίηση κόβει αυτό το κείμενο σε συνεκτικά τμήματα, η ενσωμάτωση τα μετατρέπει σε διανύσματα και τα αποθηκεύει στη διανυσματική βάση, και το ερώτημα κλείνει τον κύκλο: σημασιολογική αναζήτηση μεταξύ των διανυσμάτων, ακολουθούμενη από τη δημιουργία απάντησης. Κάθε βήμα καθορίζει το επόμενο, και η εξαγωγή καθορίζει τα πάντα· αν το OCR το χάσει, καμία αναζήτηση δεν θα το βρει.

Οι παρακάτω ενότητες λεπτομερούν τον κώδικα για τα τέσσερα βήματα που θα γράψετε εσείς· η εισαγωγή εξαρτάται από το δικό σας σύστημα λήψης.

Βήμα 1: Εξαγωγή χωρίς απώλειες

Η κλήση OCR εδώ είναι διαμορφωμένη για RAG, κάτι που φαίνεται σε τρεις επιλογές. Το table_format="markdown" διατηρεί τους πίνακες σε μορφή αναγνώσιμη από το LLM. Ο σχολιασμός πλαισίου οριοθέτησης (bounding box) περιγράφει τις εικόνες, και ο κώδικας στη συνέχεια αντικαθιστά κάθε αναφορά ![image](image) με την περιγραφή κειμένου της: ένα διάγραμμα κατανομής εσόδων γίνεται μια ευρετηριάσιμη πρόταση αντί για κενό στο κείμενο. Τέλος, το include_image_base64=False αποφεύγει τη λήψη megabytes pixel που ο δείκτης δεν έχει κανένα λόγο να χρησιμοποιήσει.

import os
import base64
from mistralai.client import Mistral
from mistralai.extra import response_format_from_pydantic_model
from pydantic import BaseModel, Field
from typing import Optional

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

class DescriptionImage(BaseModel):
    type_image: str = Field(..., description="Type: graph, table, photo, logo")
    description: str = Field(..., description="Content description")

def extraire_document_enrichi(chemin: str) -> list[dict]:
    """Extracts enriched content from a document for RAG."""
    with open(chemin, "rb") as f:
        doc_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = client.ocr.process(
        model="mistral-ocr-latest",
        document={
            "type": "document_url",
            "document_url": f"data:application/pdf;base64,{doc_b64}"
        },
        table_format="markdown",
        bbox_annotation_format=response_format_from_pydantic_model(
            DescriptionImage
        ),
        include_image_base64=False  # Images not needed for RAG
    )

    pages = []
    for page in response.pages:
        contenu = page.markdown

        # Replace image references with their descriptions
        for image in page.images:
            if image.image_annotation:
                desc = DescriptionImage.model_validate_json(
                    image.image_annotation
                )
                placeholder = f"![{image.id}]({image.id})"
                remplacement = (
                    f"[{desc.type_image}: {desc.description}]"
                )
                contenu = contenu.replace(placeholder, remplacement)

        pages.append({
            "page": page.index + 1,
            "contenu": contenu,
            "header": page.header or "",
            "footer": page.footer or "",
        })

    return pages

Βήμα 2: Τμηματοποίηση εκεί που το επιτρέπει το έγγραφο

Η διαίρεση κάθε χιλιάδες χαρακτήρες κόβει στη μέση μιας πρότασης και χωρίζει έναν τίτλο από το περιεχόμενό του. Επειδή το OCR σας δίνει Markdown, εκμεταλλευτείτε τη δομή του: η συνάρτηση πρώτα τμηματοποιεί με βάση τις επικεφαλίδες δεύτερου επιπέδου, διατηρεί ολόκληρη την ενότητα μόνο αν χωράει στο μέγιστο μέγεθος, και καταφεύγει σε παραγράφους μόνο όταν υπάρχει υπέρβαση. Κάθε τμήμα διατηρεί έτσι την επικεφαλίδα της ενότητάς του, γεγονός που βελτιώνει σημαντικά τη συνάφεια της σημασιολογικής αναζήτησης.

def chunker_par_sections(
    texte: str,
    taille_max: int = 1000,
    chevauchement: int = 200
) -> list[str]:
    """Splits text respecting Markdown sections."""
    sections = texte.split("\n## ")
    chunks = []

    for section in sections:
        if not section.strip():
            continue

        # Reconstruct section heading
        if not section.startswith("## "):
            section = "## " + section

        if len(section) <= taille_max:
            chunks.append(section)
        else:
            # Sub-split by paragraphs
            paragraphes = section.split("\n\n")
            chunk_courant = ""

            for para in paragraphes:
                if len(chunk_courant) + len(para) > taille_max:
                    if chunk_courant:
                        chunks.append(chunk_courant.strip())
                    chunk_courant = para
                else:
                    chunk_courant += "\n\n" + para

            if chunk_courant:
                chunks.append(chunk_courant.strip())

    return chunks

Βήμα 3: Διανυσματοποίηση και αναζήτηση

Η ευρετηρίαση μετατρέπει κάθε τμήμα σε διάνυσμα με το mistral-embed και αποθηκεύει, μαζί με το διάνυσμα, το όνομα του εγγράφου και το ID του τμήματος—χωρίς αυτά τα μεταδεδομένα, μπορείτε να απαντήσετε αλλά όχι να αναφέρετε πηγές. Η αναζήτηση μετατρέπει την ερώτηση σε διάνυσμα με τον ίδιο τρόπο, και στη συνέχεια υπολογίζει την ομοιότητα συνημιτόνου κανονικοποιημένη με τα μέτρα και των δύο διανυσμάτων, αποτρέποντας ένα μεγάλο τμήμα να «κερδίσει» απλώς επειδή είναι μεγάλο.

import numpy as np

def creer_index(documents: dict[str, list[dict]]) -> list[dict]:
    """Creates a vector index from extracted documents."""
    index = []

    for nom_doc, pages in documents.items():
        # Concatenate all pages
        texte_complet = "\n\n".join(p["contenu"] for p in pages)

        # Chunking
        chunks = chunker_par_sections(texte_complet)

        for i, chunk in enumerate(chunks):
            # Embedding
            response = client.embeddings.create(
                model="mistral-embed",
                inputs=[chunk]
            )

            index.append({
                "document": nom_doc,
                "chunk_id": i,
                "texte": chunk,
                "embedding": np.array(response.data[0].embedding),
                "page": pages[0]["page"] if pages else 0,
            })

    return index


def rechercher_chunks(
    question: str,
    index: list[dict],
    top_k: int = 5
) -> list[dict]:
    """Searches for the most relevant chunks."""
    response = client.embeddings.create(
        model="mistral-embed",
        inputs=[question]
    )
    q_emb = np.array(response.data[0].embedding)

    scores = []
    for item in index:
        similarite = np.dot(q_emb, item["embedding"]) / (
            np.linalg.norm(q_emb) * np.linalg.norm(item["embedding"])
        )
        scores.append((similarite, item))

    scores.sort(key=lambda x: x[0], reverse=True)
    return [item for _, item in scores[:top_k]]

Βήμα 4: Δημιουργία απάντησης με πηγές

Το τελικό κομμάτι συναρμολογεί τα κορυφαία πέντε τμήματα σε ένα πλαίσιο, με το καθένα να προηγείται από το έγγραφο και τον αριθμό του, και επιβάλλει μια αυστηρή οδηγία στο μοντέλο: απαντήστε μόνο βάσει του παρεχόμενου πλαισίου και αναφέρετε τις πηγές. Αυτό το prompt συστήματος διακρίνει έναν βοηθό εγγράφων από ένα μοντέλο που αυτοσχεδιάζει, και γι’ αυτό διατηρήσατε τα μεταδεδομένα κατά την ευρετηρίαση.

def repondre_question(question: str, index: list[dict]) -> str:
    """Answers a question using RAG."""
    # Search for relevant chunks
    resultats = rechercher_chunks(question, index, top_k=5)

    # Build context
    contexte = "\n\n---\n\n".join(
        f"[Source: {r['document']}, Chunk {r['chunk_id']}]\n{r['texte']}"
        for r in resultats
    )

    # Generate answer
    response = client.chat.complete(
        model="mistral-small-latest",
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a document assistant. Answer "
                    "questions based solely on the provided "
                    "context. Cite sources."
                )
            },
            {
                "role": "user",
                "content": (
                    f"Context:\n{contexte}\n\n"
                    f"Question: {question}"
                )
            }
        ]
    )

    return response.choices[0].message.content

Από το πρωτότυπο στη διανυσματική βάση δεδομένων

Ένας δείκτης στη μνήμη λειτουργεί όσο παραμένετε κάτω από μερικές χιλιάδες τμήματα. Πέρα από αυτό, η γραμμική αναζήτηση καταρρέει και τίποτα δεν επιβιώνει μετά από επανεκκίνηση: μεταβείτε σε μια πραγματική διανυσματική βάση δεδομένων (Pinecone, Weaviate, Qdrant, ChromaDB). Η αλλαγή είναι οικονομική, όπως φαίνεται σε αυτή την παραλλαγή με το ChromaDB όπου αλλάζουν μόνο η αποθήκευση και η αναζήτηση—οι συναρτήσεις εξαγωγής και τμηματοποίησης παραμένουν άθικτες.

# Example with ChromaDB
import chromadb

chroma_client = chromadb.Client()
collection = chroma_client.create_collection(name="documents")

# Indexing
for item in index:
    collection.add(
        ids=[f"{item['document']}_{item['chunk_id']}"],
        embeddings=[item["embedding"].tolist()],
        documents=[item["texte"]],
        metadatas=[{"document": item["document"]}]
    )

# Search
resultats = collection.query(
    query_embeddings=[q_emb.tolist()],
    n_results=5
)

Βασικά σημεία

  • Ο αγωγός OCR + RAG μετατρέπει τα έγγραφά σας σε μια ερωτήσιμη βάση γνώσεων
  • Ο εμπλουτισμός μέσω σχολιασμών (περιγραφές εικόνων) αποτρέπει την απώλεια πληροφοριών
  • Η έξυπνη τμηματοποίηση σέβεται τις ενότητες και τις παραγράφους του εγγράφου
  • Χρησιμοποιήστε μια πραγματική διανυσματική βάση δεδομένων στην παραγωγή (ChromaDB, Pinecone, Qdrant)
  • Η ποιότητα της εξαγωγής OCR καθορίζει την ποιότητα των απαντήσεων RAG