Ολοκλήρωση OCR + RAG
Σε αυτήν τη σελίδα
Ενημέρωση 2 Νοεμβρίου 2026 — OCR. Το OCR 4.0 (
mistral-ocr-4-0) αποσύρθηκε στις 30 Σεπτεμβρίου 2026. Χρησιμοποιήστε το OCR 4.1 (mistral-ocr-4-1), το οποίο είναι γενικά διαθέσιμο από τις 31 Αυγούστου στην ίδια τιμή, ή το ψευδώνυμοmistral-ocr-latest, το οποίο δείχνει σε αυτό από τις 16 Ιουλίου. Το OCR 4.1 προσθέτει βαθμολογίες εμπιστοσύνης σε επίπεδο μπλοκ. Προσθήκη 3 Νοεμβρίου 2026: Ένα τοπικό αρχείο PDF μεταδίδεται σε base64 ως{"type": "document_url", "document_url": "data:application/pdf;base64,…"}· ο τύποςdocument_base64από παλαιότερα παραδείγματα δεν υπάρχει ούτε στην τεκμηρίωση ούτε στο SDKmistralai, και εκείνα τα παραδείγματα θα απέτυγχαν. Πηγές: Επεξεργαστής OCR · Ερωταποκρίσεις Εγγράφων. Προσθήκη 3 Νοεμβρίου: Οι σχολιασμοί εικόνων διαβάζονται από τοimage.image_annotation(SDKmistralai3.7.0), όχι από τοimage.annotation.
Δημιουργία ενός έξυπνου συστήματος εγγράφων
Η Επαυξημένη Δημιουργία μέσω Ανάκτησης (RAG) είναι η τεχνική που καθιστά ερωτήσιμες μεγάλες συλλογές εγγράφων. Συνδυάζοντας το OCR της Mistral, τα ενσωματώματα (embeddings) και μια διανυσματική βάση δεδομένων, δημιουργείτε ένα σύστημα ικανό να απαντά σε ερωτήσεις σχετικά με τα αρχεία σας—δέκα χρόνια εκθέσεων, ένα αποθετήριο συμβάσεων ή μια ψηφιοποιημένη τεχνική βιβλιοθήκη.
Γιατί να χρησιμοποιήσετε OCR αντί να ευρετηριάσετε τα αρχεία ως έχουν; Επειδή η θεμελιώδης πρόκληση του RAG εγγράφων είναι ότι τα τμήματα που ευρετηριάζονται πρέπει να είναι κείμενο. Τα πολυτροπικά ενσωματώματα δεν είναι ακόμη αρκετά αποδοτικά για να συγκρίνουν άμεσα ερωτήσεις κειμένου με εικόνες εγγράφων. Το OCR λειτουργεί ως γέφυρα: μετατρέπει τα έγγραφά σας σε δομημένο κείμενο υψηλής ποιότητας, το οποίο στη συνέχεια ευρετηριάζετε στη διανυσματική σας βάση δεδομένων.
Η αρχιτεκτονική των πέντε βημάτων
Όλα ξεκινούν με την εισαγωγή, δηλαδή τη λήψη εγγράφων, είτε αυτά φτάνουν ως PDF, εικόνες ή αρχεία DOCX. Ακολουθεί το OCR με σχολιασμούς, παράγοντας τόσο κείμενο όσο και δομημένα μεταδεδομένα. Η τμηματοποίηση κόβει αυτό το κείμενο σε συνεκτικά τμήματα, η ενσωμάτωση τα μετατρέπει σε διανύσματα και τα αποθηκεύει στη διανυσματική βάση, και το ερώτημα κλείνει τον κύκλο: σημασιολογική αναζήτηση μεταξύ των διανυσμάτων, ακολουθούμενη από τη δημιουργία απάντησης. Κάθε βήμα καθορίζει το επόμενο, και η εξαγωγή καθορίζει τα πάντα· αν το OCR το χάσει, καμία αναζήτηση δεν θα το βρει.
Οι παρακάτω ενότητες λεπτομερούν τον κώδικα για τα τέσσερα βήματα που θα γράψετε εσείς· η εισαγωγή εξαρτάται από το δικό σας σύστημα λήψης.
Βήμα 1: Εξαγωγή χωρίς απώλειες
Η κλήση OCR εδώ είναι διαμορφωμένη για RAG, κάτι που φαίνεται σε τρεις επιλογές. Το table_format="markdown" διατηρεί τους πίνακες σε μορφή αναγνώσιμη από το LLM. Ο σχολιασμός πλαισίου οριοθέτησης (bounding box) περιγράφει τις εικόνες, και ο κώδικας στη συνέχεια αντικαθιστά κάθε αναφορά  με την περιγραφή κειμένου της: ένα διάγραμμα κατανομής εσόδων γίνεται μια ευρετηριάσιμη πρόταση αντί για κενό στο κείμενο. Τέλος, το include_image_base64=False αποφεύγει τη λήψη megabytes pixel που ο δείκτης δεν έχει κανένα λόγο να χρησιμοποιήσει.
import os
import base64
from mistralai.client import Mistral
from mistralai.extra import response_format_from_pydantic_model
from pydantic import BaseModel, Field
from typing import Optional
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
class DescriptionImage(BaseModel):
type_image: str = Field(..., description="Type: graph, table, photo, logo")
description: str = Field(..., description="Content description")
def extraire_document_enrichi(chemin: str) -> list[dict]:
"""Extracts enriched content from a document for RAG."""
with open(chemin, "rb") as f:
doc_b64 = base64.b64encode(f.read()).decode("utf-8")
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{doc_b64}"
},
table_format="markdown",
bbox_annotation_format=response_format_from_pydantic_model(
DescriptionImage
),
include_image_base64=False # Images not needed for RAG
)
pages = []
for page in response.pages:
contenu = page.markdown
# Replace image references with their descriptions
for image in page.images:
if image.image_annotation:
desc = DescriptionImage.model_validate_json(
image.image_annotation
)
placeholder = f""
remplacement = (
f"[{desc.type_image}: {desc.description}]"
)
contenu = contenu.replace(placeholder, remplacement)
pages.append({
"page": page.index + 1,
"contenu": contenu,
"header": page.header or "",
"footer": page.footer or "",
})
return pages
Βήμα 2: Τμηματοποίηση εκεί που το επιτρέπει το έγγραφο
Η διαίρεση κάθε χιλιάδες χαρακτήρες κόβει στη μέση μιας πρότασης και χωρίζει έναν τίτλο από το περιεχόμενό του. Επειδή το OCR σας δίνει Markdown, εκμεταλλευτείτε τη δομή του: η συνάρτηση πρώτα τμηματοποιεί με βάση τις επικεφαλίδες δεύτερου επιπέδου, διατηρεί ολόκληρη την ενότητα μόνο αν χωράει στο μέγιστο μέγεθος, και καταφεύγει σε παραγράφους μόνο όταν υπάρχει υπέρβαση. Κάθε τμήμα διατηρεί έτσι την επικεφαλίδα της ενότητάς του, γεγονός που βελτιώνει σημαντικά τη συνάφεια της σημασιολογικής αναζήτησης.
def chunker_par_sections(
texte: str,
taille_max: int = 1000,
chevauchement: int = 200
) -> list[str]:
"""Splits text respecting Markdown sections."""
sections = texte.split("\n## ")
chunks = []
for section in sections:
if not section.strip():
continue
# Reconstruct section heading
if not section.startswith("## "):
section = "## " + section
if len(section) <= taille_max:
chunks.append(section)
else:
# Sub-split by paragraphs
paragraphes = section.split("\n\n")
chunk_courant = ""
for para in paragraphes:
if len(chunk_courant) + len(para) > taille_max:
if chunk_courant:
chunks.append(chunk_courant.strip())
chunk_courant = para
else:
chunk_courant += "\n\n" + para
if chunk_courant:
chunks.append(chunk_courant.strip())
return chunks
Βήμα 3: Διανυσματοποίηση και αναζήτηση
Η ευρετηρίαση μετατρέπει κάθε τμήμα σε διάνυσμα με το mistral-embed και αποθηκεύει, μαζί με το διάνυσμα, το όνομα του εγγράφου και το ID του τμήματος—χωρίς αυτά τα μεταδεδομένα, μπορείτε να απαντήσετε αλλά όχι να αναφέρετε πηγές. Η αναζήτηση μετατρέπει την ερώτηση σε διάνυσμα με τον ίδιο τρόπο, και στη συνέχεια υπολογίζει την ομοιότητα συνημιτόνου κανονικοποιημένη με τα μέτρα και των δύο διανυσμάτων, αποτρέποντας ένα μεγάλο τμήμα να «κερδίσει» απλώς επειδή είναι μεγάλο.
import numpy as np
def creer_index(documents: dict[str, list[dict]]) -> list[dict]:
"""Creates a vector index from extracted documents."""
index = []
for nom_doc, pages in documents.items():
# Concatenate all pages
texte_complet = "\n\n".join(p["contenu"] for p in pages)
# Chunking
chunks = chunker_par_sections(texte_complet)
for i, chunk in enumerate(chunks):
# Embedding
response = client.embeddings.create(
model="mistral-embed",
inputs=[chunk]
)
index.append({
"document": nom_doc,
"chunk_id": i,
"texte": chunk,
"embedding": np.array(response.data[0].embedding),
"page": pages[0]["page"] if pages else 0,
})
return index
def rechercher_chunks(
question: str,
index: list[dict],
top_k: int = 5
) -> list[dict]:
"""Searches for the most relevant chunks."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[question]
)
q_emb = np.array(response.data[0].embedding)
scores = []
for item in index:
similarite = np.dot(q_emb, item["embedding"]) / (
np.linalg.norm(q_emb) * np.linalg.norm(item["embedding"])
)
scores.append((similarite, item))
scores.sort(key=lambda x: x[0], reverse=True)
return [item for _, item in scores[:top_k]]
Βήμα 4: Δημιουργία απάντησης με πηγές
Το τελικό κομμάτι συναρμολογεί τα κορυφαία πέντε τμήματα σε ένα πλαίσιο, με το καθένα να προηγείται από το έγγραφο και τον αριθμό του, και επιβάλλει μια αυστηρή οδηγία στο μοντέλο: απαντήστε μόνο βάσει του παρεχόμενου πλαισίου και αναφέρετε τις πηγές. Αυτό το prompt συστήματος διακρίνει έναν βοηθό εγγράφων από ένα μοντέλο που αυτοσχεδιάζει, και γι’ αυτό διατηρήσατε τα μεταδεδομένα κατά την ευρετηρίαση.
def repondre_question(question: str, index: list[dict]) -> str:
"""Answers a question using RAG."""
# Search for relevant chunks
resultats = rechercher_chunks(question, index, top_k=5)
# Build context
contexte = "\n\n---\n\n".join(
f"[Source: {r['document']}, Chunk {r['chunk_id']}]\n{r['texte']}"
for r in resultats
)
# Generate answer
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "system",
"content": (
"You are a document assistant. Answer "
"questions based solely on the provided "
"context. Cite sources."
)
},
{
"role": "user",
"content": (
f"Context:\n{contexte}\n\n"
f"Question: {question}"
)
}
]
)
return response.choices[0].message.content
Από το πρωτότυπο στη διανυσματική βάση δεδομένων
Ένας δείκτης στη μνήμη λειτουργεί όσο παραμένετε κάτω από μερικές χιλιάδες τμήματα. Πέρα από αυτό, η γραμμική αναζήτηση καταρρέει και τίποτα δεν επιβιώνει μετά από επανεκκίνηση: μεταβείτε σε μια πραγματική διανυσματική βάση δεδομένων (Pinecone, Weaviate, Qdrant, ChromaDB). Η αλλαγή είναι οικονομική, όπως φαίνεται σε αυτή την παραλλαγή με το ChromaDB όπου αλλάζουν μόνο η αποθήκευση και η αναζήτηση—οι συναρτήσεις εξαγωγής και τμηματοποίησης παραμένουν άθικτες.
# Example with ChromaDB
import chromadb
chroma_client = chromadb.Client()
collection = chroma_client.create_collection(name="documents")
# Indexing
for item in index:
collection.add(
ids=[f"{item['document']}_{item['chunk_id']}"],
embeddings=[item["embedding"].tolist()],
documents=[item["texte"]],
metadatas=[{"document": item["document"]}]
)
# Search
resultats = collection.query(
query_embeddings=[q_emb.tolist()],
n_results=5
)
Βασικά σημεία
- Ο αγωγός OCR + RAG μετατρέπει τα έγγραφά σας σε μια ερωτήσιμη βάση γνώσεων
- Ο εμπλουτισμός μέσω σχολιασμών (περιγραφές εικόνων) αποτρέπει την απώλεια πληροφοριών
- Η έξυπνη τμηματοποίηση σέβεται τις ενότητες και τις παραγράφους του εγγράφου
- Χρησιμοποιήστε μια πραγματική διανυσματική βάση δεδομένων στην παραγωγή (ChromaDB, Pinecone, Qdrant)
- Η ποιότητα της εξαγωγής OCR καθορίζει την ποιότητα των απαντήσεων RAG