Въпроси и отговори с множество документи
На тази страница
Обновено на 2 ноември 2026 г. — OCR. Версия OCR 4.0 (
mistral-ocr-4-0) беше прекратена на 30 септември 2026 г. Използвайте OCR 4.1 (mistral-ocr-4-1), която е общодостъпна от 31 август на същата цена, или псевдонимаmistral-ocr-latest, който сочи към нея от 16 юли. OCR 4.1 добавя оценки за достоверност на ниво блок. Допълнение от 3 ноември 2026 г.: Локален PDF файл се предава в base64 като{"type": "document_url", "document_url": "data:application/pdf;base64,…"}; типътdocument_base64от по-стари примери не съществува нито в документацията, нито в SDKmistralaiи тези примери биха се провалили. Източници: OCR Processor · Document QnA. Коригирано на 3 ноември 2026 г.: Предишният код четешеpage.document_annotationстраница по страница; в SDKmistralaiверсия 3.7.0 анотацията на документа е едно поле в отговора (response.document_annotation), а анотацията на изображение се чете отimage.image_annotation.
Когато отговорът обхваща множество файлове
В много професионални сценарии отговорът на даден въпрос не се съдържа в един единствен документ. Може да се наложи да сравнявате договори, да кръстосвате фактури със заявки за покупка или да анализирате поредица от доклади. Съществуват три стратегии, като най-добрият подход е да избирате въз основа на обема, вместо веднага да преминавате към най-сложния вариант.
Изпращане на всичко в едно обаждане
Най-директният метод е да подредите множество блокове document_url в едно и също съобщение. Моделът вижда двата договора един до друг и може реално да ги сравни – нещо, което обработката страница по страница не може да постигне. Тук преминаваме към mistral-large-latest, защото сравнението включва разсъждение, а не просто четене.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": (
"Compare the payment terms "
"of these two contracts."
)
},
{
"type": "document_url",
"document_url": "https://example.com/contract-A.pdf"
},
{
"type": "document_url",
"document_url": "https://example.com/contract-B.pdf"
}
]
}
]
)
print(response.choices[0].message.content)
Ограничението се проявява бързо: сборът от документите не трябва да надвишава прозореца на контекста на модела. Две брошури от десет страници преминават без затруднение; две рамкови споразумения от двеста страници – не.
Отделяне на извличането от заявката
За големи обеми препоръчителната стратегия разделя тези две стъпки. Прекарвате всеки документ през OCR, запазвате получения Markdown и след това ръчно конструирате контекста, изпращан до LLM. Ползата е контрол: съкращаването до 5000 знака, видимо в примера, запазването на името на всеки документ като заглавие на секция и системното съобщение, което установява ролята на юридически асистент. Вие решавате точно какво влиза в прозореца на контекста, вместо да оставяте това да се случи автоматично.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def extract_text(url: str) -> str:
"""Extracts text from a document via OCR."""
response = client.ocr.process(
model="mistral-ocr-latest",
document={"type": "document_url", "document_url": url}
)
return "\n\n".join(p.markdown for p in response.pages)
# OCR extraction for each document
documents = {
"Contract A": extract_text("https://example.com/contract-A.pdf"),
"Contract B": extract_text("https://example.com/contract-B.pdf"),
"Contract C": extract_text("https://example.com/contract-C.pdf"),
}
# Build the prompt with context
context = "\n\n---\n\n".join(
f"## {name}\n\n{text[:5000]}" # Limit if necessary
for name, text in documents.items()
)
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": (
"You are a legal assistant. Analyze the "
"provided documents and answer questions."
)
},
{
"role": "user",
"content": (
f"Here are the documents:\n\n{context}\n\n"
f"Question: Which contract offers the best "
f"early termination conditions?"
)
}
]
)
Преминаване към RAG за документи
Отвъд няколко десетки документа никой прозорец на контекста няма да бъде достатъчен. Тогава трябва да изпращате само съответните пасажи, което изисква разделяне на текстовете, векторизирането им с mistral-embed и търсене по сходство по време на заявката. Разделянето на части (chunking) с припокриване от 200 знака предотвратява загубата на смисъл на изречение, разрязано наполовина между частите, а top_k определя колко пасажа в крайна сметка ще придружават въпроса.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def create_embeddings(text: str) -> list[float]:
"""Creates embeddings for a text."""
response = client.embeddings.create(
model="mistral-embed",
inputs=[text]
)
return response.data[0].embedding
def chunker(text: str, size: int = 1000, overlap: int = 200) -> list[str]:
"""Splits text into chunks with overlap."""
chunks = []
start = 0
while start < len(text):
end = start + size
chunk = text[start:end]
chunks.append(chunk)
start = end - overlap
return chunks
# Simplified RAG pipeline
def index_document(name: str, text: str) -> list[dict]:
"""Indexes a document for search."""
chunks = chunker(text)
index = []
for i, chunk in enumerate(chunks):
embedding = create_embeddings(chunk)
index.append({
"document": name,
"chunk_id": i,
"text": chunk,
"embedding": embedding
})
return index
def search(query: str, index: list[dict], top_k: int = 5) -> list[dict]:
"""Searches for the most relevant chunks."""
q_embedding = create_embeddings(query)
# Cosine similarity calculation
import numpy as np
scores = []
for item in index:
score = np.dot(q_embedding, item["embedding"])
scores.append((score, item))
scores.sort(key=lambda x: x[0], reverse=True)
return [item for _, item in scores[:top_k]]
Нека обобщим логиката на избор. Изпращането на множество документи в едно обаждане остава ненадминато по простота и работи добре за два или три кратки документа. Отделният OCR, последван от QnA, осигурява гъвкавост и Ви дава контрол над това какво се изпраща до LLM, за сметка на малко допълнителен код. RAG за документи е по-тежък за настройка, но става съществен с нарастването на корпуса, защото това е единственият подход, който мащабира.
Работен поток за сравнение от край до край
Двете техники могат да се комбинират: нищо не Ви пречи първо да извлечете структурирани данни чрез анотация и след това да предадете тези данни на LLM за анализ. При партида фактури всеки документ се свежда до три полета – доставчик, сума, дата – преди една единствена заявка да помоли модела да идентифицира тенденции и аномалии. Разходът на токени става незначителен, а анализът се фокусира върху чисти извлечени цифри, а не върху текст, тълкуван в реално време.
import os
from pydantic import BaseModel, Field
from mistralai.client import Mistral
from mistralai.extra import response_format_from_pydantic_model
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
class InvoiceSummary(BaseModel):
vendor: str = Field(..., description="Vendor name")
amount_inc_tax: float = Field(..., description="Amount including tax")
date: str = Field(..., description="Date (YYYY-MM-DD)")
def compare_invoices(paths: list[str]) -> str:
"""Compares multiple invoices and returns an analysis."""
import base64
invoices = []
for path in paths:
with open(path, "rb") as f:
doc_b64 = base64.b64encode(f.read()).decode("utf-8")
response = client.ocr.process(
model="mistral-ocr-latest",
document={
"type": "document_url",
"document_url": f"data:application/pdf;base64,{doc_b64}"
},
document_annotation_format=response_format_from_pydantic_model(
InvoiceSummary
)
)
if response.document_annotation:
invoice = InvoiceSummary.model_validate_json(
response.document_annotation
)
invoices.append(invoice)
# Comparative analysis via LLM
summary = "\n".join(
f"- {f.vendor}: €{f.amount_inc_tax} ({f.date})"
for f in invoices
)
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": (
f"Here are {len(invoices)} invoices:\n{summary}\n\n"
f"Analyze trends and anomalies."
)
}
]
)
return response.choices[0].message.content
Ключови изводи
- Три подхода за въпроси и отговори с множество документи: вградени, отделен OCR, RAG
- Вграденият подход работи за 2–3 кратки документа
- Отделният OCR + QnA предлага повече контрол над използваните токени
- RAG е съществен за големи корпуси (десетки документи)
- Комбинирайте структурирани анотации с QnA за прецизни анализи