Implementierung von Zitaten in Python
Auf dieser Seite
Aktualisiert am 3. November 2026 basierend auf dem Mistral-Leitfaden Citations & References: Das Tool-Ergebnis folgt dem dokumentierten Format – ein Objekt, das nach Quellennummer indiziert ist, ohne
type- oderreference_id-Felder – und diereference_idsin der Antwort werden innerhalb dieses Objekts überstr(ref_id)aufgelöst. Quelle: Citations & References.
Der vollständige Zitations-Pipeline
Sie werden nun eine RAG-Pipeline zusammenstellen, die ihre Quellen zitiert, von der ersten API-Aufruf bis zur Datenstruktur, die Ihre Schnittstelle verbraucht. Halten Sie dieses Prinzip im Sinn: Das Modell holt sich Dokumente niemals selbst. Es signalisiert lediglich, dass eine Suche erforderlich ist; Sie führen diese Suche in Ihrer eigenen Datenbank aus und geben dann die Auszüge zusammen mit ihren Identifikatoren zurück. Dieser Hin-und-Her-Prozess erzeugt eine Antwort, bei der jede Behauptung an ein echtes Dokument gebunden bleibt.
Konkret erfordert ein vollständiger Zyklus zwei Aufrufe von chat.complete. Der erste löst den Tool-Aufruf aus; der zweite generiert die zitierte Antwort, sobald die Quellen in den Verlauf injiziert wurden. Wir werden diesen Zyklus anhand eines einfachen Falls durchgehen: Ein interner Dokumentations-Assistent, der nach Best Practices für den Einsatz eines LLM in der Produktion gefragt wird.
Definition des Modellvertrags in der Systemnachricht
Die Systemnachricht legt den Vertrag fest: Antworten basierend auf den bereitgestellten Quellen, systematisches Zitieren und vor allem das Eingestehen, wenn Informationen fehlen, anstatt die Lücke zu füllen. Diese letzte Anweisung macht den Unterschied in der Produktion, da Antworten bei Fragen, die schlecht durch die Dokumentationsbasis abgedeckt sind, tendenziell vom Thema abweichen.
from mistralai.client import Mistral
import json
client = Mistral(api_key="your-api-key")
# Systemnachricht, die Zitationen fördert
system_message = {
"role": "system",
"content": (
"Sie sind ein Dokumentations-Assistent. "
"Beantworten Sie Fragen unter Verwendung der bereitgestellten Quellen. "
"Zitieren Sie Ihre Quellen systematisch. "
"Wenn die Informationen in keiner Quelle enthalten sind, geben Sie dies explizit an."
)
}
user_message = {
"role": "user",
"content": "Was sind die besten Praktiken für den Einsatz eines LLM in der Produktion?"
}
messages = [system_message, user_message]
Deklaration des Such-Tools
Das Tool beschreibt, wie eine Dokumentensuche in Ihrem System aussieht: Hier eine einfache search_documentation-Funktion, die eine Textabfrage entgegennimmt. Der erste Aufruf erwartet keine schriftliche Antwort; er erwartet, dass das Modell die Abfrage formuliert, die es für relevant hält, wodurch Sie eine Umschreibungs-Schicht sparen.
reference_tool = {
"type": "function",
"function": {
"name": "search_documentation",
"description": "Durchsucht die Dokumentationsdatenbank",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "Suchabfrage"
}
},
"required": ["query"]
}
}
}
# Erster Aufruf: Das Modell bittet um die Verwendung des Tools
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=[reference_tool]
)
Rückgabe der Ergebnisse im Referenzformat
Dies ist der strukturelle Schritt. Die Ergebnisse Ihrer Suchmaschine kommen in einem ToolMessage zurück, dessen Inhalt das Referenzobjekt aus der vorherigen Lektion ist: Jede Quelle hat eine Nummer ("0", "1"…), eine URL, einen Titel und die ausgewählten Auszüge. Dies sind die Nummern, die das Modell wiederverwendet, um seine Zitate zu kennzeichnen, und die Ihr Frontend später in Links auflöst.
from mistralai.client.models import ToolMessage
# Dokumentensuchergebnisse im Mistral-Referenzformat
references = {
"0": {
"url": "https://docs.example.com/deployment-guide",
"title": "LLM Deployment Guide",
"snippets": [[
"Konfigurieren Sie immer Rate Limits, um den Service zu schützen.",
"Überwachen Sie P99-Latenz und Fehlerraten kontinuierlich."
]],
"description": None,
"date": "2026-09-01",
"source": "docs"
},
"1": {
"url": "https://docs.example.com/security",
"title": "AI Application Security",
"snippets": [[
"Filtern Sie Benutzereingaben, um Injectionen zu verhindern.",
"Exponieren Sie API-Schlüssel niemals auf der Client-Seite."
]],
"description": None,
"date": "2026-08-15",
"source": "docs"
},
"2": {
"url": "https://docs.example.com/scaling",
"title": "Skalierbarkeit und Leistung",
"snippets": [[
"Verwenden Sie semantisches Caching, um API-Aufrufe zu reduzieren.",
"Größern Sie Instanzen basierend auf dem Spitzenverkehr."
]],
"description": None,
"date": "2026-07-20",
"source": "docs"
}
}
# Fügen Sie den Tool-Aufruf und das Ergebnis in den Verlauf ein
tool_call = response.choices[0].message.tool_calls[0]
messages.append(response.choices[0].message)
messages.append(
ToolMessage(
tool_call_id=tool_call.id,
name="search_documentation",
content=json.dumps(references, ensure_ascii=False)
)
)
Beachten Sie, dass die ursprüngliche Nachricht des Modells vor dem ToolMessage erneut in den Verlauf eingefügt wird: Ohne dieses Tool-Aufruf-/Tool-Ergebnis-Paar verweigert die API die Fortsetzung. Der zweite Aufruf benötigt die Tool-Definitionen nicht mehr, da die Suche bereits durchgeführt wurde.
# Zweiter Aufruf: Das Modell generiert eine Antwort mit Zitaten
final_response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
Trennung von Text und Referenzen
Die zitierte Antwort ist kein einfacher String mehr, sondern eine Sequenz von Blöcken, die Prosa und Zitatsymbole abwechseln. Das Parsen beinhaltet das Durchlaufen dieser Sequenz und das Sortieren: TextChunk-Objekte rekonstruieren den lesbaren Text, während ReferenceChunk-Objekte die tatsächlich verwendeten reference_ids liefern. Diese Unterscheidung gibt Ihnen wertvolle Informationen: Genau welche Quellen das Modell unter den von Ihnen bereitgestellten verwendet hat.
from mistralai.client.models import TextChunk, ReferenceChunk
def parse_cited_response(response):
"""Extrahiert Text und Referenzen aus einer zitierten Antwort."""
content_parts = response.choices[0].message.content
text_parts = []
cited_refs = set()
for chunk in content_parts:
if isinstance(chunk, TextChunk):
text_parts.append(chunk.text)
elif isinstance(chunk, ReferenceChunk):
for ref_id in chunk.reference_ids:
cited_refs.add(ref_id)
return {
"text": "".join(text_parts),
"references_used": list(cited_refs)
}
result = parse_cited_response(final_response)
print("=== Antwort ===")
print(result["text"])
print("\n=== Zitierte Quellen ===")
for ref_id in result["references_used"]:
source = references[str(ref_id)]
print(f" - {source['title']} : {source['url']}")
Vorbereitung der Frontend-Anzeige
Die Abflachung der Antwort in reinen Text würde die Position der Zitate und damit ihren Wert verlieren. Es ist besser, die Sequenz beizubehalten und sie zu bereichern: Lösen Sie jedes ReferenceChunk gegen eine Referenztabelle auf, um Titel und URL jeder Quelle zu tragen. Ihre Schnittstelle erhält somit eine geordnete Liste von Blöcken, die sie als klickbare Links, Tooltips oder interaktive Zitationsnummern rendern kann, ohne den Text jemals neu interpretieren zu müssen.
def format_for_frontend(response, reference_map):
"""Formatiert die Antwort mit Zitaten für das Frontend."""
content_parts = response.choices[0].message.content
formatted = []
for chunk in content_parts:
if isinstance(chunk, TextChunk):
formatted.append({
"type": "text",
"content": chunk.text
})
elif isinstance(chunk, ReferenceChunk):
refs = []
for ref_id in chunk.reference_ids:
source = reference_map.get(str(ref_id))
if source:
refs.append({
"id": ref_id,
"title": source["title"],
"url": source["url"]
})
formatted.append({
"type": "citation",
"references": refs
})
return formatted
Bevor Sie diese Pipeline auf Ihre gesamte Dokumentationsbasis öffnen, führen Sie sie mit nur drei bis fünf Quellen durch, wie im obigen Beispiel. Sie werden sofort sehen, ob das Modell an der richtigen Stelle zitiert, ob es mehrere Dokumente nutzt oder ob es systematisch an der ersten haftet, was Ihnen ermöglicht, die Systemnachricht zu korrigieren, bevor das Verhalten in der Masse verloren geht.
Kernaussagen
- Die Pipeline folgt einem Zwei-Aufruf-Fluss: Tool-Aufruf gefolgt von zitiertem Antwort
- Referenzen werden über
ToolMessageübergeben, in einem Objekt, das nach Quellennummer indiziert ist ("0","1"…) - Die Antwort enthält eine Mischung aus
TextChunkundReferenceChunkzum Parsen - Strukturieren Sie die Ausgabe so, dass Ihr Frontend interaktive Zitate anzeigen kann
- Testen Sie mit 3–5 Quellen, um das Verhalten zu validieren, bevor Sie in die Produktion wechseln