Konverzace s více obraty v Pythonu
Na této stránce
Paměť, která ve skutečnosti pamětí není
Na rozdíl od vyhledávače sleduje jazykový model vlákno konverzace: bere v úvahu to, co bylo řečeno dříve, a na základě tohoto nahromaděného kontextu buduje své odpovědi. Tomu se říká konverzace s více obraty (multi-turn) a právě díky ní jsou možné eliptické otázky typu „a s argumenty?“.
Technicky si však model nic nepamatuje. Mezi jednotlivými voláními se na serveru neuchovává žádný stav. S každým požadavkem musíš znovu odeslat celou historii, kterou si model přečte od začátku do konce, než odpoví. Tento mechanismus vysvětluje dvě věci, k nimž se ještě vrátíme: za správu paměti jsi plně zodpovědný ty a každý další obrat konverzace stojí více než ten předchozí.
Tři role, které strukturuji historii
Každá zpráva v historii nese roli, která modelu sděluje, kdo mluví. Role system definuje celkové chování: umístěná jako první ovlivňuje každou následující odpověď.
{"role": "system", "content": "You are an expert assistant in French cuisine. Always respond in French using precise culinary terms."}
Role user přenáší zprávy uživatele – tedy otázku nebo instrukci, kterou posíláš:
{"role": "user", "content": "How do I make perfect puff pastry?"}
Nakonec role assistant obsahuje předchozí odpovědi modelu. Jsou to zprávy, které znovu vkládáš do historie, aby byla zachována soudržnost. Jejich zapomenutí je ekvivalentní vymazání paměti konverzace při každém obratu.
{"role": "assistant", "content": "To make perfect puff pastry, start by..."}
Kompletní konverzace krok za krokem
Níže uvedený kód aplikuje tento princip: funkce přidá otázku do historie, zavolá model a poté uloží odpověď na správné místo, než ji vrátí.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
historique = [
{
"role": "system",
"content": "You are a teaching assistant specialized in Python programming. Respond concisely and include code examples."
}
]
def poser_question(question: str) -> str:
"""Sends a question and updates the history."""
historique.append({"role": "user", "content": question})
response = client.chat.complete(
model="mistral-small-latest",
messages=historique,
)
reponse_texte = response.choices[0].message.content
historique.append({"role": "assistant", "content": reponse_texte})
return reponse_texte
# Turn 1
print("Q: What is a decorator in Python?")
r1 = poser_question("What is a decorator in Python?")
print(f"R: {r1}\n")
# Turn 2 — the model knows the context
print("Q: Can you show me a concrete example?")
r2 = poser_question("Can you show me a concrete example?")
print(f"R: {r2}\n")
# Turn 3 — implicit reference to previous turns
print("Q: How do I use it with arguments?")
r3 = poser_question("How do I use it with arguments?")
print(f"R: {r3}\n")
Ve třetím obratu se ve otázce již znovu neobjevuje slovo „dekorátor“. Model přesto chápe, že „použít jej“ odkazuje na tento koncept, protože si znovu přečte celou výměnu. Odstraň řádek, který přidává odpověď do historie, a spusť kód znovu: model se zeptá, o čem mluvíš. To je nejrychlejší důkaz, že kontinuita nepochází z modelu, ale z tvého kódu.
Jak zabránit tomu, aby se historie stala nepřiměřeně drahou
Každý model má omezené kontextové okno, měřené v tokenech. Jak historie roste, každý požadavek se stává dražším, protože se vše znovu přenáší. Konverzace o třiceti obratech efektivně účtuje svůj začátek třicetkrát.
Nejjednodušším řešením je oříznutí historie tak, aby se zachovala systémová zpráva a posledních N výměn:
MAX_MESSAGES = 20
def ajouter_message(historique, role, content):
historique.append({"role": role, "content": content})
# Keep the system message + the last N messages
if len(historique) > MAX_MESSAGES + 1: # +1 for the system message
system_msg = historique[0]
historique = [system_msg] + historique[-(MAX_MESSAGES):]
return historique
Tento přístup je levný, ale brutální: to, co uživatel specifikoval ve druhém obratu, navždy zmizí. Když je konverzace dlouhá a starší kontext je důležitý – například při rozhovoru o sběru požadavků – raději jej shrň, než abys jej zahodil:
def resumer_historique(client, historique):
"""Summarizes old messages to free up context."""
texte_complet = "\n".join(
f"{m['role']}: {m['content']}"
for m in historique[1:-4] # Exclude system and the last 4 messages
)
resume = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": f"Summarize this conversation in 3-4 sentences:\n{texte_complet}"}
]
)
return [
historique[0], # System message
{"role": "assistant", "content": f"[Conversation Summary] {resume.choices[0].message.content}"},
] + historique[-4:] # The last 4 messages
Myšlenkou je stlačit vzdálenou minulost do několika vět, zatímco poslední čtyři zprávy zůstanou nedotčeny, protože nesou bezprostřední kontext. Shrnutí spotřebuje jedno volání navíc, ale v následujících obratech se ti to mnohonásobně vrátí.
Tvorba systémové zprávy
Systémová zpráva je nejmocnějším a zároveň nejčastěji podceňovaným nástrojem v této lekci. Mnozí se spokojí s obecným „Jsi užitečný asistent“, který nic nepřidá. Dobrá systémová zpráva stanovuje ověřitelná omezení:
system_prompt = """You are a Corsen AI technical assistant.
Rules:
- Respond in French with a professional tone
- Provide code examples when relevant
- If you are unsure, say so rather than making things up
- Limit your responses to 200 words unless asked otherwise
Context: The user is working on a Python 3.12 project with FastAPI."""
Každý řádek zde přináší měřitelný efekt: limit délky udržuje náklady pod kontrolou, výzva k přiznání nejistoty snižuje halucinace a zmínka o technologickém stacku se vyhýbá obecným odpovědím mimo téma. Stručnost, přesnost a jednoznačnost – to je vše, co je potřeba.
Klíčové poznatky
- Celá historie se odesílá s každým požadavkem znovu – model si „nepamatuje“ nic
- Tři role (
system,user,assistant) strukturuji konverzaci - Zpráva
systemdefinuje celkové chování – vždy ji umísti jako první - Spravuj velikost kontextu oříznutím nebo shrnutím starších zpráv
- Čím delší je historie, tím více tokenů stojí každý další požadavek