Konverzácie s viacerými kolami v Pythone
Na tejto strane
Pamäť, ktorá nie je skutočnou pamäťou
Na rozdiel od vyhľadávača jazykový model sleduje vlákno konverzácie: berie do úvahy to, čo bolo povedané predtým, a na základe tohto nahromadeného kontextu buduje svoje odpovede. Hovoríme tomu konverzácia s viacerými kolami (multi-turn) a práve vďaka nej sú možné eliptické otázky typu „a s argumentmi?“.
Technicky si však model nič nepamätá. Medzi volaniami sa na serveri neuchováva žiadny stav. S každou požiadavkou musíš odoslať celú históriu, ktorú model prečíta od začiatku do konca, než odpovie. Tento mechanizmus vysvetľuje dve veci, ku ktorým sa ešte vrátime: za správu pamäti zodpovedáš výlučne ty a každé kolo konverzácie stojí viac ako to predchádzajúce.
Tri roly, ktoré štruktúrujú históriu
Každá správa v histórii nesie rolu, ktorá modelu hovorí, kto hovorí. Rola system definuje celkové správanie: keďže je umiestnená ako prvá, ovplyvňuje každú nasledujúcu odpoveď.
{"role": "system", "content": "You are an expert assistant in French cuisine. Always respond in French using precise culinary terms."}
Rola user nesie správy používateľa – teda otázku alebo inštrukciu, ktorá bola odoslaná:
{"role": "user", "content": "How do I make perfect puff pastry?"}
Nakoniec, rola assistant obsahuje predchádzajúce odpovede modelu. Sú to správy, ktoré vraciaš späť do histórie, aby si zachoval súdržnosť. Ich zabudnutie je ekvivalentné vymazaniu pamäte konverzácie v každom kole.
{"role": "assistant", "content": "To make perfect puff pastry, start by..."}
Kompletná konverzácia krok za krokom
Nižšie uvedený kód aplikuje tento princíp: funkcia pridá otázku do histórie, zavolá model a potom uloží odpoveď na správne miesto skôr, než ju vráti.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
historique = [
{
"role": "system",
"content": "You are a teaching assistant specialized in Python programming. Respond concisely and include code examples."
}
]
def poser_question(question: str) -> str:
"""Sends a question and updates the history."""
historique.append({"role": "user", "content": question})
response = client.chat.complete(
model="mistral-small-latest",
messages=historique,
)
reponse_texte = response.choices[0].message.content
historique.append({"role": "assistant", "content": reponse_texte})
return reponse_texte
# Turn 1
print("Q: What is a decorator in Python?")
r1 = poser_question("What is a decorator in Python?")
print(f"R: {r1}\n")
# Turn 2 — the model knows the context
print("Q: Can you show me a concrete example?")
r2 = poser_question("Can you show me a concrete example?")
print(f"R: {r2}\n")
# Turn 3 — implicit reference to previous turns
print("Q: How do I use it with arguments?")
r3 = poser_question("How do I use it with arguments?")
print(f"R: {r3}\n")
V treťom kole sa v otázke už ani raz neobjaví slovo „dekorátor“. Model napriek tomu chápe, že „použiť ho“ odkazuje na tento koncept, pretože znova prečíta celú výmenu. Odstráň riadok, ktorý pridáva odpoveď do histórie, a spusti kód znova: model sa opýta, o čom hovoríš. Je to najrýchlejší dôkaz, že kontinuita nepramení z modelu, ale z tvojho kódu.
Ako zabrániť tomu, aby sa história stala prohibitívne drahou
Každý model má obmedzené kontextové okno, merané v tokenoch. Ako história rastie, každá požiadavka sa stáva drahšou, pretože sa všetko odosiela znovu. Konverzácia s tridsiatimi kolami v skutočnosti fakturuje svoj začiatok tridsaťkrát.
Najjednoduchším riešením je orezanie histórie tak, aby sa zachovala systémová správa a posledných N výmen:
MAX_MESSAGES = 20
def ajouter_message(historique, role, content):
historique.append({"role": role, "content": content})
# Keep the system message + the last N messages
if len(historique) > MAX_MESSAGES + 1: # +1 for the system message
system_msg = historique[0]
historique = [system_msg] + historique[-(MAX_MESSAGES):]
return historique
Tento prístup je lacný, ale brutálny: to, čo používateľ špecifikoval v druhom kole, navždy zmizne. Keď je konverzácia dlhá a starší kontext je dôležitý – napríklad pri rozhovore o zbere požiadaviek – radšej ho zhrň, než aby si ho zahodil:
def resumer_historique(client, historique):
"""Summarizes old messages to free up context."""
texte_complet = "\n".join(
f"{m['role']}: {m['content']}"
for m in historique[1:-4] # Exclude system and the last 4 messages
)
resume = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": f"Summarize this conversation in 3-4 sentences:\n{texte_complet}"}
]
)
return [
historique[0], # System message
{"role": "assistant", "content": f"[Conversation Summary] {resume.choices[0].message.content}"},
] + historique[-4:] # The last 4 messages
Myšlienkou je stlačiť vzdialenú minulosť do niekoľkých viet, pričom posledné štyri správy zostanú nedotknuté, keďže nesú okamžitý kontext. Zhrnutie spotrebuje jedno volanie navyše, ale v nasledujúcich kolách sa ti to mnohonásobne vráti.
Tvorba systémovej správy
Systémová správa je najmocnejším a zároveň najviac podceňovaným nástrojom v tejto lekcii. Mnohí sa uspokojia so všeobecným „Si užitočný asistent“, čo nič nepridá. Dobrá systémová správa stanovuje overiteľné obmedzenia:
system_prompt = """You are a Corsen AI technical assistant.
Rules:
- Respond in French with a professional tone
- Provide code examples when relevant
- If you are unsure, say so rather than making things up
- Limit your responses to 200 words unless asked otherwise
Context: The user is working on a Python 3.12 project with FastAPI."""
Každý riadok tu prináša merateľný efekt: limit dĺžky kontroluje náklady, výzva na priznanie neistoty znižuje halucinácie a zmienka o technologickom zásobníku sa vyhýba všeobecným odpovediam mimo témy. Stručnosť, presnosť a jednoznačnosť – to je všetko, čo potrebuje.
Kľúčové poznatky
- Celá história sa odosiela s každou požiadavkou – model si „nepamätá“ nič
- Tri roly (
system,user,assistant) štruktúrujú konverzáciu - Správa
systemdefinuje celkové správanie – vždy ju umiestni ako prvú - Spravuj veľkosť kontextu orezaním alebo zhrnutím starých správ
- Čím dlhšia je história, tým viac tokenov stojí každá požiadavka