Többmenetes beszélgetések Pythonban
Ezen az oldalon
Memória, ami valójában nem memória
Ellentétben egy keresőmotorral, a nyelvi modell követi a beszélgetés fonalát: figyelembe veszi a korábban elhangzottakat, és erre a felhalmozott kontextusra építi a válaszait. Ezt nevezzük többmenetes (multi-turn) beszélgetésnek, és ez teszi lehetővé olyan tömör kérdések feltevését, mint például „és argumentumokkal?“.
Technikai szempontból azonban a modell nem emlékszik semmire. A szerveren két hívás között nem marad meg állapot. Minden egyes kéréssel újra el kell küldened a teljes előzményt, amelyet a modell elejétől a végéig elolvas, mielőtt válaszolna. Ez a mechanizmus magyaráz két dolgot, amelyekre később még visszatérünk: teljes mértékben te vagy felelős a memória kezeléséért, és a beszélgetés minden egyes menete többe kerül, mint az előző.
A három szerep, amely strukturálja az előzményeket
Az előzmények minden egyes üzenete tartalmaz egy szerepet, amely jelzi a modell számára, ki beszél. A system szerep határozza meg az általános viselkedést: mivel ez kerül elsőnek, minden ezt követő választ befolyásol.
{"role": "system", "content": "You are an expert assistant in French cuisine. Always respond in French using precise culinary terms."}
A user szerep tartalmazza a felhasználó üzeneteit – vagyis a feltett kérdést vagy kiadott utasítást:
{"role": "user", "content": "How do I make perfect puff pastry?"}
Végül az assistant szerep a modell korábbi válaszait tartalmazza. Ezeket az üzeneteket kell visszahelyezned az előzményekbe a koherencia megőrzése érdekében. Ha elfelejted őket, az egyenértékű azzal, mintha minden menetnél törölnéd a beszélgetés memóriáját.
{"role": "assistant", "content": "To make perfect puff pastry, start by..."}
Egy teljes beszélgetés, menetről menetre
Az alábbi kód ezt az elvet alkalmazza: egy függvény, amely hozzáadja a kérdést az előzményekhez, meghívja a modellt, majd a választ a megfelelő helyre tárolja, mielőtt visszaadná azt.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
historique = [
{
"role": "system",
"content": "You are a teaching assistant specialized in Python programming. Respond concisely and include code examples."
}
]
def poser_question(question: str) -> str:
"""Sends a question and updates the history."""
historique.append({"role": "user", "content": question})
response = client.chat.complete(
model="mistral-small-latest",
messages=historique,
)
reponse_texte = response.choices[0].message.content
historique.append({"role": "assistant", "content": reponse_texte})
return reponse_texte
# Turn 1
print("Q: What is a decorator in Python?")
r1 = poser_question("What is a decorator in Python?")
print(f"R: {r1}\n")
# Turn 2 — the model knows the context
print("Q: Can you show me a concrete example?")
r2 = poser_question("Can you show me a concrete example?")
print(f"R: {r2}\n")
# Turn 3 — implicit reference to previous turns
print("Q: How do I use it with arguments?")
r3 = poser_question("How do I use it with arguments?")
print(f"R: {r3}\n")
A harmadik menetre a kérdés már nem említi újra a „dekorátor“ szót. A modell mégis érti, hogy a „használni“ kifejezés erre a koncepcióra utal, mert újraolvassa a teljes párbeszédet. Töröld azt a sort, amely hozzáadja a választ az előzményekhez, és futtasd újra a kódot: a modell megkérdezi, miről beszélsz. Ez a leggyorsabb bizonyíték arra, hogy a folytonosság nem a modellből, hanem a te kódodból származik.
Hogyan kerüljük el, hogy az előzmények kezelhetetlenül költségessé váljanak
Minden modellnek van egy korlátozott kontextusablaka, amelyet tokenekben mérnek. Ahogy az előzmények növekednek, minden kérés drágábbá válik, mivel mindent újra elküldünk. Egy harminc menetes beszélgetés gyakorlatilag harmincszor számlázza le a kezdetét.
A legegyszerűbb megoldás a csonkolás: tartsd meg a rendszerüzenetet és az utolsó N cserét:
MAX_MESSAGES = 20
def ajouter_message(historique, role, content):
historique.append({"role": role, "content": content})
# Keep the system message + the last N messages
if len(historique) > MAX_MESSAGES + 1: # +1 for the system message
system_msg = historique[0]
historique = [system_msg] + historique[-(MAX_MESSAGES):]
return historique
Ez a megközelítés olcsó, de brutális: amit a felhasználó a második menetben meghatározott, az örökre elveszik. Amikor a beszélgetés hosszú, és ez a régebbi kontextus számít – például egy követelményelemző interjú során –, akkor inkább foglald össze azt, mintsem hogy eldobd:
def resumer_historique(client, historique):
"""Summarizes old messages to free up context."""
texte_complet = "\n".join(
f"{m['role']}: {m['content']}"
for m in historique[1:-4] # Exclude system and the last 4 messages
)
resume = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": f"Summarize this conversation in 3-4 sentences:\n{texte_complet}"}
]
)
return [
historique[0], # System message
{"role": "assistant", "content": f"[Conversation Summary] {resume.choices[0].message.content}"},
] + historique[-4:] # The last 4 messages
A lényeg, hogy a távoli múltat néhány mondatba sűrítsd össze, miközben az utolsó négy üzenetet érintetlenül hagyod, mivel ezek hordozzák az azonnali kontextust. Az összefoglalás egy extra hívásba kerül, de a későbbi menetekben sokszorosan megtérül.
A rendszerüzenet megfogalmazása
A rendszerüzenet e lecke leghatékonyabb és leginkább alábecsült eszköze. Sokan beérik egy általános „Segítőkész asszisztens vagy“ szöveggel, ami semmit nem ad hozzá. Egy jó rendszerüzenet ellenőrizhető korlátokat fogalmaz meg:
system_prompt = """You are a Corsen AI technical assistant.
Rules:
- Respond in French with a professional tone
- Provide code examples when relevant
- If you are unsure, say so rather than making things up
- Limit your responses to 200 words unless asked otherwise
Context: The user is working on a Python 3.12 project with FastAPI."""
Minden egyes sor itt mérhető hatást vált ki: a hosszúsági korlát kordában tartja a költségeket, a bizonytalanság beismerésére való felhívás csökkenti a hallucinációkat, a technológiai stack említése pedig elkerüli az általános, témától eltérő válaszokat. Tömör, pontos, egyértelmű – ennyi szükséges.
Főbb megállapítások
- A teljes előzményt minden kéréssel újra elküldjük – a modell „nem emlékszik“ semmire
- Három szerep (
system,user,assistant) strukturálja a beszélgetést - A
systemüzenet határozza meg az általános viselkedést – mindig ez kerüljön elsőnek - Kezeld a kontextus méretét a régi üzenetek csonkolásával vagy összefoglalásával
- Minél hosszabb az előzmény, annál többe kerül tokenekben minden egyes kérés