Konversazzjonijiet Multi-Turn f'Python
F'din il-paġna
Memorja li Mhix Verament Memorja
Għall-kuntrarju ta’ magna ta’ tfittxija, mudell tal-lingwa jsegwi l-fil ta’ konversazzjoni: iqis dak li ntqal qabel u jibni t-tweġibiet tiegħu fuq dak il-kuntest akkumulat. Dan jissejjaħ konversazzjoni multi-turn, u huwa dak li jagħmel mistoqsijiet elliptiċi bħal “u bl-argumenti?” possibbli.
Teknikament, madankollu, il-mudell ma jiftakar xejn. L-ebda stat ma jinżamm fuq is-server bejn is-sejħiet. Ma’ kull talba, trid terġa’ tibgħat l-istorja sħiħa, li l-mudell jaqra mill-bidu sal-aħħar qabel ma jwieġeb. Dan il-mekkaniżmu jispjega żewġ affarijiet li se nerġgħu narawhom aktar tard: int responsabbli għalkollox għall-ġestjoni tal-memorja, u kull turn tal-konversazzjoni jispiża aktar minn ta’ qablu.
It-Tliet Rwoli li Jistrutturaw l-Istorja
Kull messaġġ fl-istorja għandu rwol li jgħid lill-mudell min qed jitkellem. Ir-rwol system jiddefinixxi l-imġiba ġenerali: meta jitqiegħed l-ewwel, jinfluwenza kull tweġiba li jmiss.
{"role": "system", "content": "You are an expert assistant in French cuisine. Always respond in French using precise culinary terms."}
Ir-rwol user iġorr il-messaġġi tal-utent—jiġifieri, il-mistoqsija jew l-istruzzjoni mibgħuta:
{"role": "user", "content": "How do I make perfect puff pastry?"}
Fl-aħħar nett, ir-rwol assistant fih it-tweġibiet preċedenti tal-mudell. Dawn huma l-messaġġi li terġa’ ddaħħal fl-istorja biex iżżomm il-kohorenza. Li tinsa dawn huwa ekwivalenti li tħassar il-memorja tal-konversazzjoni f’kull turn.
{"role": "assistant", "content": "To make perfect puff pastry, start by..."}
Konversazzjoni Sħiħa, Turn wara Turn
Il-kodiċi hawn taħt japplika dan il-prinċipju: funzjoni li żżid il-mistoqsija fl-istorja, tsejjaħ il-mudell, imbagħad taħżen it-tweġiba fil-post it-tajjeb qabel ma tirritornaha.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
historique = [
{
"role": "system",
"content": "You are a teaching assistant specialized in Python programming. Respond concisely and include code examples."
}
]
def poser_question(question: str) -> str:
"""Sends a question and updates the history."""
historique.append({"role": "user", "content": question})
response = client.chat.complete(
model="mistral-small-latest",
messages=historique,
)
reponse_texte = response.choices[0].message.content
historique.append({"role": "assistant", "content": reponse_texte})
return reponse_texte
# Turn 1
print("Q: What is a decorator in Python?")
r1 = poser_question("What is a decorator in Python?")
print(f"R: {r1}\n")
# Turn 2 — the model knows the context
print("Q: Can you show me a concrete example?")
r2 = poser_question("Can you show me a concrete example?")
print(f"R: {r2}\n")
# Turn 3 — implicit reference to previous turns
print("Q: How do I use it with arguments?")
r3 = poser_question("How do I use it with arguments?")
print(f"R: {r3}\n")
Fit-tielet turn, il-mistoqsija qatt ma ssemmi kelma “decorator” mill-ġdid. Il-mudell xorta jifhem li “uża” tirreferi għal dak il-kunċett għax jerġa’ jaqra l-iskambju kollu. Neħħi l-linja li żżid it-tweġiba fl-istorja u erġa’ ġarriha: il-mudell jistaqsi dwar x’inhu qed titkellem. Din hija l-aktar prova rapida li l-kontinwità ma tiġix mill-mudell, iżda mill-kodiċi tiegħek.
Iżżommx l-Istorja Issir Għalja Wisq
Kull mudell għandu tieqa tal-kuntest limitata, imkejla f’tokens. Hekk kif l-istorja tikber, kull talba ssir aktar għalja għax kollox jiġi ritrasmess. Konversazzjoni ta’ tletin turn effettivament tibbilla l-bidu tagħha tletin darba.
L-aktar soluzzjoni sempliċi hija li taqta’, iżżomm il-messaġġ tas-sistema u l-aħħar N skambji:
MAX_MESSAGES = 20
def ajouter_message(historique, role, content):
historique.append({"role": role, "content": content})
# Keep the system message + the last N messages
if len(historique) > MAX_MESSAGES + 1: # +1 for the system message
system_msg = historique[0]
historique = [system_msg] + historique[-(MAX_MESSAGES):]
return historique
Dan l-approċċ huwa rħis, iżda huwa brutali: dak li l-utent speċifika fit-tieni turn jisparixxi għal dejjem. Meta l-konversazzjoni tkun twila u dak il-kuntest antik ikun importanti—per eżempju, intervista ta’ ġbir tar-rekwiżiti—agħmel sommarju minflok ma titfgħu:
def resumer_historique(client, historique):
"""Summarizes old messages to free up context."""
texte_complet = "\n".join(
f"{m['role']}: {m['content']}"
for m in historique[1:-4] # Exclude system and the last 4 messages
)
resume = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": f"Summarize this conversation in 3-4 sentences:\n{texte_complet}"}
]
)
return [
historique[0], # System message
{"role": "assistant", "content": f"[Conversation Summary] {resume.choices[0].message.content}"},
] + historique[-4:] # The last 4 messages
L-idea hija li tikkumpressa l-passat imbiegħed f’ftit sentenzi waqt li żżomm l-aħħar erba’ messaġġi intatti, peress li dawn iġorru l-kuntest immedjat. Is-sommarju jikkonsma sejħa waħda ekstra, iżda jħallas ruħu ħafna drabi fit-turni sussegwenti.
Tifforma l-Messaġġ tas-Sistema
Il-messaġġ tas-sistema huwa l-aktar għodda qawwija u mhux użata biżżejjed f’din il-lezzjoni. Ħafna jissodisfaw ruħhom b‘“Int assistent utli” ġeneriku li ma jżid xejn. Messaġġ tas-sistema tajjeb jiddikjara restrizzjonijiet verifikabbli:
system_prompt = """You are a Corsen AI technical assistant.
Rules:
- Respond in French with a professional tone
- Provide code examples when relevant
- If you are unsure, say so rather than making things up
- Limit your responses to 200 words unless asked otherwise
Context: The user is working on a Python 3.12 project with FastAPI."""
Kull linja hawnhekk tipproduċi effett li jista’ jitkejjel: il-limitu tat-tul iżomm l-ispejjeż taħt kontroll, l-istedina li tammetti l-inċertezza tnaqqas l-alluċinazzjonijiet, u s-semmi tal-istack jevita tweġibiet ġeneriċi u barra mit-tema. Konċiż, preċiż, mingħajr ambigwità—dan huwa kollu li jeħtieġ li jkun.
Punti Ewlenin
- L-istorja sħiħa tintbagħat mill-ġdid ma’ kull talba—il-mudell ma “jiftakar” xejn
- Tliet rwoli (
system,user,assistant) jistrutturaw il-konversazzjoni - Il-messaġġ
systemjiddefinixxi l-imġiba ġenerali—poġġieh dejjem l-ewwel - Immaniġġja d-daqs tal-kuntest billi taqta’ jew tagħmel sommarju tal-messaġġi antiki
- Itwal tkun l-istorja, aktar kull talba tispiża f’tokens