Comhbhrú: Comhbhrú Comhráite Fada
Ar an leathanach seo
An Fhadhb le Comhráite Fada
Gach teachtaireacht a chuirtear le comhrá, méadaíonn sí líon na dtócan a sheoltar chuig an API. Is féidir le comhrá 50 babhta 30,000 tócan ionchur a shroicheadh go héasca, rud a mhéadaíonn moill agus costas araon. Is fadhb insidious í: costálann an chéad bhabhta d’fhreastalaí tacaíochta cúpla céad tócan, ach costálann an tríú babhta déag roinnt mílte cé go bhfuil an t-úsáideoir ag cur an chineáil chéanna ceiste. Íocann tú níos mó agus níos mó as seirbhís chomhionann, agus fanann an t-úsáideoir níos faide agus níos faide ar fhreagra.
Réitíonn comhbhrú é seo trí stair a chomhbhrú gan faisnéis riachtanach a chailleadh. Baineann sé le achoimre a dhéanamh ar mhalartuithe níos sine chun líon na dtócan a laghdú agus an comhthéacs riachtanach a chaomhnú. In ionad an stair iomlán a sheoladh, seolann tú achoimre ar mhalartuithe roimhe seo móide na teachtaireachtaí is déanaí. Tá a fhios ag an tsamhail fós gurb é Dupont ainm an chustaiméara, go bhfuil ordú faoi dhíospóid acu, agus go bhfuil aisíocaíocht tairgthe cheana féin agat, gan na daichead teachtaireacht a d’bhunaigh na fíricí sin a léamh arís.
An Mheicníocht
Cuirtear an loighic seo i bhfeidhm sa fhoirm is simplí sa fheidhm thíos: déanann sí meastachán ar an toirt, ní dhéanann sí aon rud go dtí go sáraítear an tairseach, ansin roinneann sí an stair ina dhá chuid. Téann teachtaireachtaí níos sine chuig an achoimre; fanann na cinn is déanaí mar atá siad.
import openai
client = openai.OpenAI()
def compact_history(
messages: list[dict],
token_threshold: int = 10_000,
keep_recent: int = 6,
) -> list[dict]:
"""Déanann sé comhbhrú ar an stair nuair a sháraíonn sí an tairseach."""
# Déan meastachán ar líon na dtócan (neasú)
estimated_tokens = sum(len(m["content"]) // 4 for m in messages)
if estimated_tokens < token_threshold:
return messages # Níl gá le comhbhrú
# Roinn: teachtaireachtaí sean vs teachtaireachtaí déanacha
old_messages = messages[:-keep_recent]
recent_messages = messages[-keep_recent:]
# Déan achoimre ar theachtaireachtaí sean
old_text = "\n".join(
f"{m['role']}: {m['content']}" for m in old_messages
)
response = client.responses.create(
model="gpt-5.6-terra",
input=(
"Déan achoimre ghairid ar an gcomhrá seo. "
"Coinnigh faisnéis fhíorasach thábhachtach, cinntí a rinneadh, "
"agus an comhthéacs atá ag teastáil chun tuiscint a fháil ar an méid a leanann.\n\n"
f"{old_text}"
),
max_output_tokens=500,
)
# Aththógáil stair chomhbhrúite
summary_message = {
"role": "system",
"content": f"Achoimre ar an gcomhrá roimhe seo:\n{response.output_text}",
}
return [summary_message] + recent_messages
Tá dhá shonraí ar chóir duit aird a thabhairt orthu. Iarrann an leid achoimre go sonrach ar chinntí a rinneadh toisc go gcaillfidh an tsamhail cuimhne ar a gealltanais féin mura ndéantar ach téamaí a choinneáil san achoimre. Agus cuireann max_output_tokens=500 teorainn leis an achoimre: gan an teorainn seo, fásfaidh an achoimre le gach comhbhrú, agus críochnóidh tú leis an bhfadhb chéanna a raibh tú ag iarraidh a dhíothú.
Dhá Straitéis le Bheith ar an Eolas Agat
Fuinneog Shleamhnáin le hAchoimre
Tionsclaíonn an rang thíos an prionsabal. Coimeádann sé achoimre amháin a athscríobhann sé ag gach comhbhrú trí mhalartuithe nua a chomhtháthú, agus fuinneog de theachtaireachtaí amh á gcoinneáil aige. Mar sin, is trí bhloc i gcónaí an comhthéacs a sheoltar chuig an API: an leid córais, an achoimre charntach, agus an fhuinneog dheireanach.
class CompactedConversation:
"""Bainistíonn sé comhrá le comhbhrú uathoibríoch."""
def __init__(
self,
system_prompt: str,
compaction_threshold: int = 8_000,
window_size: int = 8,
):
self.system_prompt = system_prompt
self.threshold = compaction_threshold
self.window_size = window_size
self.summary: str | None = None
self.messages: list[dict] = []
def build_context(self) -> list[dict]:
"""Tógann sé an comhthéacs le seoladh chuig an API."""
context = [{"role": "system", "content": self.system_prompt}]
if self.summary:
context.append({
"role": "system",
"content": f"Comhthéacs roimhe seo: {self.summary}",
})
context.extend(self.messages[-self.window_size:])
return context
def add_message(self, role: str, content: str):
self.messages.append({"role": role, "content": content})
self._check_compaction()
def _check_compaction(self):
tokens = sum(len(m["content"]) // 4 for m in self.messages)
if tokens > self.threshold:
self._compact()
def _compact(self):
old_messages = self.messages[:-self.window_size]
if not old_messages:
return
text = "\n".join(
f"{m['role']}: {m['content']}" for m in old_messages
)
existing_context = f"Achoimre atá ann cheana: {self.summary}\n\n" if self.summary else ""
response = client.responses.create(
model="gpt-5.6-terra",
input=(
f"{existing_context}"
f"Malartuithe nua le comhtháthú san achoimre:\n{text}\n\n"
"Déan achoimre nuashonraithe, ghairid, agus fhíorasach."
),
max_output_tokens=400,
)
self.summary = response.output_text
self.messages = self.messages[-self.window_size:]
Tabhair faoi deara go n-athchuireann _compact an achoimre atá ann cheana isteach sa leid roimh na malartuithe nua. Coscaíonn sé seo amnéise chéimneach: gan an t-athchur seo, scriosfadh gach comhbhrú gach rud a choinnigh an ceann roimhe.
Comhbhrú Roghnach
Tá an t-achoimriú millteach, agus ní mhaireann roinnt ábhar athfhoirmliú. Caillfidh blúire cód, freagra API JSON, nó tábla figiúirí a n-úsáideacht chomh luath agus a dhéantar parafraisiú air. Mar sin, déanann comhbhrú roghnach sórtáil ar theachtaireachtaí sean sula ndéantar achoimre orthu: téann na cinn ina bhfuil cód nó sonraí struchtúrtha tríd gan bhac, agus ní dhéantar comhbhrú ach ar théacs comhráite.
def selective_compaction(
messages: list[dict],
keep_recent: int = 6,
) -> list[dict]:
"""Déanann sé comhbhrú agus coimeádann sé teachtaireachtaí struchtúrtha slán."""
old_messages = messages[:-keep_recent]
recent_messages = messages[-keep_recent:]
to_summarize = []
to_keep = []
for msg in old_messages:
content = msg["content"]
# Coinnigh teachtaireachtaí ina bhfuil cód nó sonraí
if "```" in content or "{" in content:
to_keep.append(msg)
else:
to_summarize.append(msg)
# Déan achoimre ar théacs comhráite amháin
summary = ""
if to_summarize:
text = "\n".join(f"{m['role']}: {m['content']}" for m in to_summarize)
response = client.responses.create(
model="gpt-5.6-terra",
input=f"Déan achoimre ar na malartuithe seo i 3 abairt:\n{text}",
max_output_tokens=200,
)
summary = response.output_text
result = []
if summary:
result.append({
"role": "system",
"content": f"Achoimre ar mhalartuithe: {summary}",
})
result.extend(to_keep)
result.extend(recent_messages)
return result
Tá an critéar sórtála a úsáidtear anseo—láithreacht trí chúlslais nó lúibín cúbach—d’aon ghnó garbh. Oiriúnaigh é don méid a tháirgeann do uirlisí i ndáiríre: d’fhreastalaí a láimhseálann tagairtí cásanna, b’fhéidir gur mhaith leat aon teachtaireacht ina bhfuil ID custaiméara a chaomhnú.
A Fhíorú Go Bhfuil Fiúntas sa Chomhbhrú
Costálann comhbhrú mí-chalabrtha glaonna API breise gan aon ghnóthachan suntasach, nó déanann sé comhbhrú chomh ionsaitheach sin go gcailleann an tsamhail an snáithe agus go gcuireann sí ceisteanna a réitíodh cheana féin. Dá bhrí sin, tomhais an cóimheas sula ndéanann tú do thairseacha deiridh a shocrú, ag baint úsáide as sampla de chomhráite fíora.
def compaction_ratio(
before: list[dict],
after: list[dict],
) -> dict:
tokens_before = sum(len(m["content"]) // 4 for m in before)
tokens_after = sum(len(m["content"]) // 4 for m in after)
reduction = 1 - (tokens_after / tokens_before) if tokens_before else 0
return {
"tokens_before": tokens_before,
"tokens_after": tokens_after,
"reduction": f"{reduction:.0%}",
"messages_before": len(before),
"messages_after": len(after),
}
Tóg dúsain tras-scríbhinní ó do thimpeallacht táirgeachta, rith iad trí chomhbhrú, agus léigh na hachoimrí a tháirgtear: mura féidir leat an comhrá a thosú arís bunaithe ar an achoimre amháin, tá do thairseach ró-íseal nó tá do leid achoimre ró-doiléir.
Príomhphointí
- Laghdaíonn comhbhrú tócan trí achoimre a dhéanamh ar theachtaireachtaí níos sine
- Coinnigh na teachtaireachtaí is déanaí slán i gcónaí (fuinneog shleamhnáin)
- Caomhnaigh teachtaireachtaí ina bhfuil cód nó sonraí struchtúrtha
- Athchuir an achoimre atá ann cheana ag gach comhbhrú nua chun amnéise chéimneach a sheachaint
- Tomhais an cóimheas comhbhrúite chun do thairseacha a chalabrú