Retrieval: sadalīšana gabalos un rangēšana
Šajā lapā
Retrieval: sadalīšana gabalos un rangēšana
Failu meklēšana balstās uz pilnu izgūšanas (retrieval) cauruļvadu: tavi dokumenti tiek sadalīti gabalos (chunks), pārvērsti vektoros, indeksēti un pēc tam rangēti pēc atbilstības, kad tiek saņemts vaicājums. Šī cauruļvada izpratne ļauj tev optimizēt atbilžu kvalitāti.
Izgūšanas cauruļvads
Augšupielādējot failu vektoru krātuvē, OpenAI automātiski veic šādas darbības:
- Parsēšana: Iegūst neapstrādātu tekstu no avota formāta.
- Sadalīšana gabalos (Chunking): Sadala tekstu kontrolēta izmēra segmentos.
- Iegulšana (Embedding): Pārvērš katru gabalu vektorā.
- Indeksēšana: Saglabā vektorus vektoru indeksā.
Vaicājuma veikšanas brīdī:
- Vaicājuma iegulšana: Jautājums tiek pārvērsts vektorā.
- Vektoru meklēšana: Identificē tuvākos gabalus.
- Rangēšana: Pārkārto rezultātus pēc atbilstības.
- Ievadīšana: Ievada labākos gabalus modeļa kontekstā.
Sadalīšanas gabalos stratēģijas konfigurēšana
Sadalīšana gabalos ir iestatījums, kas virza visu pārējo, un kompromiss ir vienkāršs. Īsi gabali nodrošina precīzus meklēšanas rezultātus, taču sniedz izrakstus, kas atbrīvoti no konteksta — tu atrodi pareizo teikumu, bet zaudē informāciju par to, uz ko tas attiecas. Gari gabali saglabā kontekstu, taču apraka svarīgo informāciju neatbilstošā tekstā, kas vājina līdzības rādītāju.
Nav universālas vērtības: pareizais iestatījums ir atkarīgs no tava dokumenta struktūras, tieši tā, kā apkopots zemāk esošajā tabulā.
from openai import OpenAI
client = OpenAI()
# Noklusējuma stratēģija: auto
vector_store = client.vector_stores.create(
name="legal-base",
chunking_strategy={"type": "auto"}
)
# Pielāgota stratēģija: mazāki gabali lielākai precizitātei
vector_store = client.vector_stores.create(
name="support-faq",
chunking_strategy={
"type": "static",
"static": {
"max_chunk_size_tokens": 400,
"chunk_overlap_tokens": 100
}
}
)
Pareiza gabala izmēra izvēle
| Satura veids | max_chunk_size | pārklājums (overlap) | Kāpēc |
|---|---|---|---|
| BUJ, J&A | 200-400 | 50 | Īsas, pašpietiekamas atbildes |
| Tehniskā dokumentācija | 600-800 | 200 | Rindkopas ar kontekstu |
| Līgumi, juridiski teksti | 800-1200 | 300 | Gari, savstarpēji saistīti punkti |
| Pirmkods | 400-600 | 100 | Funkcijas un klases |
Pārklājuma ietekme
Pārklājums atrisina konkrētu problēmu: informācija, kas atrodas uz gabala robežas, citādi tiktu pārgriezta uz pusēm, nozīmējot, ka neviena puse neatbilstu vaicājumam. Pārklājot gabalus, tu garantē, ka katrs teikums vismaz vienā segmentā ir saglabāts vesels. Cena par to ir redundance — 300 tokenu pārklājums 800 tokenu gabalos nozīmē gandrīz 40 % dublēta teksta.
# Oriģinālais teksts (vienkāršots)
# "5.1. pants nosaka, ka piegādātājam jāveic piegāde 30 dienu laikā.
# Kavējuma gadījumā tiek piemērots sods 1% apmērā par katru dienu.
# 5.2. pants precizē, ka sodi ir ierobežoti līdz 15%."
# Bez pārklājuma: 5.1. pants un sodi var nonākt dažādos gabalos
# Ar pārklājumu: saikne starp pantu un sodiem tiek saglabāta
Atbilstības slieksnis un rangēšana
Rangēšana nosaka, kuri gabali tiek paturēti. Tu vari konfigurēt filtru:
response = client.responses.create(
model="gpt-5.6-terra",
input="Kāda ir atgriešanas politika?",
tools=[{
"type": "file_search",
"vector_store_ids": [vector_store.id],
"max_num_results": 10,
"ranking_options": {
"ranker": "auto",
"score_threshold": 0.5
}
}]
)
Parametrs score_threshold filtrē rezultātus, kas ir zem atbilstības sliekšņa. Vērtība 0.0 atgriež visu, savukārt 1.0 būtu pārāk ierobežojoša. Praksē vērtības no 0.3 līdz 0.6 dod labus rezultātus.
Izgūšanas kvalitātes optimizēšana
Dokumentu sagatavošana
Šis ir visizdevīgākais sviras efekts visā šajā nodarbībā un vienīgais, kas neprasa nekādus iestatījumus: labi strukturēts dokuments indeksējas kvalitatīvi. Izmanto skaidrus virsrakstus, ievadteikumu katrai sadaļai un izvairies no tabulām, kas pārvērstas par teksta putru. Turpretī neviens sadalīšanas gabalos iestatījums neglābs PDF failu, kura ekstrakcija rada sajauktas kolonnas.
# Slikti: Skenēts PDF ar aptuvenu OCR
# -> Nesakarīgi gabali, zemas kvalitātes iegulumi
# Labi: Strukturēts dokuments ar virsrakstiem un sadaļām
# -> Gabali, kas saskaņoti ar loģiskajām sadaļām
# Paradums: Pre-procesēšana pirms augšupielādes
def prepare_document(raw_text: str) -> str:
"""Attīra un strukturē tekstu pirms indeksēšanas."""
# Noņem atkārtojošos galvenes/kājenes
lines = raw_text.split("\n")
lines = [l for l in lines if not is_header_footer(l)]
# Normalizē atstarpes
text = "\n".join(lines)
text = re.sub(r"\n{3,}", "\n\n", text)
return text
Bagātināšana ar metadatiem
Metadati ļauj veikt prefiltrošanu pirms vektoru meklēšanas, kas uzlabo precizitāti:
# Augšupielāde ar bagātīgiem metadatiem
documents = [
{"file": "hr-policy-2026.pdf", "department": "hr", "type": "policy", "year": 2026},
{"file": "supplier-contract-a.pdf", "department": "procurement", "type": "contract", "year": 2026},
{"file": "it-security-guide.pdf", "department": "it", "type": "guide", "year": 2025},
]
for doc in documents:
with open(doc["file"], "rb") as f:
file_obj = client.files.create(file=f, purpose="assistants")
client.vector_stores.files.create(
vector_store_id=vector_store.id,
file_id=file_obj.id,
attributes={
"department": doc["department"],
"document_type": doc["type"],
"year": doc["year"]
}
)
Izgūšanas kvalitātes mērīšana
Bez mērīšanas jebkurš sadalīšanas gabalos iestatījums ir tikai intuīcija. Divdesmit jautājumu kopums, kurā tu zini paredzamo atbildi un dokumentu, kurā tā atrodas, ir pietiekams, lai procesu padarītu objektīvu: maini parametru, atkārtoti palaid testu kopu un salīdzini rezultātus. Tas ir mazs darbs salīdzinājumā ar stundām, kas pavadītas, strīdoties par gabalu izmēru bez datiem.
def evaluate_retrieval(test_questions: list[dict], vs_id: str) -> dict:
"""Novērtē izgūšanas kvalitāti, izmantojot testu kopu.
Katrs elements test_questions satur:
- question: jautājums, ko uzdot
- expected_answer: atslēgvārdi vai frāzes, kas sagaidāmas atbildē
"""
results = {"total": 0, "relevant": 0, "irrelevant": 0}
for test in test_questions:
response = client.responses.create(
model="gpt-5.6-terra",
input=test["question"],
tools=[{
"type": "file_search",
"vector_store_ids": [vs_id],
"max_num_results": 5
}]
)
answer = response.output_text.lower()
found_keywords = sum(
1 for word in test["expected_answer"]
if word.lower() in answer
)
results["total"] += 1
if found_keywords >= len(test["expected_answer"]) * 0.5:
results["relevant"] += 1
else:
results["irrelevant"] += 1
results["relevance_rate"] = results["relevant"] / results["total"]
return results
Papildu stratēģijas
Vairākas vektoru krātuves (Multi-Vector-Store)
Veic vaicājumus vairākām dokumentu bāzēm paralēli:
response = client.responses.create(
model="gpt-5.6-terra",
input="Salīdzini mūsu HR politiku ar juridiskajām prasībām",
tools=[{
"type": "file_search",
"vector_store_ids": [
vs_internal_policies,
vs_legal_texts
],
"max_num_results": 15
}]
)
Sadalīti vaicājumi
Jautājums, kas satur vairākus pieprasījumus, ģenerē vidēju vektoru, kas neatgādina nevienu no tiem, kā rezultātā visi meklēšanas rezultāti ir slikti. Sadalot to atsevišķos apakšjautājumos, tiek iegūti ievērojami labāki rezultāti — tas ir tas pats princips kā tīmekļa meklēšanā: precīzs vaicājums pārspēj visaptverošu vaicājumu.
def decomposed_search(complex_question: str, vs_id: str) -> str:
"""Sadaļa sarežģītu jautājumu apakšmeklējumos."""
# 1. solis: Sadala jautājumu
decomposition = client.responses.create(
model="gpt-5.6-terra",
input=f"Sadaliet šo jautājumu 2-3 vienkāršos apakšjautājumos: {complex_question}",
)
# 2. solis: Meklē katram apakšjautājumam
sub_results = []
for sub_q in decomposition.output_text.split("\n"):
if sub_q.strip():
r = client.responses.create(
model="gpt-5.6-terra",
input=sub_q.strip(),
tools=[{"type": "file_search", "vector_store_ids": [vs_id]}]
)
sub_results.append(r.output_text)
# 3. solis: Sintezē
synthesis = client.responses.create(
model="gpt-5.6-terra",
input=f"Sākotnējais jautājums: {complex_question}\n\n"
f"Starprezultāti:\n" + "\n---\n".join(sub_results) +
"\n\nSintezē pilnīgu un sakarīgu atbildi."
)
return synthesis.output_text
Galvenās atziņas
staticsadalīšana gabalos ar pielāgotu izmēru un pārklājumu uzlabo precizitāti.- Mazi gabali BUJ, lieli gabali juridiskiem dokumentiem.
score_thresholdfiltrē neatbilstošus rezultātus.- Attīri un strukturē savus dokumentus pirms indeksēšanas.
- Novērtē izgūšanas kvalitāti, izmantojot testu kopu.