Načini iskanja: ključne besede, semantično, hibridno
Na tej strani
Trije pristopi k iskanju informacij
Polje retrieval_mode sprejme tri vrednosti in ta izbira ni zgolj kozmetična: določa, kaj motor primerja. En način gleda na besede, drug na pomen, tretji pa počne oboje. Glede na tvoje dokumente in na to, kako uporabniki zastavljajo vprašanja, je lahko razlika v ustreznosti med dvema načinoma pri isti zbirki dramatična.
Način ključnih besed: dobesedno ujemanje
Način ključnih besed deluje kot klasičen iskalnik. Besede v tvojem poizvedbi ujema z indeksiranim besedilom in prikaže odlomke, ki te besede dejansko vsebujejo.
{
"query": "VAT rate 20%",
"source": { "collection_ids": ["col_fiscal"] },
"retrieval_mode": { "type": "keyword" }
}
Njegova prednost je v dobesednosti. Pri sklicu na izdelek, kot je „XR-2847”, številki računa, pravnem členu ali industrijskem akronimu se ne zmoti: niz je tam ali pa ga ni. Ne izračunava vdelav (embeddings), zato je hiter. Njegova slabost je ravno nasprotje te lastnosti: ničesar ne razume. Če tvoj dokument govori o „davku na dodano vrednost”, uporabnik pa vpiše „DDV”, do ujemanja ne pride in iz dokumenta, ki je dejansko vseboval odgovor, dobiš nič rezultatov. Vse je torej odvisno od sovpadanja besedišča med piscem in bralcem, kar je tvegana stava, takoj ko tvoji uporabniki niso avtorji dokumentov.
Semantični način: razumevanje pomena
Semantični način pretvori poizvedbo in razdrobljene dele (chunks) v vektorje, nato pa primerja pomene namesto znakov. Zato prikaže ustrezne odlomke, tudi če si besede ne delijo nobene skupne besede.
{
"query": "how to reduce sales taxes",
"source": { "collection_ids": ["col_fiscal"] },
"retrieval_mode": { "type": "semantic" }
}
Ta poizvedba ne vsebuje niti „DDV” niti „oprostitve”, vseeno pa bo prikazala odlomke, ki obravnavajo DDV, davek na dodano vrednost, davčne olajšave ali oprostitve. To je točno tisto, kar želiš za asistenta, namenjenega javnosti: tvoji uporabniki sprašujejo s svojimi besedami, ne z leksikonom tvojega pravnega oddelka. Način brez težav obvlada sopomenke – „povračilo”, „dobropis” in „kredit” se v vektorskem prostoru naravno združijo. V zameno izgubi natančnost tam, kjer je ta absolutna: koda izdelka „XR-2847” je semantično podobna „XR-2874” in motor lahko vrne napačno. Vsaka poizvedba zahteva tudi izračun vdelave, kar pomeni računske stroške, ki jih pri načinu ključnih besed ni.
Hibridni način: oba signala hkrati
Hibridni način je privzeti način in tisti, ki ga priporoča xAI, ker zavrača kompromise. Vzemimo tipično pravno poizvedbo, ki meša točen sklic in ohlapen koncept.
{
"query": "article L.121-3 director liability",
"source": { "collection_ids": ["col_juridique"] },
"retrieval_mode": { "type": "hybrid" }
}
Obdelava poteka v treh korakih. Motor najprej izvede iskanje po ključnih besedah, da zajame točna ujemanja, tukaj niz „L.121-3”. Vzporedno izvede semantično iskanje, ki išče odlomke, konceptualno povezane z odgovornostjo direktorjev, tudi če ne uporabljajo teh točnih besed. Nazadnje združi oba seznama in ju ponovno razvrsti, da maksimira splošno ustreznost.
Rezultat zajame tako člene, ki izrecno navajajo L.121-3, kot komentarje, ki obravnavajo odgovornost direktorjev, ne da bi člen omenjali. Pokritost (recall) se znatno izboljša: zamudiš manj ustreznih dokumentov, ne glede na register vprašanja. Zato hibridni način deluje enako dobro za tehnično poizvedbo kot za pogovorni stavek in zakaj predstavlja razumno privzeto izbiro.
Kljub temu dve situaciji upravičujeta odstop od te nastavitve. Če iščeš določen podpis funkcije v kodozni, ti semantični šum škoduje in keyword bo ostrejši. Nasprotno pa za široko raziskovanje – „kaj smo napisali o zvestobi strank?” – brez osrednjega izraza za ujemanje, semantic zajame širše mrežo in ti pomaga odkriti dokumente, ki jih nisi iskal.
Primerjava načinov
| Merilo | keyword | semantic | hybrid |
|---|---|---|---|
| Točni izrazi | Odlično | Zadovoljivo | Dobro |
| Sopomenke | Slabo | Odlično | Dobro |
| Naravni jezik | Slabo | Odlično | Odlično |
| Kode/sklici | Odlično | Slabo | Dobro |
| Priporočilo | Specifični primeri | Raziskovanje | Privzeto |
Preprost način za odločitev: vzemi deset resničnih vprašanj svojih uporabnikov, jih zaženi v vseh treh načinih na isti zbirki in primerjaj prvih pet rezultatov. V petnajstih minutah boš vedel, ali tvoj korpus nagiba k točnemu besedišču ali k pomenu.
Ključne ugotovitve
- Način ključnih besed išče točna ujemanja – idealno za tehnične izraze in sklice
- Semantični način razume pomen – idealno za vprašanja v naravnem jeziku
- Hibridni način združuje oboje – to je priporočena privzeta izbira
- Uporabi
keywordza iskanje kod, identifikatorjev ali točnih vrednosti - Uporabi
hybridv vseh drugih primerih