Optimiziraj relevantnost pretraživanja
Na ovoj stranici
Kvaliteta rezultata ovisi o tebi
xAI-jev tražilica je moćna, ali radi samo s materijalom koji joj pružiš. Loše pripremljena kolekcija daje osrednje rezultate čak i s najboljim modelom, što navodi timove na pogrešan zaključak da „RAG ne radi“. Ti kontroliraš tri poluge: strukturu dokumenata, formulaciju upita i organizaciju kolekcije. Ova lekcija ih ispituje tim redoslijedom, a zatim nudi metodu za mjerenje tvog napretka.
Pripremi dokumente za dijeljenje na chunkove
Motor se oslanja na strukturu dokumenta kako bi podijelio sadržaj na chunkove: naslovi, podnaslovi i odlomci služe kao oznake. Naslov poput „Politika povrata za online kupnje“ daje chunku jasan identitet i čini ga pronalazljivim; „Odjeljak 3.2.1“ ne pruža nikakav upotrebljiv signal za dijeljenje ili semantičko podudaranje. Preimenovanje naslova u internom priručniku prije indeksiranja često je optimizacija s najvećim povratom ulaganja u cijelom projektu.
Veličina dokumenta je sljedeća stvar koja bitno utječe. PDF od 500 stranica proizvodi stotine chunkova koji se međusobno natječu: što je dokument veći i raznolikiji u svom internom korpusu, to je veći rizik da će nebitan isječak dobiti visoku ocjenu. Razdvoj te monolite na tematske cjeline, ciljajući na dokumente od dvadeset do pedeset stranica posvećene jednoj temi, umjesto na sveobuhvatne dokumente koji pokrivaju sve.
Zatim tu je pitanje konteksta. Svaki chunk čita se izolirano, iščupan iz onoga što mu prethodi, što osuđuje anaforičke reference na propast. Rečenica poput „kao što je gore spomenuto, ovaj rok vrijedi i za narudžbe na veliko“ postaje neupotrebljiva jednom kada se podijeli na chunkove: ni rok ni njegov predmet ne pojavljuju se u fragmentu. Napiši „četnaestodnevni rok za odustanak vrijedi i za narudžbe na veliko“ i chunk će stajati sam za sebe.
Piši bolje upite
Preciznost upita teži isto koliko i kvaliteta korpusa. Pretraživanje pojma „sigurnost“ vraća desetke različitih isječaka, od lozinki do fizičke kontrole pristupa; „konfiguracija vatrozida za dolazne veze na portu 443“ odmah cilja dva ili tri korisna odlomka. Kada tvoji dokumenti koriste ustaljeni tehnički rječnik, ponovno ga upotrijebi: čak i u hibridnom načinu rada, koji miješa točno podudaranje i semantičko razumijevanje, doslovni pojam ostaje snažan signal.
Daj prednost potpunim pitanjima umjesto paketima ključnih riječi. „Istek vremena veze API-ja“ ostavlja motoru da nagađa tvoju namjeru, dok „Kako konfigurirati istek vremena veze API-ja?“ pruža gramatičku strukturu za podudaranje s indeksiranim rečenicama. Dobitak je posebno jasan u semantičkom načinu rada, koji je dizajniran za prirodni jezik.
Iskoristi metapodatke i organizaciju
Ako si deklarirao metapodatke s inject_into_chunk, oni se uključuju u indeksirani tekst i postaju sidrišta. Polje department ubrizgano u svaki chunk znači da upit „postupak validacije u marketinškom timu“ spontano izvlači dokumente marketinškog odjela, bez postavljanja ikakvog eksplicitnog filtra.
Tematska organizacija kolekcije proizvodi isti učinak u većem mjerilu. Umjesto jedne kolekcije koja sadrži sve, razdvoj col_docs_techniques za tehničku dokumentaciju, col_procedures_internes za procese i col_support_client za često postavljana pitanja i korisničke vodiče. Asistent okrenut korisnicima tada upituje samo treću: manje dokumenata za pretraživanje znači preciznije rezultate i nižu cijenu jer nema poziva beskorisnim kolekcijama. Način pretraživanja nadopunjuje ovu postavku—keyword za kod ili točnu referencu, semantic za konceptualno pitanje, hybrid kada si u nedoumici i kao zadana opcija.
Mjeri prije implementacije
Ništa od ovoga nema smisla bez evaluacije. Prije puštanja u proizvodnju, izgradi testni skup: formuliraj deset do dvadeset pitanja koja predstavljaju stvarne slučajeve, one koje tvoji korisnici zapravo postavljaju, a ne one koje ti zamišljaš. Pokreni ih, procijeni relevantnost vraćenih rezultata i zabilježi upite koji vraćaju neadekvatne isječke. Oni ti govore što treba popraviti: poboljšaj strukturu relevantnog dokumenta, dodaj metapodatke ili preformuliraj sam upit.
Ocjene služe kao tvoj termometar tijekom ove petlje. Svaki rezultat nosi vrijednost između 0 i 1; ako tvoji tipični upiti dosljedno stagniraju ispod 0,5, nemoj tražiti problem na strani modela. Ili su tvoji dokumenti loše strukturirani, tvoja pitanja ostaju previše nejasna, ili—najčešće i najpogrešnije dijagnosticirano—tvoj korpus jednostavno ne sadrži ništa o traženoj temi. Ponovno pokretanje istog skupa pitanja nakon svake modifikacije govori ti, brojčano, napreduješ li.
Ključne točke
- Kvaliteta rezultata ovisi o strukturi dokumenta, preciznosti upita i organizaciji kolekcije
- Eksplicitni naslovi i razumne veličine dokumenata poboljšavaju dijeljenje na chunkove
- Potpuna pitanja u prirodnom jeziku daju bolje rezultate od izoliranih ključnih riječi
- Metapodaci
inject_into_chunkobogaćuju chunkove i poboljšavaju relevantnost - Testiraj svoje kolekcije s tipičnim upitima prije implementacije u proizvodnju