Optimalizujte relevantnosť vyhľadávania
Na tejto strane
Kvalita výsledkov závisí od teba
Vyhľadávací engine xAI je výkonný, ale funguje len s materiálmi, ktoré mu poskytnete. Zle pripravená kolekcia prináša priemerné výsledky aj pri použití najlepšieho modelu, čo vedie tímy k mylnému záveru, že „RAG nefunguje“. Máte pod kontrolou tri páky: štruktúru dokumentov, formuláciu dopytov a organizáciu kolekcií. Táto lekcia ich preskúma v uvedenom poradí a následne ponúkne metódu na meranie vášho pokroku.
Príprava dokumentov na chunking
Engine sa spolieha na štruktúru dokumentu pri rozdelení obsahu na chunky: nadpisy, podnadpisy a odseky slúžia ako značky. Nadpis ako „Politika vrátenia tovaru pre online nákupy“ dáva chunku jasnú identitu a robí ho ľahko vyhľadateľným; „Sekcia 3.2.1“ neposkytuje žiadny použiteľný signál pre chunking ani sémantické párovanie. Premenovanie nadpisov v internom manuáli pred indexovaním je často optimalizáciou s najvyššou návratnosťou investícií (ROI) v celom projekte.
Ďalej záleží na veľkosti dokumentu. PDF s 500 stranami vyprodukuje stovky chunkov, ktoré si navzájom konkurujú: čím väčší a rozmanitejší je interný korpus dokumentu, tým vyššie je riziko, že sa vysoko ohodnotí irelevantný úryvok. Rozdeľte tieto monolity na tematické sekcie a usilujte sa o dokumenty s rozsahom dvadsať až päťdesiat strán venované jednej téme, namiesto súborných dokumentov pokrývajúcich všetko.
Potom tu je otázka kontextu. Každý chunk sa číta izolovane, vytrhnutý z toho, čo mu predchádzalo, čo odsudzuje anaforické odkazy na zánik. Veta ako „ako bolo spomenuté vyššie, táto lehota platí aj pre hromadné objednávky“ sa po rozdelení na chunky stáva nepoužiteľnou: ani lehota, ani jej predmet sa vo fragmente nenachádzajú. Napíšte „štrnásťdňová lehota na odstúpenie od zmluvy platí aj pre hromadné objednávky“ a chunk bude stáť sám o sebe.
Píšte lepšie dopyty
Presnosť dopytu váži rovnako ako kvalita korpusu. Vyhľadávanie „bezpečnosť“ vráti desiatky roztrieštených úryvkov, od hesiel až po fyzickú kontrolu prístupu; „konfigurácia firewallu pre prichádzajúce pripojenia na porte 443“ okamžite cieli na dva alebo tri užitočné pasáže. Keď vaše dokumenty používajú zavedenú technickú slovník, použite ju znova: aj v hybridnom režime, ktorý mieša presné párovanie a sémantické pochopenie, zostáva doslovný termín silným signálom.
Uprednostnite celé otázky pred balíkmi kľúčových slov. „Časový limit pripojenia API“ necháva engine hádať váš zámer, zatiaľ čo „Ako nakonfigurujem časový limit pripojenia API?“ poskytuje gramatickú štruktúru na párovanie s indexovanými vetami. Zisk je obzvlášť zrejmý v sémantickom režime, ktorý bol navrhnutý pre prirodzený jazyk.
Využite metadáta a organizáciu
Ak ste deklarovali metadáta pomocou inject_into_chunk, sú začlenené do indexovaného textu a stávajú sa kotviacimi bodmi. Pole department vložené do každého chunku znamená, že dopyt „postup schvaľovania v marketingovom tíme“ spontánne vybaví dokumenty marketingového oddelenia bez akéhokoľvek explicitne nastaveného filtra.
Tematická organizácia kolekcií prináša rovnaký efekt vo väčšom meradle. Namiesto jednej kolekcie obsahujúcej všetko vytvorte samostatné kolekcie: col_docs_techniques pre technickú dokumentáciu, col_procedures_internes pre procesy a col_support_client pre FAQ a používateľské príručky. Asistent orientovaný na zákazníka potom dopytuje iba tú tretiu: menej dokumentov na prehľadanie znamená presnejšie výsledky a nižšie náklady, keďže sa nevykonávajú žiadne volania do nepotrebných kolekcií. Režim vyhľadávania toto nastavenie dopĺňa – keyword pre kód alebo presné referencie, semantic pre koncepčné otázky, hybrid v prípade pochybností a ako predvolená možnosť.
Merajte pred nasadením
Nič z toho nemá zmysel bez evaluácie. Pred nasadením do produkcie zostavte testovaciu sadu: formulujte desať až dvadsať otázok reprezentujúcich reálne prípady, tie, ktoré vaši používatelia skutočne kladú, nie tie, ktoré si len predstavujete. Spustite ich, posúďte relevantnosť vrátených výsledkov a zaznamenajte dopyty, ktoré vracajú nevhodné úryvky. Tie vám povedia, čo treba opraviť: zlepšiť štruktúru príslušného dokumentu, pridať metadáta alebo preformulovať samotný dopyt.
Skóre slúžia počas tohto cyklu ako váš teplomer. Každý výsledok nesie hodnotu medzi 0 a 1; ak vaše typické dopyty konzistentne dosahujú maximum pod 0,5, nehľadajte problém na strane modelu. Buď sú vaše dokumenty zle štruktúrované, vaše otázky zostávajú príliš vágne, alebo – čo je najčastejšie a najviac nesprávne diagnostikované – váš korpus jednoducho neobsahuje nič k požadovanej téme. Opätovné spustenie tejto rovnakej sady otázok po každej úprave vám číselne povie, či napredujete.
Kľúčové poznatky
- Kvalita výsledkov závisí od štruktúry dokumentov, presnosti dopytov a organizácie kolekcií
- Explicitné nadpisy a primerané veľkosti dokumentov zlepšujú chunking
- Celé otázky v prirodzenom jazyku prinášajú lepšie výsledky ako izolované kľúčové slová
- Metadáta
inject_into_chunkobohacujú chunky a zlepšujú relevantnosť - Otestujte svoje kolekcie typickými dopytmi pred nasadením do produkcie