Metapodatki in polja po meri
Na tej strani
Kontekst, ki ga dokument ne nosi
Tehnično poročilo v svojem besedilu ne vsebuje vedno imena avtorja, leta nastanka ali stopnje zaupnosti. Kljub temu so prav ti podatki tisti, ki ločijo iskanje, ki najde pravi dokument, od iskanja, ki vrne tri nepomembne rezultate. Sistem metapodatkov zbirke služi prav temu namenu: vsakemu dokumentu dodeli strukturirane informacije, ki jih iskalnik lahko izkoristi in po katerih lahko filtriraš.
Pripajanje polj dokumentu
Ko dodajaš dokument, parameter fields sprejme pare ključ-vrednost, ki jih opredeliš po lastni volji:
await client.collections.upload_document(
collection_id=collection_id,
name="technical-report-q1",
data=pdf_content,
fields={
"author": "Marie Dupont",
"year": "2026",
"department": "R&D",
"document_type": "report",
"confidentiality": "internal"
}
)
Na tej ravni ni vsiljene sheme: imena polj izbiraš sam. Ta svoboda se pri prvem dokumentu zdi prijetna, ob stotem pa postane težava, ko v isti zbirki sobivajo author, auteur in Author, brez da bi katerikoli filter deloval pravilno.
Določanje pravil na ravni zbirke
Tu nastopijo field_definitions, ki jih deklariraš pri zbirki. Ustno dogovorjeno prakso spremenijo v omejitev, ki jo preveri API. Na voljo so tri nastavitve:
| Nastavitev | Učinek |
|---|---|
required: true | Vsak dokument mora vsebovati ta metapodatek |
unique: true | Dva dokumenta ne moreta imeti iste vrednosti |
inject_into_chunk: true | Metapodatek se doda indeksirani vsebini |
Definicija združuje te nastavitve za vsako polje posebej:
{
"field_definitions": [
{
"name": "author",
"required": true,
"inject_into_chunk": true
},
{
"name": "document_id",
"required": true,
"unique": true
},
{
"name": "year",
"required": false,
"inject_into_chunk": true
}
]
}
Ta primer beri kot politiko za dokumente: vsak dokument mora imeti avtorja in ID, ta ID pripada le enemu dokumentu – kar preprečuje podvajanje ob vnosu – leto pa ostaja izbirno, da se ne bi zavračali dokumenti brez datuma.
Možnost, ki spremeni relevantnost
Od teh treh nastavitev edino inject_into_chunk vpliva na kakovost odgovorov in si zasluži natančnejši pogled. Med indeksiranjem se dokument razdeli na fragmente – kose (chunks) – in omogočitev te možnosti kopira vrednost polja v vsakega od njih.
Konkretno: pri author: "Marie Dupont" in inject_into_chunk: true vsak indeksiran kos nosi to ime. Vprašanje, kot je „Kaj je Marie Dupont napisala o zakasnitvah v omrežju?”, ima tako več možnosti za zadetek, saj se ime pojavi v preiskovani vsebini. Brez injiciranja se isto vprašanje zanaša zgolj na besedilo poročila, kjer se ime avtorja morda pojavi le na naslovnici.
Zato omogoči injiciranje za polja, ki nosijo kontekst – avtor, oddelek, leto, kategorija – in ga izklopi za administrativna polja, kot so interni ID, datum nalaganja ali status validacije, ki bi le dodajala šum.
Tri preizkušeni shemi
Uporabni metapodatki ne nastanejo v abstraktnem prostoru: izhajajo iz vprašanj, ki jih zastavljaš bazi podatkov. Zbirka tehnične dokumentacije se organizira okoli izdelka in različice, saj je prvo vprašanje uporabnika skoraj vedno „katera različica?”:
{
"fields": {
"product": "Grok API",
"version": "v1",
"type": "reference",
"language": "en"
}
}
Zbirka znanja kadrovske službe pa razmišlja po kategorijah in datumu veljavnosti, saj je napačen odgovor tam najpogosteje razveljavljena politika:
{
"fields": {
"category": "hr-policy",
"effective_date": "2026-01-01",
"department": "all",
"status": "active"
}
}
Pravna zbirka se končno strukturira okoli strank, vrste pogodbe in poteka, kar ti omogoča, da z enim poizvedbo izvlečeš dogovore, katerih veljavnost kmalu poteče:
{
"fields": {
"contract_type": "vendor",
"party": "Acme Corp",
"expiration": "2027-06-30",
"jurisdiction": "France"
}
}
Ohranjanje dosledne sheme
Doslednost se vedno izgubi na enakih mestih, zato zadostuje nekaj navad, da jo ohraniš. Standardiziraj format imen polj – snake_case, v angleščini, brez mešanja jezikov. Omeji njihovo število: pet do deset polj pokrije večino potreb; več kot to pomeni, da stroški vzdrževanja presežejo gains v relevantnosti. Z inject_into_chunk ravnavaj premišljeno, saj vsako injicirano polje poveča velikost kosov in s tem stroške shranjevanja. Končno, pričakovano shemo za vsako zbirko dokumentiraj v datoteki, ki je dostopna celotni ekipi: ko vanjo prispeva več ljudi, prav ta datoteka, ne pa spomin ustvarjalca, zagotavlja doslednost.
Ključne ugotovitve
fieldspovezuje metapodatke v obliki parov ključ-vrednost z vsakim dokumentomfield_definitionsna ravni zbirke določajo pravila: required, unique, inject_into_chunk- Možnost
inject_into_chunkizboljša relevantnost iskanja z dodajanjem metapodatkov indeksirani vsebini - Standardiziraj svoje sheme metapodatkov za ohranjanje doslednosti zbirke