Metaandmed ja kohandatud väljad
Sellel lehel
Kontekst, mida dokument ise ei sisalda
Tehniline aruanne ei pruugi alati sisaldada autori nime, koostamise aastat ega konfidentsiaalsuse taset põhitekstis. Ometi teevad need detailid vahet selles, kas otsing leiab õige dokumendi või tagastab kolm ebaasjakohast tulemust. Kogude metaandmete süsteem teenibki täpselt seda eesmärki: seostada iga dokumendiga struktureeritud teave, mida otsingumootor saab ära kasutada ja mille põhjal saad filtreerida.
Väljade lisamine dokumendile
Dokumendi lisamisel aktsepteerib parameeter fields vabalt defineeritavaid võti-väärtuse paare:
await client.collections.upload_document(
collection_id=collection_id,
name="technical-report-q1",
data=pdf_content,
fields={
"author": "Marie Dupont",
"year": "2026",
"department": "R&D",
"document_type": "report",
"confidentiality": "internal"
}
)
Sellel tasemel skeemi ei jõustata: väljade nimed valid ise. See vabadus tundub esimese dokumendi puhul mugav, kuid muutub probleemiks sajanda dokumendi juures, kui samas kogus eksisteerivad kõrvuti author, auteur ja Author, mistõttu ükski filter enam ei tööta.
Eeskirjade kehtestamine kogu tasandil
Siin tulevad mängu field_definitions, mis deklareeritakse kogu tasandil. Need muudavad suulise kokkuleppe API poolt kontrollitavaks piiranguks. Saadaval on kolm seadet:
| Säte | Mõju |
|---|---|
required: true | Iga dokument peab sisaldama seda metaandmet |
unique: true | Kaks dokumenti ei tohi omada sama väärtust |
inject_into_chunk: true | Metaandmed lisatakse indekseeritavale sisule |
Määratlus ühendab need sätted välja kaupa:
{
"field_definitions": [
{
"name": "author",
"required": true,
"inject_into_chunk": true
},
{
"name": "document_id",
"required": true,
"unique": true
},
{
"name": "year",
"required": false,
"inject_into_chunk": true
}
]
}
Loe seda näidet kui dokumendipoliitikat: igal dokumendil peab olema autor ja ID, see ID kuulub ainult ühele dokumendile – mis blokeerib dubleerimised sisestamisel – ning aasta jääb valikuliseks, et vältida dateerimata üksuste tagasilükkamist.
Valik, mis muudab asjakohasust
Nendest kolmest sättest on inject_into_chunk ainus, mis mõjutab vastuste kvaliteeti, ja see väärib lähemat pilku. Indekseerimise ajal jagatakse dokument fragmentideks ehk tükkideks (chunks) ja selle valiku lubamisel kopeeritakse välja väärtus igasse neist.
Konkreetselt tähendab see, et kui author: "Marie Dupont" ja inject_into_chunk: true, kannab iga indekseeritud tükk seda nime. Küsimusel „Mida kirjutas Marie Dupont võrgu latentsuse kohta?“ on siis võimalus tabada märki, kuna nimi ilmneb otsitavas sisus. Ilma süstimata tugineb sama küsimus ainult aruande tekstile, kus autor võib esineda vaid kaanel.
Seega luba süstimine konteksti kandvate väljade jaoks – autor, osakond, aasta, kategooria – ja jäta see keelatuks halduslike väljade puhul, nagu sisemine ID, üleslaadimise kuupäev või kinnitamise staatus, mis lisaksid ainult müra.
Kolm tõestatud skeemi
Kasulikud metaandmed ei sünni abstraktselt: need tulenevad andmebaasile esitatud küsimustest. Tehnilise dokumentatsiooni baas organiseerub toote ja versiooni ümber, kuna kasutaja esimene küsimus on peaaegu alati „milline versioon?“:
{
"fields": {
"product": "Grok API",
"version": "v1",
"type": "reference",
"language": "en"
}
}
Inimressursside teadmiste baas aga mõtleb kategooriate ja jõustumiskuupäeva kaudu, kuna vale vastus seal on kõige sagedamini kehtetuks tunnistatud poliitika:
{
"fields": {
"category": "hr-policy",
"effective_date": "2026-01-01",
"department": "all",
"status": "active"
}
}
Lõpuks struktureerub juriidiline baas poolte, lepingu tüübi ja aegumise ümber, võimaldades sul ühe päringuga välja tuua lepingud, mille kehtivusaeg on lõppemas:
{
"fields": {
"contract_type": "vendor",
"party": "Acme Corp",
"expiration": "2027-06-30",
"jurisdiction": "France"
}
}
Järjepideva skeemi säilitamine
Järjepidevus kaob alati samade kanalite kaudu ja selle säilitamiseks piisab mõnest harjumusest. Standardiseeri väljade nimede formaat – snake_case, inglise keeles, ilma keeli segamata. Piira nende arvu: viiest kümneni välja katavad enamiku vajadusi; rohkem kui see ületab hoolduskulud asjakohasuse kasvule. Käitle inject_into_chunk discernimise ehk kaalutletusega, kuna iga süstitud väli kasvatab tükkide suurust ja seega ka salvestuskulusid. Lõpuks dokumenteeri iga kogu oodatav skeem failis, mis on meeskonnale kättesaadav: kui mitu inimest seda toidavad, garanteerib järjepidevuse see fail, mitte looja mälu.
Peamised punktid
fieldsseob iga dokumendiga võti-väärtuse metaandmedfield_definitionskogu tasandil määratlevad reeglid: required, unique, inject_into_chunk- Valik
inject_into_chunkparandab otsingu asjakohasust, lisades metaandmed indekseeritavale sisule - Standardiseeri oma metaandmete skeemid, et säilitada kogude järjepidevus