Šablonai sudėtingoms struktūroms: įdėtieji sąrašai, enumeracijos, sąjungos
Šiame puslapyje
- Šablonai sudėtingoms struktūroms: įdėtieji sąrašai, enumeracijos, sąjungos
- Įdėtieji sąrašai
- Enumeracijos reikšmėms apriboti
- Sąjungų tipų imitavimas
- Rekursyvūs objektai
- Šablonas: kelių entitetų ekstrakcija
- Geriausios praktikos sudėtingoms schemoms
- Atvejis, kuris išbando viską: organizacinė schema
- Svarbiausi punktai
Šablonai sudėtingoms struktūroms: įdėtieji sąrašai, enumeracijos, sąjungos
Paprastus ekstrakcijos atvejus (plokščias objektas su tekstiniais laukais) apdoroti lengva. Tikrieji iššūkiai kyla dirbant su sudėtingomis struktūromis: įdėtais objektų sąrašais, sąlyginiais tipais ir polimorfiniais laukais. Šioje pamokoje sužinosi, kaip kurti patikimas schemas šiems pažengusiems atvejams.
Įdėtieji sąrašai
Dažniausias gamybinis šablonas – išgauti objektų sąrašą, kuriame kiekvienas objektas turi savo po-sąrašus. Toliau pateikta schema aprašo mokymų programą trimis lygmenimis: programos objektas su pavadinimu ir trukme, modulių masyvas, kurio kiekvienas elementas turi pavadinimą ir tekstinius tikslus, ir galiausiai kiekvieno modulio pamokos, apibūdintos pavadinimu, trukme minutėmis bei tipu, apribotu enum.
Čia modelis turi atlikti daugiau nei tik skaitymą: jis turi kiekvieną pamoką priskirti tinkamam moduliui, vadinasi, turi suprasti hierarchiją, kuri kartais perteikiama tik antraščių lygmenimis. Todėl trečiajame lygmenyje naudojami labai konkretūs laukai – trukmė minutėmis, o ne bendras „trukmės“ laukas, kuris kartais išreiškiamas valandomis, kartais sesijomis. Kuo tikslesni medžio lapiniai mazgai, tuo mažiau modelis dvejoja.
import json
from openai import OpenAI
client = OpenAI()
# Schema: extract a training program with modules and lessons
formation_schema = {
"type": "object",
"properties": {
"titre": {"type": "string"},
"duree_totale_heures": {"type": "number"},
"modules": {
"type": "array",
"items": {
"type": "object",
"properties": {
"titre_module": {"type": "string"},
"objectifs": {
"type": "array",
"items": {"type": "string"}
},
"lecons": {
"type": "array",
"items": {
"type": "object",
"properties": {
"titre_lecon": {"type": "string"},
"duree_minutes": {"type": "integer"},
"type": {
"type": "string",
"enum": ["theorie", "pratique",
"évaluation"]
}
},
"required": ["titre_lecon",
"duree_minutes", "type"],
"additionalProperties": False
}
}
},
"required": ["titre_module", "objectifs", "lecons"],
"additionalProperties": False
}
}
},
"required": ["titre", "duree_totale_heures", "modules"],
"additionalProperties": False
}
Enumeracijos reikšmėms apriboti
Enumeracijos (enums) yra patikimiausias būdas apriboti galimas lauko reikšmes. „Structured Output“ jas taiko generavimo lygmenyje: skirtingai nei instrukcija, įrašyta užklausoje (prompt), jų negalima ignoruoti net ir esant statistiniam nuovargiui. Tai daro jas vertingas, kai išgauta reikšmė maitina switch sakinį, indeksuotą stulpelį ar maršrutizavimo taisyklę – trijose vietose, kur netikėta reikšmė sukelia ne klaidą, o tylos scenarijų.
Toliau pateikta klasifikacijos schema rūšiuoja gaunamas užklausas keturiomis ašimis: categorie_principale nustato atsakingą skyrių, sous_categorie jį patikslina, priorite skirta eilės tvarkymui, o action_requise nulemia, ką daryti su bilietu. Vienas dizaino aspektas vertas dėmesio: dvylika sous_categorie reikšmių yra išplėstos, o ne priskirtos tėviniai kategorijai, nes griežtas režimas („strict mode“) nepalaiko sąlyginės priklausomybės tarp dviejų enum. Todėl niekas neleidžia kombinacijai „juridique“ ir „recrutement“ egzistuoti kartu, ir šį nuoseklumą reikia patikrinti po gavimo.
# Multi-level classification system
classification_schema = {
"type": "object",
"properties": {
"categorie_principale": {
"type": "string",
"enum": ["technique", "commercial", "juridique",
"rh", "finance"]
},
"sous_categorie": {
"type": "string",
"enum": [
"bug", "feature", "performance",
"devis", "facturation", "contrat",
"recrutement", "conge", "formation",
"budget", "audit", "conformite"
]
},
"priorite": {
"type": "string",
"enum": ["critique", "haute", "moyenne", "basse"]
},
"action_requise": {
"type": "string",
"enum": ["repondre", "escalader", "archiver",
"planifier", "deleguer"]
}
},
"required": ["categorie_principale", "sous_categorie",
"priorite", "action_requise"],
"additionalProperties": False
}
Sąjungų tipų imitavimas
JSON Schema palaiko anyOf sąlyginiams tipams, tačiau „OpenAI“ griežta „Structured Output“ turi apribojimų. Rekomenduojamas šablonas – naudoti diskriminatoriaus lauką: apibrėži vieną objektą, pakankamai platų, kad apimtų visus atvejus, o laukas type nurodo, kurį iš jų aprašai.
# Pattern: an event can be a meeting, a task, or a reminder
event_schema = {
"type": "object",
"properties": {
"type": {
"type": "string",
"enum": ["reunion", "tache", "rappel"]
},
"titre": {"type": "string"},
"date": {"type": "string"},
"heure_debut": {"type": ["string", "null"]},
"heure_fin": {"type": ["string", "null"]},
"participants": {
"type": "array",
"items": {"type": "string"}
},
"lieu": {"type": ["string", "null"]},
"priorite": {
"type": ["string", "null"],
"enum": ["haute", "moyenne", "basse", None]
},
"description": {"type": "string"}
},
"required": ["type", "titre", "date", "heure_debut",
"heure_fin", "participants", "lieu",
"priorite", "description"],
"additionalProperties": False
}
Gudrybė slypi tame, kad bet kuris laukas, specifinis vienam tipui, paverčiamas nullable (galinčiu būti null), naudojant notaciją "type": ["string", "null"]". Susirinkimui participantsirlieubus užpildyti; priminimui jie bus lygūsnull. Tavo kodas pirmiausia nusko diskriminatorių ir iškart žino, kurie raktai turi prasmę – būtent taip skaitytum žymėtą sąjungą (tagged union) tipizuotoje kalboje. Kaina – išsamesnė schema ir null` reikšmių apdorojimas – vis tiek yra geresnė nei trys atskiri užklausų kvietimai.
Rekursyvūs objektai
Medžio struktūroms (meniu, organizacinės schemos, diskusijų gijos) naudok $defs rekursyvioms nuorodoms. Principas toks: vieną kartą pavadink pasikartojančią formą, tada nuorodą į ją panaudok joje pačioje. Čia komentaras turi atsakymų masyvą, kurio kiekvienas elementas savo ruožtu yra komentaras: gylis nėra fiksuotas rašymo metu, jis priklauso nuo analizuojamo dokumento gylio. Tai vienintelis pagrįstas būdas apdoroti diskusijų giją nežinant iš anksto, ar ji turi du atsakymų lygmenis, ar septynis.
# Structure of a comment with nested replies
comment_schema = {
"type": "object",
"properties": {
"commentaires": {
"type": "array",
"items": {"$ref": "#/$defs/comment"}
}
},
"required": ["commentaires"],
"additionalProperties": False,
"$defs": {
"comment": {
"type": "object",
"properties": {
"auteur": {"type": "string"},
"contenu": {"type": "string"},
"sentiment": {
"type": "string",
"enum": ["positif", "negatif", "neutre"]
},
"reponses": {
"type": "array",
"items": {"$ref": "#/$defs/comment"}
}
},
"required": ["auteur", "contenu", "sentiment",
"reponses"],
"additionalProperties": False
}
}
}
Šablonas: kelių entitetų ekstrakcija
Kai tekste yra kelių tipų entitetų, pagunda yra vykdyti po vieną ekstrakciją kiekvienai šeimai. Kelių entitetų schema daro geriau: ji vienu praėjimu prašo žmonių, organizacijų, datų ir sumų. Naudą teikia ne tik kvietimų taupymas; svarbiausia, kad modelis tekstą mato vieną kartą ir gali susieti tai, ką jame randa – priskirti asmenį jo organizacijai, susieti sumą su kontekstu, kuris jai suteikia prasmę.
Datų dubliavimas (date_brute ir date_iso) tavo pačių schemose turėtų likti toks pat: tai išsaugo originalią formuluotę auditui ir kartu pateikia normalizuotą reikšmę. Laukas contexte, esantis tiek datose, tiek sumose, atlieka tą patį vaidmenį: be jo niekas nežinos, ar 12 000 eurų buvo sąmata, bauda ar metinis biudžetas.
multi_entity_schema = {
"type": "object",
"properties": {
"personnes": {
"type": "array",
"items": {
"type": "object",
"properties": {
"nom": {"type": "string"},
"role": {"type": "string"},
"organisation": {"type": ["string", "null"]}
},
"required": ["nom", "role", "organisation"],
"additionalProperties": False
}
},
"organisations": {
"type": "array",
"items": {
"type": "object",
"properties": {
"nom": {"type": "string"},
"type": {
"type": "string",
"enum": ["entreprise", "association",
"administration", "autre"]
},
"secteur": {"type": ["string", "null"]}
},
"required": ["nom", "type", "secteur"],
"additionalProperties": False
}
},
"dates": {
"type": "array",
"items": {
"type": "object",
"properties": {
"date_brute": {"type": "string"},
"date_iso": {"type": "string"},
"contexte": {"type": "string"}
},
"required": ["date_brute", "date_iso", "contexte"],
"additionalProperties": False
}
},
"montants": {
"type": "array",
"items": {
"type": "object",
"properties": {
"valeur": {"type": "number"},
"devise": {"type": "string"},
"contexte": {"type": "string"}
},
"required": ["valeur", "devise", "contexte"],
"additionalProperties": False
}
}
},
"required": ["personnes", "organisations", "dates", "montants"],
"additionalProperties": False
}
Geriausios praktikos sudėtingoms schemoms
Keturi įpročiai padės išvengti daugelio nusivylimų. Pradėk paprastai: patikrink plokščią objektą su realiais duomenimis prieš pridėdamas bet kokį įdėjimą, kitaip nežinosi, ar nesėkmė kyla iš schemos, ar iš užduoties sudėtingumo. Toliau, atsisakyk neprivalomų laukų, kurių griežtas režimas neleidžia, ir vietoj to padaryk juos nullable. Taip pat laikykis empirinės ribos – viršijus tris ar keturis įdėjimo lygmenis kokybė krenta, ir geriau ekstrakciją padalinti į du praėjimus: pirmiausia modulių sąrašas, tada po vieną kvietimą kiekvienam moduliui jo pamokoms detalizuoti. Galiausiai, turėk omenyje darbo pasidalijimą: schema ir jos enumeracijos riboja struktūrą, o sistemos užklausa (system prompt) nukreipia turinį. Jei modelis teisingai rūšiuoja, bet ištraukia neteisingą informaciją, tai užklausą (prompt) reikia koreguoti.
Atvejis, kuris išbando viską: organizacinė schema
Imkis rekursyvaus atvejo – tai edukatyviausia šios pamokos dalis. Apibrėžk schemą įmonės organizacinei struktūrai išgauti, kur kiekvienas darbuotojas gali turėti pavaldinių, kurie patys yra darbuotojai. Išbandyk ją tekste, aprašančiame penkiolikos–dvidešimties žmonių organizaciją, parašytame proza, o ne sąrašu: būtent čia modelis turi iš frazių, tokių kaip „pavaldus“ arba „komandos narys“, išvesti atskaitomybės linijas.
Patikrink, ar hierarchiniai ryšiai teisingai įdėti, atkreipdamas dėmesį į žmones, paminėtus toli nuo jų vadovo – tai įprasta lūžio vieta. Galiausiai pridėk enumeracijas vaidmenims (vadovas, vadyba, operacinis personalas) ir stebėk, ar apribojimas pagerina, ar pablogina atskaitomybės linijos nustatymą: kategorizavimo jėga gali padėti modeliui arba pastūmėti jį prie savavališkų sprendimų dirbant su mišriais profiliais.
Svarbiausi punktai
- Įdėtieji sąrašai yra dažniausias gamybinis šablonas
- Enumeracijos taikomos generavimo lygmenyje – išnaudok jas
- Imituok sąjungas naudodamas diskriminatoriaus lauką ir nullable laukus
$defsleidžia kurti rekursyvias struktūras (komentarai, medžiai)- Apribok įdėjimo gylį iki 3–4 lygmenų