Motīvi sarežģītiem gadījumiem: ligzdoti saraksti, uzskaitījumi, apvienojumi
Šajā lapā
- Motīvi sarežģītiem gadījumiem: ligzdoti saraksti, uzskaitījumi, apvienojumi
- Ligzdoti saraksti
- Uzskaitījumi (Enums) vērtību ierobežošanai
- Tipu apvienojumu simulēšana
- Rekursīvi objekti
- Motīvs: vairāku entītešu ekstrakcija
- Labākā prakse sarežģītām shēmām
- Gadījums, kas pārbauda visu: organizācijas shēma
- Galvenās atziņas
Motīvi sarežģītiem gadījumiem: ligzdoti saraksti, uzskaitījumi, apvienojumi
Vienkāršus ekstrakcijas gadījumus (plakans objekts ar teksta laukiem) ir viegli apstrādāt. Patiesie izaicinājumi sākas ar sarežģītām struktūrām: ligzdotu objektu sarakstiem, nosacījuma tipiem un polimorfajiem laukiem. Šajā nodarbībā tu uzzināsi, kā izveidot stabilas shēmas šiem uzlabotajiem gadījumiem.
Ligzdoti saraksti
Visizplatītākais motīvs ražošanas vidē ietver objektu saraksta ekstrakciju, kur katrs objekts satur savus apakšsarakstus. Zemāk esošā shēma apraksta apmācību programmu trīs līmeņos: programmas objekts ar nosaukumu un ilgumu, moduļu masīvs, kur katram ir nosaukums un teksta mērķi, un visbeidzot katra moduļa nodarbības, ko raksturo nosaukums, ilgums minūtēs un tips, ko ierobežo enum.
Tam, kam modelim šeit ir jāspēj tikt galā, ir jāiet pāri vienkāršai lasīšanai: tam ir jāpiesaista katra nodarbība pareizajam modulim, kas nozīmē, ka tam ir jāsaprot hierarhija, ko dažkārt nodod tikai virsrakstu līmeņi. Tāpēc trešajā līmenī ir ļoti konkrēti lauki – ilgums minūtēs, nevis vispārīgs “ilgums”, kas dažkārt izteikts stundās, dažkārt sesijās. Jo precīzāki ir koka lapu mezgli, jo mazāk modelis šaubās.
import json
from openai import OpenAI
client = OpenAI()
# Schema: extract a training program with modules and lessons
formation_schema = {
"type": "object",
"properties": {
"titre": {"type": "string"},
"duree_totale_heures": {"type": "number"},
"modules": {
"type": "array",
"items": {
"type": "object",
"properties": {
"titre_module": {"type": "string"},
"objectifs": {
"type": "array",
"items": {"type": "string"}
},
"lecons": {
"type": "array",
"items": {
"type": "object",
"properties": {
"titre_lecon": {"type": "string"},
"duree_minutes": {"type": "integer"},
"type": {
"type": "string",
"enum": ["theorie", "pratique",
"évaluation"]
}
},
"required": ["titre_lecon",
"duree_minutes", "type"],
"additionalProperties": False
}
}
},
"required": ["titre_module", "objectifs", "lecons"],
"additionalProperties": False
}
}
},
"required": ["titre", "duree_totale_heures", "modules"],
"additionalProperties": False
}
Uzskaitījumi (Enums) vērtību ierobežošanai
Uzskaitījumi (enums) ir visuzticamākais veids, kā ierobežot lauka iespējamās vērtības. Strukturētā izvade tos piemēro ģenerēšanas līmenī: atšķirībā no instrukcijas, kas uzrakstīta uzvednē (prompt), tos nevar ignorēt statistiskā noguruma dienā. Tas padara tos vērtīgus, ja ekstrahētā vērtība baro switch instrukciju, indeksētu kolonnu vai maršrutēšanas noteikumu – trīs vietās, kur negaidīta vērtība nerada kļūdu, bet gan klusumu.
Klasifikācijas shēma, kas seko, kārto ienākošos pieprasījumus pa četrām asīm: categorie_principale nosaka atbilstošo nodaļu, sous_categorie to precizē šīs nodaļas ietvaros, priorite kalpo rindas kārtošanai, un action_requise nosaka, ko darīt ar biļeti. Viens dizaina punkts ir pelnījis uzmanību: divpadsmit sous_categorie vērtības ir izlīdzinātas, nevis pievienotas to vecāku kategorijai, jo stingrais režīms nepiedāvā nosacījuma atkarību starp diviem enum. Tādējādi nekas neliedz kombināciju “juridique” un “recrutement”, un šī konsekvence ir jāpārbauda pēc saņemšanas.
# Multi-level classification system
classification_schema = {
"type": "object",
"properties": {
"categorie_principale": {
"type": "string",
"enum": ["technique", "commercial", "juridique",
"rh", "finance"]
},
"sous_categorie": {
"type": "string",
"enum": [
"bug", "feature", "performance",
"devis", "facturation", "contrat",
"recrutement", "conge", "formation",
"budget", "audit", "conformite"
]
},
"priorite": {
"type": "string",
"enum": ["critique", "haute", "moyenne", "basse"]
},
"action_requise": {
"type": "string",
"enum": ["repondre", "escalader", "archiver",
"planifier", "deleguer"]
}
},
"required": ["categorie_principale", "sous_categorie",
"priorite", "action_requise"],
"additionalProperties": False
}
Tipu apvienojumu simulēšana
JSON Schema atbalsta anyOf nosacījuma tipiem, taču OpenAI stingrajai strukturētajai izvadei ir ierobežojumi. Ieteicamais motīvs ir izmantot diskriminatora lauku: tu definē vienu objektu, kas ir pietiekami plašs, lai aptvertu visus gadījumus, un lauks type norāda, kuru tu apraksti.
# Pattern: an event can be a meeting, a task, or a reminder
event_schema = {
"type": "object",
"properties": {
"type": {
"type": "string",
"enum": ["reunion", "tache", "rappel"]
},
"titre": {"type": "string"},
"date": {"type": "string"},
"heure_debut": {"type": ["string", "null"]},
"heure_fin": {"type": ["string", "null"]},
"participants": {
"type": "array",
"items": {"type": "string"}
},
"lieu": {"type": ["string", "null"]},
"priorite": {
"type": ["string", "null"],
"enum": ["haute", "moyenne", "basse", None]
},
"description": {"type": "string"}
},
"required": ["type", "titre", "date", "heure_debut",
"heure_fin", "participants", "lieu",
"priorite", "description"],
"additionalProperties": False
}
Triks ir padarīt jebkuru lauku, kas ir specifisks vienam tipam, par nullable, izmantojot apzīmējumu "type": ["string", "null"]. Sanāksmei participants un lieu ir aizpildīti; atgādinājumam tie ir vienādi ar null. Tavs kods tad vispirms nolasa diskriminatoru un uzreiz zina, kuri atslēgvārdi ir jēdzīgi – tieši tādu lasīšanu, ko tu veiktu ar marķētu apvienojumu (tagged union) tipētā valodā. Cena, kas jāmaksā – daudzrunīgāka shēma un null vērtību apstrāde – joprojām ir vēlamāka nekā trīs atsevišķi izsaukumi.
Rekursīvi objekti
Koku struktūrām – izvēlnēm, organizācijas shēmām, diskusiju pavedieniem – izmanto $defs rekursīvām atsaucēm. Princips ir nosaukt atkārtojošo formu vienreiz un pēc tam atsaukties uz to no tās pašas iekšienes. Šeit komentārs satur atbilžu masīvu, kur katrs elements savukārt ir komentārs: dziļums nav fiksēts rakstīšanas brīdī, tas seko analizētā dokumenta dziļumam. Tas ir vienīgais saprātīgais veids, kā apstrādāt diskusiju pavedienu, iepriekš nezinot, vai tam ir divi atbilžu līmeņi vai septiņi.
# Structure of a comment with nested replies
comment_schema = {
"type": "object",
"properties": {
"commentaires": {
"type": "array",
"items": {"$ref": "#/$defs/comment"}
}
},
"required": ["commentaires"],
"additionalProperties": False,
"$defs": {
"comment": {
"type": "object",
"properties": {
"auteur": {"type": "string"},
"contenu": {"type": "string"},
"sentiment": {
"type": "string",
"enum": ["positif", "negatif", "neutre"]
},
"reponses": {
"type": "array",
"items": {"$ref": "#/$defs/comment"}
}
},
"required": ["auteur", "contenu", "sentiment",
"reponses"],
"additionalProperties": False
}
}
}
Motīvs: vairāku entītešu ekstrakcija
Kad tekstā ir vairāku veidu entītes, kārdinājums ir veikt vienu ekstrakciju katrai ģimenei. Vairāku entītešu shēma dara labāk: tā pieprasa personas, organizācijas, datumus un summas vienā piegājienā. Ieguvums nav tikai izsaukumu ietaupīšana; tas ir tas, ka modelis redz tekstu vienreiz un var saistīt to, ko tajā atrod – piesaistot personu tās organizācijai, asociējot summu ar kontekstu, kas tai piešķir jēgu.
Dublēšanās datumos, date_brute un date_iso, ir pelnījusi palikt tāda pati tavās shēmās: tā saglabā sākotnējo formulējumu auditam, vienlaikus nodrošinot normalizētu vērtību. Lauks contexte, kas ir datumiem un summām, spēlē to pašu lomu: bez tā neviens nezinās, vai 12 000 eiro bija piedāvājums, soda nauda vai gada budžets.
multi_entity_schema = {
"type": "object",
"properties": {
"personnes": {
"type": "array",
"items": {
"type": "object",
"properties": {
"nom": {"type": "string"},
"role": {"type": "string"},
"organisation": {"type": ["string", "null"]}
},
"required": ["nom", "role", "organisation"],
"additionalProperties": False
}
},
"organisations": {
"type": "array",
"items": {
"type": "object",
"properties": {
"nom": {"type": "string"},
"type": {
"type": "string",
"enum": ["entreprise", "association",
"administration", "autre"]
},
"secteur": {"type": ["string", "null"]}
},
"required": ["nom", "type", "secteur"],
"additionalProperties": False
}
},
"dates": {
"type": "array",
"items": {
"type": "object",
"properties": {
"date_brute": {"type": "string"},
"date_iso": {"type": "string"},
"contexte": {"type": "string"}
},
"required": ["date_brute", "date_iso", "contexte"],
"additionalProperties": False
}
},
"montants": {
"type": "array",
"items": {
"type": "object",
"properties": {
"valeur": {"type": "number"},
"devise": {"type": "string"},
"contexte": {"type": "string"}
},
"required": ["valeur", "devise", "contexte"],
"additionalProperties": False
}
}
},
"required": ["personnes", "organisations", "dates", "montants"],
"additionalProperties": False
}
Labākā prakse sarežģītām shēmām
Četri ieradumi novērš lielāko daļu vilšanos. Sāc vienkārši: validē plakanu objektu uz saviem reālajiem datiem, pirms pievieno jebkādu ligzdošanu, pretējā gadījumā tu nezināsi, vai kļūme rodas no shēmas vai uzdevuma grūtībām. Tālāk atsakies no neobligātā lauka, ko stingrais režīms aizliedz, un tā vietā padari to par nullable. Ievēro arī empīrisko robežu – pārsniedzot trīs vai četrus ligzdošanas līmeņus, kvalitāte krītas, un labāk ir sadalīt ekstrakciju divos piegājienos: vispirms moduļu saraksts, tad viens izsaukums katram modulim, lai detalizēti aprakstītu tā nodarbības. Visbeidzot, paturi prātā darba dalīšanu: shēma un tās uzskaitījumi ierobežo struktūru, sistēmas uzvedne (system prompt) virza saturu. Ja modelis kārto pareizi, bet ekstrahē nepareizu informāciju, tad ir jāpielāgo uzvedne.
Gadījums, kas pārbauda visu: organizācijas shēma
Ķeries klāt rekursīvajam gadījumam, kas ir šīs nodarbības izglītojošākā daļa. Definē shēmu uzņēmuma organizācijas shēmas ekstrakcijai, kur katram darbiniekam var būt padotie, kuri paši ir darbinieki. Pārbaudi to uz teksta, kas apraksta piecpadsmit līdz divdesmit cilvēku organizāciju, rakstītu prozā, nevis kā sarakstu: tieši šeit modelim ir jāsecina ziņošanas līnijas no frāzēm, piemēram, “ziņo” vai “komandas … ietvaros”.
Pārbaudi, vai hierarhiskās attiecības ir pareizi ligzdotas, vērojot cilvēkus, kas minēti tālu no sava vadītāja – tas ir parastais sabrukšanas punkts. Visbeidzot, pievieno uzskaitījumus (enums) lomām (izpildvaras, vadības, operatīvās) un novēro, vai ierobežojums uzlabo vai pasliktina ziņošanas līniju: kategorizācijas piespiešana var palīdzēt modelim vai virzīt to uz patvaļīgām izvēlēm hibrīda profiliem.
Galvenās atziņas
- Ligzdoti saraksti ir visizplatītākais motīvs ražošanas vidē
- Uzskaitījumi (enums) tiek piemēroti ģenerēšanas līmenī – izmanto tos
- Simulē apvienojumus, izmantojot diskriminatora lauku un nullable laukus
$defsļauj izveidot rekursīvas struktūras (komentāri, koki)- Ierobežo ligzdošanas dziļumu līdz 3–4 līmeņiem