Cum funcționează modelele de raționament
Pe această pagină
Sub capota modelelor care „gândesc“
Când creșteți nivelul de raționament, modelul nu generează răspunsul imediat. Mai întâi, produce jetoane de raționament (reasoning tokens), pe care le utilizează pentru a descompune cererea și a explora multiple modalități de a răspunde. Înțelegerea acestui mecanism nu este doar teoretică; ea vă permite să setați nivelul corespunzător, să anticipați costurile și să interpretați corect ieșirea modelului.
Gândiți înainte de a răspunde
La un nivel rapid (Instant în Chat, none sau low în API), modelul răspunde aproape direct. Cu cât setați nivelul mai sus, cu atât modelul consumă mai multe jetoane gândindu-se înainte de a produce răspunsul vizibil. Puteți considera această fază ca pe o ciornă: descompunerea problemei, explorarea unor direcții, eliminarea vicoliilor fără ieșire, verificarea și apoi sinteza. Acesta este un model mental util, nu o descriere oficială a funcționării interne; ceea ce descrie OpenAI este un model care descompune cererea și ia în considerare mai multe abordări înainte de a răspunde.
Luați expresia „17 × 23 + 45 ÷ 9 − 12“. Fără raționament, riscul de eroare privind prioritatea operatorilor este real. Cu un nivel mai ridicat, modelul își ia timp pentru a procesa mai întâi înmulțirea și împărțirea (391 și 5), apoi adunarea și scăderea (391 + 5 − 12 = 384) și își verifică rezultatul înainte de a-l enunța.
Jetoanele de raționament: invizibile, dar contorizate
Jetoanele de raționament nu apar în răspuns, dar sunt contorizate. În API, acestea ocupă spațiu în fereastra de context și sunt facturate ca jetoane de ieșire. În funcție de dificultate, un model poate genera oriunde de la câteva sute la câteva zeci de mii de astfel de jetoane. Dacă limita de ieșire (max_output_tokens) este atinsă în timpul raționamentului, răspunsul se întoarce cu starea incomplete, uneori înainte ca orice text vizibil să fi fost produs; OpenAI recomandă rezervarea a cel puțin 25.000 de jetoane pentru raționament și răspuns atunci când începeți experimentele.
Raționamentul brut nu este expus. În API, puteți solicita un rezumat al raționamentului folosind parametrul reasoning.summary. În ChatGPT, cu GPT-6, un răspuns poate începe în timp ce modelul încă gândește, îmbogățindu-se ulterior cu detalii.
Pro, Max și Ultra: trei moduri de a face mai mult
Dincolo de nivelurile de efort, trei mecanisme împing raționamentul mai departe, iar este util să nu le confundați.
- Modul Pro (
reasoning.mode: "pro"în API, nivelul Pro în Chat) face ca modelul să lucreze mai intens la sarcini dificile care tolerează o latență mai mare. În API, această muncă suplimentară este facturată la tariful standard pentru modelul ales, dar consumă mai multe jetoane. - Max, atât în Work și Codex, cât și în API (
max), oferă modelului mai mult timp pentru a raționa asupra unei singure sarcini. - Ultra, disponibil doar în Work și Codex, merge dincolo de un singur agent: atribuie părți ale unei sarcini complexe unor sub-agenți care lucrează în paralel. Este util doar dacă munca poate fi divizată în segmente independente. GPT-6 Luna ajunge până la Max, dar nu și la Ultra.
Ce schimbă raționamentul și ce nu schimbă
Un nivel ridicat de raționament face diferența pentru familii specifice de probleme: matematică și statistică, logică și deducție, cod complex și depanare, analiză strategică cu criterii ponderate și, în general, orice sarcină cu mai mulți pași. OpenAI recomandă astfel high pentru raționamente dificile, depanare complexă și planificare aprofundată.
Totuși, nu este o soluție magică. Modelul poate face în continuare greșeli după raționament: o premisă falsă duce la o concluzie falsă, indiferent cât de atent este procesul de raționament. Raționamentul crește timpul de răspuns și costul. Iar pentru o sarcină simplă, nu aduce nimic în plus față de ceea ce ar putea gestiona deja un nivel rapid.
Încercați singuri
Vedeți mecanismul în acțiune. Puneți această întrebare mai întâi la un nivel rapid, apoi la un nivel ridicat (Instant apoi High în Chat, sau low apoi high în API): „Un tren pleacă din Paris la ora 8:00, călătorind cu 120 km/h. Altul pleacă din Lyon, aflat la 465 km distanță, la ora 8:30, călătorind cu 150 km/h spre Paris. La ce oră și la ce distanță de Paris se întâlnesc?“ Verificați singuri răspunsul așteptat: 10:00, la 240 km de Paris. Dacă utilizați API-ul, comparați numărul de jetoane de raționament raportat în utilizarea răspunsului pentru ambele niveluri.
Surse oficiale: Modele de raționament (API OpenAI: jetoane de raționament, facturare, context, rezumate, mod pro, niveluri de efort) · Modele (documentație ChatGPT: Max și Ultra) · GPT-6 și alte modele în ChatGPT (răspunsuri care încep în timpul raționamentului)
Puncte cheie
- Raționamentul adaugă jetoane de gândire înainte de răspuns; numărul lor crește odată cu nivelul ales
- Invizibile, aceste jetoane ocupă contextul și sunt facturate ca jetoane de ieșire în API
- Acordați o marjă suficientă de ieșire, altfel răspunsul va reveni incomplet
- Pro face modelul să lucreze mai intens, Max îi oferă mai mult timp, Ultra distribuie munca între sub-agenți (Work și Codex)
- Raționamentul nu imunizează împotriva erorii: o premisă falsă duce la o concluzie falsă