Srautinis samprotavimo turinio perdavimas
Šiame puslapyje
Stebėk, kaip modelis mąsto
grok-build-0.1 atskleidžia savo samprotavimo procesą per specialų lauką: reasoning_content. Šis laukas prieinamas tik srautiniu režimu, todėl gali matyti, kaip modelis analizuoja tavo kodą prieš pateikdamas galutinį atsakymą.
Kaip veikia samprotavimo turinys
Kai modelis apdoroja sudėtingą užklausą – refaktorizavimą, derinimą ar optimizavimą – jis pereina vidinį samprotavimo etapą. Naudojant reasoning_content, šis samprotavimas perduodamas realiuoju laiku srautinio perdavimo metu:
for chunk in response:
# Samprotavimas atkeliauja pirmas
if chunk.choices[0].delta.reasoning_content:
print("[Reasoning]", chunk.choices[0].delta.reasoning_content)
# Tada galutinis atsakymas
if chunk.choices[0].delta.content:
print("[Response]", chunk.choices[0].delta.content)
Praktiškai pirmiausia matai, kaip modelis analizuoja problemą (nustato priklausomybes, pastebi kraštutinius atvejus, planuoja pakeitimus), o tada gauni struktūrizuotą sprendimą.
Nauda kūrėjams
Skaidrus derinimas
Kai modelis siūlo klaidos taisymą, reasoning_content parodo, kodėl jis nustatė tą eilutę kaip probleminę. Prieš priimdamas pakeitimą, gali patikrinti jo samprotavimą.
Mokymasis
Skaitydamas modelio samprotavimą, supranti jo požiūrį. Tai ypač naudinga dirbant su kalba ar sistema, kurios mažiau pažįsti.
Pasitikėjimas
Jei samprotavimas paviršutiniškas arba neteisingas, žinai, kad atsakymas greičiausiai bus klaidingas. Tai įspėjamasis signalas, leidžiantis pakoreguoti užklausą prieš taikant pakeitimus.
Skirtumas nuo ne srautinio režimo
Ne srautiniu režimu (standartinė užklausa be srautinio perdavimo) reasoning_content nėra prieinamas. Gauni tik galutinį atsakymą. Štai kodėl dauguma kodų redaktorių pagal nutylėjimą naudoja srautinį režimą su grok-build-0.1.
Kodų redaktoriuose
Dauguma redaktorių, integruojančių grok-build-0.1, nerodo reasoning_content tiesiogiai naudotojui – tačiau jie jį naudoja užkulisiuose, kas yra pamokoma tavajai integracijai. Kai kurie patikrina samprotavimo nuoseklumą prieš pateikdami pasiūlymą, atmesdami atsakymus, kuriuose samprotavimas akivaizdžiai nukrypsta. Kiti jį naudoja sąžiningam progreso indikatoriui rodyti: vietoj tylio sukimosi ženklo naudotojas mato, kad modelis iš tikrųjų dirba. Galiausiai beveik visi jį registruoja, nes derinant integraciją – kodėl modelis pasiūlė šį absurdišką pakeitimą? – samprotavimo pėdsakas dažnai yra vienintelis turimas paaiškinimas.
Jei kuri savo API agentą su grok-build-0.1, reasoning_content naudojimas yra didelis privalumas siekiant geresnės naudotojo patirties.
Svarbiausi punktai
reasoning_contentrealiuoju laiku atskleidžia modelio samprotavimą- Jis prieinamas tik srautiniu režimu
- Jį skaitai per
chunk.choices[0].delta.reasoning_content - Redaktoriai jį naudoja viduje, kad pagerintų patirtį
- Tai vertinga priemonė pasiūlymams patikrinti prieš juos taikant