Išsamus srautinis perdavimas ir šifruotas turinys
Šiame puslapyje
Agentų darbo stebėjimas realiuoju laiku
Užklausa, apimanti kelis agentus, trunka ilgai: kuo daugiau agentų paleidi plačiai temai, tuo ilgiau tenka laukti – esant 16 agentų, laukimas gali siekti dešimtis sekundžių. Tuo tarpu tavo programa nieko nežino apie vykstančius procesus, o vartotojas žiūri į sustingusį ekraną. Šią problemą sprendžia du mechanizmai, tačiau jie atlieka visiškai skirtingas funkcijas: išsamus srautinis perdavimas (verbose_streaming) leidžia stebėti agentų veiklą inferencijos metu, o šifruotas turinys išsaugo jų būseną nuo vieno pokalbio etapo iki kito. Šių dviejų sąvokų painiojimas priverčia tave įjungti neteisingą parametrą ir eikvoti tokenus.
Ką rodo standartinis srautinis perdavimas
Naudojant standartinį srautinį perdavimą, gauni tik galutinį vadovaujančio agento tekstą jam generuojant – nieko daugiau.
chat = client.chat.create(
model="grok-4.20-multi-agent-0309",
agent_count=4,
)
chat.append(user("My question"))
for response, chunk in chat.stream():
if chunk.content:
print(chunk.content, end="", flush=True)
Daugumai integracijų to visiškai pakanka: rodai atsakymą žodis po žodžio, vartotojas mato, kaip atsiranda turinys, ir darbas baigtas. Tačiau aukštesniame lygmenyje liepi aklina dėmė. Kol sub-agentai ieško informacijos ir vadovas dar nepradėjo savo sintezės, srautas lieka tuščias, ir neturi jokio būdo atskirti vykstančios paieškos nuo užstrigusios užklausos.
Dėžutės atidarymas naudojant verbose_streaming
Tiesiog pridėk verbose_streaming į parametrą include, ir įrankių kvietimai taip pat pasirodys sraute realiuoju laiku.
from xai_sdk.tools import web_search, x_search
chat = client.chat.create(
model="grok-4.20-multi-agent-0309",
agent_count=16,
tools=[web_search(), x_search()],
include=["verbose_streaming"],
)
chat.append(user("Analyze reactions to Apple's latest announcements"))
for response, chunk in chat.stream():
if chunk.content:
print(chunk.content, end="", flush=True)
# Įrankių kvietimai taip pat matomi realiuoju laiku
Tuomet matai, kaip vykdomos paieškos internete, grįžta rezultatai ir vadovas pradeda rašyti. Iš to tiesiogiai išplaukia trys naudojimo būdai. Derinimui (debugging) patikrini, ar agentai ieško tinkama kryptimi: jei tavo klausimas susijęs su vieša nuomone, o kiekviena užklausa taikoma techninėms specifikacijoms, problema slypi tavo prompt’e, o ne modelyje. Vartotojo patirčiai šie įvykiai maitina sąžiningą eigos indikatorių – „ieškoma šaltinių“, „analizuojami rezultatai“ – vietoj bendro sukimosi ženklo. Galiausiai, stebėsenai gali suprasti, kodėl užklausa truko minutę, nes žinai, kiek paieškų buvo inicijuota.
Šifruotas turinys nėra langas; tai atmintis
use_encrypted_content atsako į kitokį klausimą. Jis neatskleidžia jokių samprotavimų grynuoju tekstu: jis leidžia modeliui išlaikyti agentų vidinę būseną tarp to paties pokalbio etapų.
chat = client.chat.create(
model="grok-4.20-multi-agent-0309",
agent_count=4,
use_encrypted_content=True,
)
Kai šis parametras aktyvus, atsakyme įtraukiamas šifruotas blokas, kuriame yra sub-agentų būsena: jų paieškų rezultatai ir sukauptas kontekstas. Siunčiant kitą žinutę, šis blokas automatiškai grąžinamas atgal, ir modelis pradeda nuo to, kas jau buvo rasta, užuot viską perskaičiavęs iš naujo. Tu negali jo perskaityti – jis skirtas modeliui, o ne tavo programos žurnalui.
Sprendimas jį įjungti priklauso nuo paprasto kriterijaus: ar ketini užduoti kelis susijusius klausimus? Sesija, kurioje pirmiausia prašai apžvalgos, o vėliau giliniesi į trečiąjį punktą, gauna aiškią naudą, taip pat ir ilgas tyrimas, kurio esmė – ankstesnių etapų kontekstas. Priešingai, pavieniam klausimui, reikalaujančiam vieno atsakymo ir nieko daugiau, šifruotas blokas yra tik papildoma našta: jis prideda tokenų kiekviename etape, kurie apmokestinami kaip ir visi kiti.
Niekas netrukdo derinti šių dviejų mechanizmų – iš tiesų, tai yra natūrali sąranka interaktyviam tyrimų asistentui: stebi veiklą gyvai, o kontekstas išlieka nuo vieno etapo iki kito.
chat = client.chat.create(
model="grok-4.20-multi-agent-0309",
agent_count=16,
tools=[web_search(), x_search()],
include=["verbose_streaming"],
use_encrypted_content=True,
)
Svarbiausi punktai
verbose_streamingatskleidžia įrankių kvietimus realiuoju laiku (derinimui, vartotojo patirčiai, stebėsenai)use_encrypted_contentišsaugo sub-agentų būseną tarp pokalbio etapų- Šifruotas turinys nėra skaitomas – jis skirtas modeliui, o ne tau
- Derink abu mechanizmus interaktyvioms tyrimų sesijoms
- Įjunk šifruotą turinį tik tada, kai tikiesi daugiaetapių pokalbių