Optimizuokite podėlį
Šiame puslapyje
Podėlis: pagrindinis našumo veiksnys
Podėlio pasiekimai yra pagrindinis „grok-build-0.1“ išvedimo greičio variklis. Kai jūsų užklausos pradžia (priešdėlis) sutampa su ankstesne užklausa, modelis iš podėlio gauna jau apskaičiuotus duomenis. Rezultatas: atsakymas gaunamas daug greičiau.
Suprasdami šį mechanizmą, galite optimizuoti savo sąveiką, kad atsakymai būtų beveik momentiniai.
Kaip veikia podėlis
Podėlis veikia bendro priešdėlio principu:
- Siunčiate promptą su pokalbio istorija
- Modelis apskaičiuoja tokenus nuo pradžių (sistemos promptas + istorija)
- Jei šis priešdėlis buvo apskaičiuotas neseniai, jis gaunamas iš podėlio
- Tik nauji tokenai (jūsų paskutinis pranešimas) reikalauja pilno skaičiavimo
Kuo ilgesnis bendras priešdėlis, tuo didesnė nauda. Programavimo poroje scenarijuje, kai keičiatės keliais pranešimais, kiekvienas prašymas iš naujo panaudoja visą ankstesnę istoriją.
Auksinė taisyklė: nekeiskite istorijos
Tai svarbiausias šios pamokos punktas. Venkite keisti promptų istoriją tarp dviejų prašymų. Bet koks pokalbio pradžios pakeitimas panaikina podėlio galiojimą.
Kas sugadina podėlį
- Pranešimų pertvarkymas istorijoje
- Ankstesnio pranešimo modifikavimas (net vieno simbolio)
- Pranešimų ištrynimas iš istorijos
- Pranešimo įterpimas pokalbio viduryje
- Sistemos prompto keitimas pokalbio metu
Kas išsaugo podėlį
- Naujo pranešimo pridėjimas pokalbio pabaigoje (įprastas elgesys)
- Sistemos prompto palikimas identišku viso sesijos metu
- Istorijos palikimas nepakeista be jokių modifikacijų
Stabilus priešdėlis
Norėdami maksimaliai padidinti podėlio pasiekimus, struktūruokite savo prašymus su stabiliu priešdėliu:
[Sistemos promptas (fiksuotas)]
[Naudotojo pranešimas 1 (fiksuotas)]
[Modelio atsakymas 1 (fiksuotas)]
[Naudotojo pranešimas 2 (fiksuotas)]
[Modelio atsakymas 2 (fiksuotas)]
...
[Naujas naudotojo pranešimas] ← apskaičiuojama tik ši dalis
Sistemos promptas yra ypač svarbus. Apibrėžkite jį vieną kartą sesijos pradžioje ir nekeiskite. Jei kuriate API agentą su „grok-build-0.1“, parašykite išsamų ir stabilų sistemos promptą.
Reali įtaka
Tipiniame programavimo poroje scenarijuje su 10 apsikeitimų:
- Be podėlio optimizavimo: kiekvienas prašymas iš naujo apskaičiuoja visą istoriją. Delsa didėja su kiekvienu apsikeitimu
- Su optimizuotu podėliu: apskaičiuojamas tik paskutinis pranešimas. Delsa lieka pastovi, nepriklausomai nuo pokalbio ilgio
Skirtumas gali siekti kelias sekundes vienam sąveikos ciklui. Per vieną valandą trunkančią kūrimo sesiją su šimtais apsikeitimų, sukaupta nauda yra didelė.
Agentų kūrėjams
Jei kuriate API agentą, kuris naudoja „grok-build-0.1“ nuoseklaus įrankių naudojimo scenarijuose:
- Priešdėlis lieka identiškas tarp kiekvieno įrankio iškvietimo, todėl jis automatiškai gaunamas iš podėlio
- Prieš siųsdami atgal modeliui, neperformuokite įrankių rezultatų
- Venkite istorijos transformacijų (apibendrinimo, glaudinimo), kurios sugadintų podėlį
- Kiekvieno iškvietimo metu išlaikykite tą pačią pranešimų tvarką
Svarbiausi punktai
- Podėlio pasiekimai yra pagrindinis „grok-build-0.1“ greičio veiksnys
- Niekada nekeiskite promptų istorijos tarp dviejų prašymų
- Sistemos promptas turi išlikti stabilus viso sesijos metu
- Pridėkite į galą, niekada nekeiskite pradžios
- Nuosekliuose agentuose podėlis veikia natūraliai, jei istorija išsaugoma