Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Pikk kontekst: kuni 1 miljon tokenit

Õppetund 11 / 14 Värskendatud 30. juuli 2026 Algajatele
Sellel lehel
  1. Mida tähendab miljoni tokeni aknast
  2. Kasutusjuhud
  3. Piirangud ja kaalutlused
  4. Tõhusa kasutamise strateegiad
  5. Peamised punktid

Mida tähendab miljoni tokeni aknast

Kõik Groki teksti mudelid ei paku sama konteksti mahtu ja see erinevus on sinu otsuse tegemisel võtmetähtsusega: grok-4.3 ja grok-4.20 põlvkond toetavad kuni 1 miljonit tokenit, grok-4.5 mahutab 500 000 ja grok-build-0.1 256 000. Et seda ülemist piiri perspektiivi seada, siis 1 miljon tokenit vastab umbes 750 000 sõnale – see võrdub seitsme kuni kümne romaaniga või keskmise suurusega koodibaasiga.

See võimekus muudab radikaalselt seda, kuidas sa keelemudelit kasutad. Andmete tükkideks lõikamise ja eraldi töötlemise asemel saad esitada kogu konteksti ühes päringus – ja just nende ülesannete puhul on grok-4.3, ökonoomne ülipika konteksti valik, sageli õige valik, mitte lipulaevast mudelist.

Kasutusjuhud

Koodibaasi analüüs

Miljoni tokeni mahuga saad laadida mudeli konteksti terve koodibaasi. Kümnete tuhandete ridade pikkune Pythoni projekt mahub sellesse aknasse mugavalt ära. Mudel saab seejärel vastata küsimustele üldise arhitektuuri kohta, tuvastada rist sõltuvusi või pakkuda refaktorimist, mis on kooskõlas kogu koodiga – midagi, mida grok-build-0.1, mis on piiratud 256k-ga, selles mastaabis teha ei saa.

Pikkade dokumentide töötlemine

Aastaaruanded, juriidilised dokumendid, tehnilised juhendid – need dokumendid on sageli sadade lehekülgede pikkused. Nende tükeldamise ja globaalse konteksti kaotamise asemel saad need tervikuna sisestada ja esitada täpseid küsimusi mis tahes osa kohta.

Pikad vestlused

Vestlusrakendustes määrab konteksti aken selle, kui pika ajaloo mudel suudab „meeles pidada“. Miljoni tokeni aknaga saad pidada väga pikki vestlusi ilma konteksti kaotamata – see on kasulik pikkade tööseansside või keerulise tehnilise toe jaoks.

Mitme allika süntees

Laadi samaaegselt mitu dokumenti – artikleid, aruandeid, e-kirju – et neid allikate üleselt sünteesida. Mudel suudab tuvastada allikate vahelisi kattumisi, vastuolusid ja täiendavat teavet.

Piirangud ja kaalutlused

200 000 tokeni lävi

See on punkt, mille inimesed liiga sageli alles arvelt avastavad: Groki hinnakujundus kahekordistub üle 200 000 konteksti tokeni. Teisisõnu, niipea kui sa hakkad pikka konteksti tõeliselt ära kasutama, lülitud automaatselt kõrgemale tariifile. Miljoni tokeni sisendpäring mudelile grok-4.3 arveldatakse topeltmääraga – 2,50 dollarit miljoni kohta 1,25 dollari asemel – mis tähendab 2,50 dollarit selle ühe päringu eest. Mudelil grok-4.5 hüppab 500 000 tokeni päring 4,00 dollarini miljoni sisendi kohta.

See lävi peab olema sinu disaini lahutamatu osa: arhitektuur, mis jääb alla 200 000 tokeni, maksab tokeni kohta poole vähem kui see, mis piiri ületab, eeldusel et maht on sama.

Latentsus

Mida pikem on kontekst, seda pikem on töötlemisaeg. Päring miljoni sisendtokeniga on oluliselt aeglasem kui 2000 tokeniga päring. Planeeri sobivad ajalõpud – xAI soovitab keerukate päringute jaoks minimaalselt 3600 sekundit.

Kulud ja vahemälu

Kulu on otseselt võrdeline töödeldud tokenite arvuga ja vahemälu on ainus tegelik vastukaal: juba nähtud sisendtokenid on 75% kuni 85% odavamad, sõltuvalt mudelist (84% mudelil grok-4.3 ja 4.20 põlvkonnal). Stabiilne võrdluskontekst, mida kasutatakse päringust päringusse, maksab seega murdosa selle algsest hinnast – seega on vahemälu kriitilise tähtsusega pikkade kontekstide puhul.

Tähelepanu kvaliteet

Isegi kui mudel aktsepteerib miljonit tokenit, ei ole tähelepanu kvaliteet ühtlane. Konteksti alguses ja lõpus olev teave jääb mudelile generally paremini „meelde“ kui see, mis asub keskel. Kriitiliste päringute puhul paiguta kõige olulisem teave konteksti algusesse või vahetult enne küsimust.

Püsivat salvestust pole

Konteksti aken on efemeerne: see eksisteerib ainult päringu ajal. Kui sul on vaja teavet päringute vahel säilitada, kasuta xAI Collectionsit või oma andmebaasi. Konteksti aken ei asenda püsivat mälusüsteemi.

Tõhusa kasutamise strateegiad

Struktureeri oma kontekst

Väga pika konteksti puhul muutub struktuur kriitiliseks. Kasuta selgeid eraldajaid (XML-sildid, Markdowni pealkirjad), et organiseerida erinevaid sektsioone. Mudel liigub paremini, kui kontekst on hästi sildistatud.

Kombineeri pikk kontekst ja vahemälu

Võimsaim kombinatsioon: stabiilne pikk kontekst (võrdlusdokumentatsioon, lähtekood), mis saab kasu vahemälust, koos lühikeste dünaamiliste lisadega (kasutaja küsimus) lõpus. Saad pika konteksti võimsuse vahemälu hindadega.

Ära täida konteksti asjatult

Asjaolu, et saad sisestada miljoni tokeni, ei tähenda, et peaksid seda süstemaatiliselt tegema. Igal tokenil on hind, see võib ületada 200k läve ja suurendada latentsust. Vali ülesandega seotud asjakohane kontekst, mitte ära saada vaikimisi kõike – ja pea meeles, et RAG on suure korpuse päringute tegemisel sageli odavam kui pikk kontekst.

Peamised punktid

  • Aknad erinevad mudeliti: 1M mudelile grok-4.3 ja 4.20 põlvkonnale, 500k mudelile grok-4.5, 256k mudelile grok-build-0.1
  • 1 miljon tokenit vastab umbes 750 000 sõnale – ideaalne koodi, pikkade dokumentide ja pikendatud vestluste jaoks
  • Jälgi läve: üle 200 000 konteksti tokeni tokeni hind kahekordistub
  • Latentsus kasvab koos konteksti suurusega – planeeri sobivad ajalõpud
  • Vahemälu (75% kuni 85% vähendus sisendil) on hädavajalik pikkade kontekstide ökonoomseks muutmiseks
  • Tähelepanu kvaliteet varieerub: paiguta kriitiline teave konteksti algusesse või lõppu