Dugi kontekst: do 1 milijun tokena
Na ovoj stranici
Što znači prozor od milijun tokena
Nisu svi tekstualni modeli Grok jednake kapaciteta konteksta, a ta je razlika ključni čimbenik pri tvojoj odluci: grok-4.3 i generacija grok-4.20 podržavaju do 1 milijun tokena, grok-4.5 prihvaća 500 000, a grok-build-0.1 256 000. Da staviš tu gornju granicu u perspektivu, 1 milijun tokena predstavlja oko 750 000 riječi – što odgovara sedam do deset romana ili srednje velikoj bazi koda.
Taj kapacitet transformira način na koji koristiš jezični model. Umjesto da svoje podatke sjeckaš na fragmente i obrađuješ ih odvojeno, možeš pružiti cijeli kontekst u jednom zahtjevu – a za te zadatke grok-4.3, ekonomična opcija za vrlo dugi kontekst, često postaje ispravan izbor umjesto vodećeg modela.
Slučajevi upotrebe
Analiza baze koda
S 1 milijunom tokena možeš učitati cijelu bazu koda u kontekst modela. Python projekt koji obuhvaća desetke tisuća redaka komotno staje unutar tog prozora. Model tada može odgovarati na pitanja o cjelokupnoj arhitekturi, identificirati unakrsne ovisnosti ili predložiti refaktoriranje dosljedno cijelom kodu – nešto što grok-build-0.1, ograničen na 256k, ne može učiniti u tom opsegu.
Obrada dugih dokumenata
Godišnja izvješća, pravni dokumenti, tehnički priručnici – ti dokumenti često broje stotine stranica. Umjesto da ih sažimaš u dijelove i gubiš globalni kontekst, možeš ih u cijelosti ubaciti i postavljati precizna pitanja o bilo kojem odjeljku.
Dugi razgovori
U aplikacijama za razgovor, prozor konteksta određuje duljinu povijesti koje se model može „sjetiti“. S prozorom od milijun tokena održavaš vrlo duge razgovore bez gubitka konteksta – što je korisno za produžene radne sesije ili složenu tehničku podršku.
Sinteza iz više izvora
Učitaj više dokumenata istovremeno – članke, izvješća, e-poruke – kako bi ih sintetizirao across izvora. Model može identificirati preklapanja, kontradikcije i komplementarne informacije između različitih izvora.
Ograničenja i razmatranja
Prag od 200 000 tokena
To je točka koju ljudi prečesto otkriju tek na računu: cijene Groka se udvostručuju iznad 200 000 tokena konteksta. Drugim riječima, čim doista iskoristiš dugi kontekst, automatski prelaziš na višu tarifu. Zahtjev ulaza od milijun tokena na grok-4.3 naplaćuje se po udvostručenoj stopi – 2,50 USD po milijunu umjesto 1,25 USD – što znači 2,50 USD za taj jedan zahtjev. Na grok-4.5, zahtjev od 500 000 tokena skače na 4,00 USD po milijunu ulaza.
Taj prag moraš uzeti u obzir pri dizajnu: arhitektura koja ostaje ispod 200 000 tokena košta upola manje po tokenu od one koja ga premašuje, pri jednakom volumenu.
Kašnjenje (Latency)
Što je kontekst duži, to je vrijeme obrade dulje. Zahtjev s milijun ulaznih tokena bit će znatno sporiji od onog s 2 000 tokena. Planiraj odgovarajuća vremenska ograničenja (timeouts) – xAI preporučuje minimum od 3 600 sekundi za složene zahtjeve.
Trošak i predmemorija (Cache)
Trošak je izravno proporcionalan broju obrađenih tokena, a predmemorija je jedini pravi protuteža: ulazni tokeni koji su već viđeni naplaćuju se 75 % do 85 % jeftinije, ovisno o modelu (84 % na grok-4.3 i generaciji 4.20). Stabilan referentni kontekst, koji se ponovno koristi iz zahtjeva u zahtjev, stoga košta samo djelić svoje početne cijene – otuda ključna važnost predmemorije za duge kontekste.
Kvaliteta pažnje
Čak i ako model prihvaća milijun tokena, kvaliteta pažnje nije ujednačena. Informacije smještene na početak i kraj konteksta općenito se bolje „zadržavaju“ od onih u sredini. Za kritične zahtjeve postavi najvažnije informacije na početak konteksta ili neposredno prije pitanja.
Nema trajnog pohranjivanja
Prozor konteksta je efemeran: postoji samo tijekom zahtjeva. Ako trebaš pohraniti informacije između zahtjeva, koristi xAI Collections ili vlastitu bazu podataka. Prozor konteksta ne zamjenjuje sustav trajne memorije.
Strategije za učinkovitu upotrebu
Strukturiraj svoj kontekst
Kod vrlo dugog konteksta, struktura postaje ključna. Koristi jasne razdjelnike (XML oznake, Markdown naslove) za organizaciju različitih odjeljaka. Model se bolje snalazi kada je kontekst dobro označen.
Kombiniraj dugi kontekst i predmemoriju
Najmoćnija kombinacija: stabilan dugi kontekst (referentna dokumentacija, izvorni kod) koji ima koristi od predmemorije, s kratkim, dinamičnim dodacima (korisničko pitanje) na kraju. Dobivaš snagu dugog konteksta po cijenama predmemorije.
Ne puni kontekst nepotrebno
Samo zato što možeš ubaciti milijun tokena, ne znači da to trebaš činiti sustavno. Svaki token ima trošak, potencijalno prelazi prag od 200k i povećava kašnjenje. Odaberi kontekst relevantan za zadatak koji imaš pred sobom umjesto da šalješ sve prema zadanim postavkama – i zapamti da RAG često ostaje jeftiniji od dugog konteksta za upite nad velikim korpusom.
Ključne točke
- Prozori variraju ovisno o modelu: 1M za grok-4.3 i generaciju 4.20, 500k za grok-4.5, 256k za grok-build-0.1
- 1 milijun tokena predstavlja oko 750 000 riječi – idealno za kod, duge dokumente i produžene razgovore
- Pazi na prag: iznad 200 000 tokena konteksta, cijena po tokenu se udvostručuje
- Kašnjenje raste s veličinom konteksta – planiraj odgovarajuća vremenska ograničenja
- Predmemorija (smanjenje od 75 % do 85 % na ulazu) ključna je kako bi dugi konteksti bili ekonomični
- Kvaliteta pažnje varira: kritične informacije postavi na početak ili kraj konteksta