Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Međuspremnik upita: Ponovna uporaba izračuna

Lekcija 3 od 20 Ažurirano 28. srpnja 2026. Napredno
Na ovoj stranici
  1. Što je međuspremnik upita?
  2. Kako funkcionira
  3. Strukturiranje za maksimiziranje međuspremnika
  4. Ključne točke

Što je međuspremnik upita?

Kada više puta pošalješ isti prefiks upita—dugi sistemski upit, detaljne upute ili referentni dokument—OpenAI može automatski pohraniti taj prefiks u međuspremnik. Naknadni pozivi koji dijele taj prefiks imaju koristi od smanjenog vremena do prvog tokena (TTFT) i nižih troškova za ulazne tokene. Drugim riječima, posao ingestije stabilnog konteksta ne ponavlja se za svaki zahtjev.

Međuspremnik upita automatski je uključen od 2025.: ne moraš ništa aktivirati. OpenAI detektira identične prefikse i pohranjuje ih. Tvoja poluga stoga nije u uključivanju ili isključivanju, već u pisanju upita tako da se mehanizam može primijeniti. To je pitanje strukture, a ne konfiguracije, i upravo tu većina timova ostavlja novac na stolu.

Kako funkcionira

Međuspremnik se primjenjuje na prefikse upita: prvi tokeni moraju biti strogo identični od jednog poziva do drugog, a podudaranje prestaje kod prvog različitog znaka. Minimalna veličina od 1.024 tokena potrebna je za pokretanje međuspremnika, što odmah isključuje kratke sistemske upite. Međuspremnik se dijeli unutar jedne organizacije, što znači da više servisa u tvojoj tvrtki koji pozivaju isti prefiks međusobno si pomažu. Njegov vijek trajanja kreće se od nekoliko minuta do nekoliko sati, bez čvrstog jamstva, a postignuto smanjenje iznosi približno 50 % troška međuspremljenih ulaznih tokena.

Praktična posljedica pravila o prefiksu jest da moraš postaviti stabilne elemente na početak upita, a varijabilne elemente na kraj. Servis koji umeće današnji datum ili ID sesije na početak svog sistemskog upita invalidira svoj međuspremnik pri svakom pozivu, a da toga nije ni svjestan.

import openai

client = openai.OpenAI()

# ✅ Dobra struktura: prvo stabilni elementi
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.

Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""

def analyze_clause(clause: str) -> str:
    """Svaki poziv ponovno koristi međuspremnik sistemskog upita."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,  # Stabilni prefiks = međuspremljeno
        input=f"Analyze this clause: {clause}",  # Varijabilni dio
    )
    return response.output_text

U ovom primjeru, referentni ugovor i okvir analize čine nepromjenjivi blok, dok se klauzula koja se analizira mijenja sa svakim pozivom. Analiziraj četrdeset klauzula iz istog ugovora i platit ćeš kontekst jednom po punoj cijeni.

Provjera međuspremnika

Optimizacija koju ne mjeriš optimizacija je koju samo misliš da imaš. API vraća informacije o korištenju međuspremnika u odgovoru:

response = client.responses.create(
    model="gpt-5.6-terra",
    instructions=SYSTEM_PROMPT,
    input="Analyze the non-compete clause.",
)

# Provjeri korištenje međuspremnika
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")

# Ako je cached_tokens > 0: međuspremnik je korišten
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")

Bilježi ovaj omjer u produkciji umjesto da ga provjeravaš samo jednom u razvoju. Nagli pad stope međuspremnika najpouzdaniji je simptom nenamjerne promjene u konstrukciji upita i to ćeš vidjeti prije nego ti mjesečni račun to javi.

Strukturiranje za maksimiziranje međuspremnika

Prvi pristup je namjerno obogaćivanje sistemskog upita. To djeluje kontraintuitivno kada pokušavaš smanjiti broj tokena, ali usklađeno je s pravilom o pragu: sistemski upit od 900 tokena nikada neće biti međuspremljen, dok isti upit obogaćen primjerima s malo uzoraka (few-shot) i referentnim dokumentom prelazi granicu i prelazi na smanjenu stopu za međuspremljeni dio.

# Obogati sistemski upit za maksimiziranje međuspremnika
ENRICHED_PROMPT = """
[Detaljne upute - 500+ tokena]
[Few-shot primjeri - 500+ tokena]
[Referentni dokument - 1.000+ tokena]
---
Ukupno > 1.024 tokena = podobno za međuspremnik
"""

U razgovoru s više okretaja, mehanizam radi u tvoju korist bez dodatnog napora: akumulirana povijest tvori prirodno stabilan prefiks koji raste sa svakom razmjenom. Sve dok uvijek ponovno ubacuješ poruke istim redoslijedom, deseti okretaj ima koristi od međuspremnika izgrađenog prethodnih devet.

def conversation_with_cache(history: list[dict], new_message: str):
    """Rastuća povijest automatski maksimizira međuspremnik."""
    history.append({"role": "user", "content": new_message})

    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,
        input=history,
    )

    history.append({
        "role": "assistant",
        "content": response.output_text,
    })
    return response.output_text

Konačno, budući da se vijek trajanja međuspremnika mjeri u minutama, grupiranje zahtjeva koji dijele prefiks postaje odluka o rasporedu. Obrada četrdeset klauzula iz ugovora jedna za drugom održava međuspremnik aktivnim; njihovo raspoređivanje tijekom dana uz ispreplitanje drugih datoteka omogućuje mu da istekne između poziva.

import asyncio

async def batch_with_cache(clauses: list[str]) -> list[str]:
    """Šalje zahtjeve brzo kako bi iskoristio međuspremnik."""
    results = []
    for clause in clauses:
        result = analyze_clause(clause)
        results.append(result)
    return results

Tri pogreške poništavaju sav ovaj rad, a sve izgledaju slično: modificiranje početka upita, čak i za jedan znak, invalidira međuspremnik za cijeli zahtjev; nasumično mijenjanje redoslijeda uputa, na primjer izgradnjom upita iz neuređenog rječnika, proizvodi isti učinak povremeno i stoga ga je teško dijagnosticirati; a očekivanje dobiti ispod praga od 1.024 tokena znači pokušaj optimizacije nečega što se nikada ne pokreće.

Ključne točke

  • Međuspremnik upita automatski je uključen kod OpenAI-ja—postavi stabilne elemente na početak upita
  • Minimalni prag: 1.024 identična tokena u prefiksu
  • Dobitak: ~50 % na međuspremljenim ulaznim tokenima + smanjeni TTFT
  • Provjeri usage.input_tokens_details.cached_tokens za potvrdu međuspremnika