Optimointi kokonaisuutena: kehotteesta verkkoon
Tällä sivulla
Oppitunti päivitetty 3. marraskuuta 2026 OpenAI:n dokumentaation perusteella: parametrit
temperaturejatop_phyväksytään vain, kun päättelytaso (reasoning effort) onnone, kun taas GPT-5.6-mallit käyttävät oletusarvoisesti keskitason päättelyä (medium). Näitä parametreja asettavien kutsujen on siis määritettäväreasoning={"effort": "none"}(Responses API) taireasoning_effort="none"(Chat Completions). Lähteet: Using GPT-6 · GPT-5.6 Terra.
Optimointi on järjestelmä, ei yksittäinen parametri
LLM-sovelluksen viiveen ja kustannusten pienentäminen ei tarkoita pelkän nopeamman mallin valintaa. Kyseessä on optimointiketju, joka ulottuu kehotteesta verkkokonfiguraatioon, ja heikoin lenkki määrää koko järjestelmän suorituskyvyn. Tiimi, joka puolittaa järjestelmäkehotteensa koon mutta jättää palvelimensa avaamaan uuden TLS-yhteyden jokaiselle pyynnölle, menettää verkkokuormituksessa sen, mitä se säästi tokeneissa.
Näiden vipujen käsittelyjärjestyksellä on väliä. Aloita kehotteesta, sillä se vaikuttaa sekä kustannuksiin että viiveeseen vaatimatta infrastruktuurimuutoksia. Seuraavaksi tulevat API-parametrit, sitten verkkokonfiguraatio ja lopuksi tapa, jolla sovelluksesi käsittelee vastauksen. Tämä oppitunti opastaa sinua läpi jokaisen vivun tässä järjestyksessä.
Optimoi kehote
Jokainen syöttetokeni maksaa aikaa ja rahaa, ja useimmat tuotantokehotteet kantavat mukanaan prototyyppivaiheen kuormaa: ohjeita on lisätty yksi kerrallaan, ja jokainen niistä muotoilee uudelleen edellistä. Ensimmäinen reaktiosi pitäisi olla kehotteen uudelleenkirjoittaminen tiiviisti poistamalla puhuttelumuodot ja toistot koskematta mallille välitettyihin varsinaisiin rajoitteisiin.
# ❌ Laaja kehote
prompt_long = """
You are an expert financial analysis assistant. You must always
respond in a professional and structured manner. You must use
numerical data when possible. You must avoid unnecessary jargon.
You must be concise but complete.
Analyze the following quarterly report: ...
"""
# ✅ Optimoitu kehote (sama tulos, vähemmän tokeneja)
prompt_court = """Role: Senior financial analyst.
Constraints: Structured, numerical, concise.
Task: Analyze this quarterly report: ..."""
Molemmat versiot välittävät täsmälleen samat viisi rajoitetta; jälkimmäinen tekee sen ilman viittä “You must” -fraasia, jotka eivät tuota mallille mitään lisäarvoa. Palvelussa, joka käsittelee kymmenentuhatta raporttia päivässä, tämä kolmenkymmenen sekunnin uudelleenkirjoitus maksaa itsensä takaisin päivittäin.
Valitse tehtävään sopiva malli
Toinen vipu perustuu siihen, ettei jokainen kutsu vaadi samaa mallia. Reittityksen ohjaaminen kenttäpoimotehtävässä korkean tason päättelymalliin tarkoittaa, että maksat kapasiteetista, jota tehtävä ei käytä, ja odotat pidempään saadaksesi identtisen tuloksen.
| Tehtävätyyppi | Suositeltu malli | Syy |
|---|---|---|
| Luokittelu / poiminta | gpt-5.6-luna | Nopea, taloudellinen |
| Monimutkainen päättely | gpt-5.6-terra (keskitason päättely) | Paras laatu/kustannus-suhde |
| Kriittiset tehtävät | gpt-5.6-sol (korkea päättely) | Korkein laatu, hitaampi |
| Suuri volyymi | gpt-5.6-luna Batch API:n kautta | -50 % kustannuksia |
Käytännössä koodaa tämä valinta reititysfunktioon äläkä jätä sitä kehittäjien harkinnan varaan; muuten oletusmalli voittaa aina:
import openai
client = openai.OpenAI()
def route_model(task: str, complexity: str) -> str:
"""Valitsee optimaalisen mallin tehtävän perusteella."""
if complexity == "low":
return "gpt-5.6-luna"
elif task in ("reasoning", "math", "code"):
return "gpt-5.6-terra"
elif complexity == "critical":
return "gpt-5.6-sol"
return "gpt-5.6-terra"
def optimized_call(prompt: str, task: str, complexity: str) -> str:
model = route_model(task, complexity)
response = client.responses.create(
model=model,
input=prompt,
)
return response.output_text
Optimoi API-parametrit
Liian pitkä vastaus tuhlaa generointiaikaa, jota kukaan ei lue. Määritä aina max_output_tokens: tämä on ehdoton raja, joka suojaa sekä laskuasi että käyttöliittymääsi estämässä huonosti muotoiltua kehotetta ajautumasta kahdentuhannen sanan harhaan.
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature vaatii effort-arvon none
input="Summarize this text in one sentence.",
max_output_tokens=100, # Ehdoton raja
temperature=0.0, # Deterministinen = nopeampi
)
Otanta-parametrit toimivat samaan suuntaan. Asettamalla temperature=0 vastauksista tulee deterministisiä ja hieman nopeampia, mikä on juuri sitä, mitä haluat poiminta- tai luokittelutehtävissä, joissa luovuus on varianssin lähde eikä etu. Arvon top_p pienentäminen tasolle 0,1 rajoittaa hakutilaa ja nopeuttaa generointia; varaa tämä asetus tehtäviin, joissa vain yksi muotoilu on hyväksyttävä, ja pidä oletusarvot silloin, kun vastauksen rikkaus on osa tuotetta.
Optimoi verkko
Pakettien matkakustannukset kertyvät jokaisessa kutsussa, vaikka ne pysyvätkin näkymättöminä sovelluksesi mittareissa. OpenAI API isännöidään ensisijaisesti Yhdysvaltain itärannikolla: sovelluspalvelimesi sijoittaminen samaan alueeseen päätepisteen kanssa voi tuottaa 50–150 millisekunnin säästön verkkoviiveessä. Keskustelevalle sovellukselle tämä on merkittävä osa ensimmäisen tokenin saapumisaikaa (TTFT).
Toinen hyöty tulee yhteyden uudelleenkäytöstä. Ilman poolia jokainen pyyntö toistaa TLS-kättelyn, mikä lisää useita kierroksia ennen kuin hyödyllistä dataa alkaa virrata. HTTP-asiakkaan konfigurointi kerralla ratkaisee tämän:
import httpx
# Asiakas pysyvällä yhteyspoolilla
client_http = httpx.Client(
base_url="https://api.openai.com/v1",
timeout=60.0,
limits=httpx.Limits(
max_connections=20,
max_keepalive_connections=10,
),
)
Optimoi jälkikäsittely
Viimeinen lenkki on usein se, jonka ihmiset unohtavat: sovellus, joka vastaanottaa suoratoistovastauksen mutta odottaa sen loppuun ennen näyttämistä, kumoaa kaikki suoratoiston hyödyt. Käsittele vastaus lennossa äläkä vasta täydellisen vastaanoton jälkeen.
async def progressive_processing(prompt: str):
"""Käsittelee jokaisen palan heti sen saapuessa."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
buffer = ""
for event in stream:
if event.type == "response.output_text.delta":
buffer += event.delta
# Käsittele kokonaisen lauseen mukaan
if buffer.endswith((".", "!", "?")):
yield buffer.strip()
buffer = ""
Jakaminen kokonaisiin lauseisiin on harkittu kompromissi: jokaisen tokenin lähettäminen tuottaa nykivän näytön, kun taas koko kappaleen odottaminen luo uudelleen odotuksen tunteen. Lause on yksikkö, jota lukijat luonnostaan kuluttavat. Uudelleenkäytä tätä mallia aina, kun käyttöliittymäsi tarvitsee näyttää, lukea ääneen tai suoratoistaa mallin tuottamaa sisältöä.
Keskeiset asiat
- Optimoi kehote ensin: vähemmän tokeneja = vähemmän viivettä ja kustannuksia
- Reititä oikeaan malliin tehtävän vaativuuden perusteella
- Rajoita
max_output_tokensja käytä arvoatemperature=0aina kun mahdollista - Käytä HTTP-yhteyksiä uudelleen ja käsittele vastaukset suoratoistona