Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Optimointi kokonaisuutena: kehotteesta verkkoon

Oppitunti 2 / 20 Päivitetty 3. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Optimointi on järjestelmä, ei yksittäinen parametri
  2. Optimoi kehote
  3. Optimoi API-parametrit
  4. Optimoi verkko
  5. Optimoi jälkikäsittely
  6. Keskeiset asiat

Oppitunti päivitetty 3. marraskuuta 2026 OpenAI:n dokumentaation perusteella: parametrit temperature ja top_p hyväksytään vain, kun päättelytaso (reasoning effort) on none, kun taas GPT-5.6-mallit käyttävät oletusarvoisesti keskitason päättelyä (medium). Näitä parametreja asettavien kutsujen on siis määritettävä reasoning={"effort": "none"} (Responses API) tai reasoning_effort="none" (Chat Completions). Lähteet: Using GPT-6 · GPT-5.6 Terra.

Optimointi on järjestelmä, ei yksittäinen parametri

LLM-sovelluksen viiveen ja kustannusten pienentäminen ei tarkoita pelkän nopeamman mallin valintaa. Kyseessä on optimointiketju, joka ulottuu kehotteesta verkkokonfiguraatioon, ja heikoin lenkki määrää koko järjestelmän suorituskyvyn. Tiimi, joka puolittaa järjestelmäkehotteensa koon mutta jättää palvelimensa avaamaan uuden TLS-yhteyden jokaiselle pyynnölle, menettää verkkokuormituksessa sen, mitä se säästi tokeneissa.

Näiden vipujen käsittelyjärjestyksellä on väliä. Aloita kehotteesta, sillä se vaikuttaa sekä kustannuksiin että viiveeseen vaatimatta infrastruktuurimuutoksia. Seuraavaksi tulevat API-parametrit, sitten verkkokonfiguraatio ja lopuksi tapa, jolla sovelluksesi käsittelee vastauksen. Tämä oppitunti opastaa sinua läpi jokaisen vivun tässä järjestyksessä.

Optimoi kehote

Jokainen syöttetokeni maksaa aikaa ja rahaa, ja useimmat tuotantokehotteet kantavat mukanaan prototyyppivaiheen kuormaa: ohjeita on lisätty yksi kerrallaan, ja jokainen niistä muotoilee uudelleen edellistä. Ensimmäinen reaktiosi pitäisi olla kehotteen uudelleenkirjoittaminen tiiviisti poistamalla puhuttelumuodot ja toistot koskematta mallille välitettyihin varsinaisiin rajoitteisiin.

# ❌ Laaja kehote
prompt_long = """
You are an expert financial analysis assistant. You must always
respond in a professional and structured manner. You must use
numerical data when possible. You must avoid unnecessary jargon.
You must be concise but complete.
Analyze the following quarterly report: ...
"""

# ✅ Optimoitu kehote (sama tulos, vähemmän tokeneja)
prompt_court = """Role: Senior financial analyst.
Constraints: Structured, numerical, concise.
Task: Analyze this quarterly report: ..."""

Molemmat versiot välittävät täsmälleen samat viisi rajoitetta; jälkimmäinen tekee sen ilman viittä “You must” -fraasia, jotka eivät tuota mallille mitään lisäarvoa. Palvelussa, joka käsittelee kymmenentuhatta raporttia päivässä, tämä kolmenkymmenen sekunnin uudelleenkirjoitus maksaa itsensä takaisin päivittäin.

Valitse tehtävään sopiva malli

Toinen vipu perustuu siihen, ettei jokainen kutsu vaadi samaa mallia. Reittityksen ohjaaminen kenttäpoimotehtävässä korkean tason päättelymalliin tarkoittaa, että maksat kapasiteetista, jota tehtävä ei käytä, ja odotat pidempään saadaksesi identtisen tuloksen.

TehtävätyyppiSuositeltu malliSyy
Luokittelu / poimintagpt-5.6-lunaNopea, taloudellinen
Monimutkainen päättelygpt-5.6-terra (keskitason päättely)Paras laatu/kustannus-suhde
Kriittiset tehtävätgpt-5.6-sol (korkea päättely)Korkein laatu, hitaampi
Suuri volyymigpt-5.6-luna Batch API:n kautta-50 % kustannuksia

Käytännössä koodaa tämä valinta reititysfunktioon äläkä jätä sitä kehittäjien harkinnan varaan; muuten oletusmalli voittaa aina:

import openai

client = openai.OpenAI()

def route_model(task: str, complexity: str) -> str:
    """Valitsee optimaalisen mallin tehtävän perusteella."""
    if complexity == "low":
        return "gpt-5.6-luna"
    elif task in ("reasoning", "math", "code"):
        return "gpt-5.6-terra"
    elif complexity == "critical":
        return "gpt-5.6-sol"
    return "gpt-5.6-terra"

def optimized_call(prompt: str, task: str, complexity: str) -> str:
    model = route_model(task, complexity)
    response = client.responses.create(
        model=model,
        input=prompt,
    )
    return response.output_text

Optimoi API-parametrit

Liian pitkä vastaus tuhlaa generointiaikaa, jota kukaan ei lue. Määritä aina max_output_tokens: tämä on ehdoton raja, joka suojaa sekä laskuasi että käyttöliittymääsi estämässä huonosti muotoiltua kehotetta ajautumasta kahdentuhannen sanan harhaan.

response = client.responses.create(
    model="gpt-5.6-terra",
    reasoning={"effort": "none"},  # temperature vaatii effort-arvon none
    input="Summarize this text in one sentence.",
    max_output_tokens=100,  # Ehdoton raja
    temperature=0.0,         # Deterministinen = nopeampi
)

Otanta-parametrit toimivat samaan suuntaan. Asettamalla temperature=0 vastauksista tulee deterministisiä ja hieman nopeampia, mikä on juuri sitä, mitä haluat poiminta- tai luokittelutehtävissä, joissa luovuus on varianssin lähde eikä etu. Arvon top_p pienentäminen tasolle 0,1 rajoittaa hakutilaa ja nopeuttaa generointia; varaa tämä asetus tehtäviin, joissa vain yksi muotoilu on hyväksyttävä, ja pidä oletusarvot silloin, kun vastauksen rikkaus on osa tuotetta.

Optimoi verkko

Pakettien matkakustannukset kertyvät jokaisessa kutsussa, vaikka ne pysyvätkin näkymättöminä sovelluksesi mittareissa. OpenAI API isännöidään ensisijaisesti Yhdysvaltain itärannikolla: sovelluspalvelimesi sijoittaminen samaan alueeseen päätepisteen kanssa voi tuottaa 50–150 millisekunnin säästön verkkoviiveessä. Keskustelevalle sovellukselle tämä on merkittävä osa ensimmäisen tokenin saapumisaikaa (TTFT).

Toinen hyöty tulee yhteyden uudelleenkäytöstä. Ilman poolia jokainen pyyntö toistaa TLS-kättelyn, mikä lisää useita kierroksia ennen kuin hyödyllistä dataa alkaa virrata. HTTP-asiakkaan konfigurointi kerralla ratkaisee tämän:

import httpx

# Asiakas pysyvällä yhteyspoolilla
client_http = httpx.Client(
    base_url="https://api.openai.com/v1",
    timeout=60.0,
    limits=httpx.Limits(
        max_connections=20,
        max_keepalive_connections=10,
    ),
)

Optimoi jälkikäsittely

Viimeinen lenkki on usein se, jonka ihmiset unohtavat: sovellus, joka vastaanottaa suoratoistovastauksen mutta odottaa sen loppuun ennen näyttämistä, kumoaa kaikki suoratoiston hyödyt. Käsittele vastaus lennossa äläkä vasta täydellisen vastaanoton jälkeen.

async def progressive_processing(prompt: str):
    """Käsittelee jokaisen palan heti sen saapuessa."""
    stream = client.responses.create(
        model="gpt-5.6-terra",
        input=prompt,
        stream=True,
    )

    buffer = ""
    for event in stream:
        if event.type == "response.output_text.delta":
            buffer += event.delta
            # Käsittele kokonaisen lauseen mukaan
            if buffer.endswith((".", "!", "?")):
                yield buffer.strip()
                buffer = ""

Jakaminen kokonaisiin lauseisiin on harkittu kompromissi: jokaisen tokenin lähettäminen tuottaa nykivän näytön, kun taas koko kappaleen odottaminen luo uudelleen odotuksen tunteen. Lause on yksikkö, jota lukijat luonnostaan kuluttavat. Uudelleenkäytä tätä mallia aina, kun käyttöliittymäsi tarvitsee näyttää, lukea ääneen tai suoratoistaa mallin tuottamaa sisältöä.

Keskeiset asiat

  • Optimoi kehote ensin: vähemmän tokeneja = vähemmän viivettä ja kustannuksia
  • Reititä oikeaan malliin tehtävän vaativuuden perusteella
  • Rajoita max_output_tokens ja käytä arvoa temperature=0 aina kun mahdollista
  • Käytä HTTP-yhteyksiä uudelleen ja käsittele vastaukset suoratoistona