Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Arkkitehtuuri: Kuvankaappaukset, toiminnot ja vuorovaikutussilmukka

Oppitunti 2 / 14 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Havainto-toiminto-silmukka
  2. Lähtökohta: kuvankaappaus
  3. Analyysi ja päätöksenteko
  4. Toimintorepertuaari
  5. Koko virta
  6. Vuoron kustannukset
  7. Keskeiset asiat

Oppitunti kirjoitettu uudelleen 3. marraskuuta 2026 OpenAI:n Computer use -oppaan ja Computer use integration recipes -dokumentaation pohjalta: Tämä kurssi perustui aiemmin Anthropicin APIiin (import anthropic, työkalu computer_20241022). Nyt se käyttää OpenAI:n Responses API:n computer-työkalua, jossa toiminnot on ryhmitelty computer_call-kohteeseen ja kuvankaappaukset palautetaan computer_call_output-kohteen kautta. Olemme poistaneet edellisestä versiosta lähteettömät token-määrät ja kestiarviot. Lähteet: Computer use · Integration recipes.

Havainto-toiminto-silmukka

Koko Computer Use -arkkitehtuuri tiivistyy yhteen sykliin: havainnoi → päätä → toimi → havainnoi. Ellei tämä sykli ole mielessäsi kirkas, automaatiosi pysyvät epävakaina; kun se loksahtaa paikalleen, loppu on vain putkitusta.

Ero Selenium-skriptiin piilee siinä, missä tieto sijaitsee. Selenium suorittaa sokeasti ennalta määrätyn sekvenssin: klikkaa tästä, sitten tuosta, kirjoita tämä. Computer Use valitsee seuraavan askeleen vasta nähtyään edellisen tuloksen. Ponnahdusikkuna ilmestyy, sivu latautuu hitaammin tai painikkeen teksti muuttuu yön aikana: kaikissa kolmessa tapauksessa malli näkee todellisen tilanteen ja mukautuu, kun taas skripti jatkaa toistamistaan tyhjyyteen.

OpenAI:n computer-työkalulla vuorovaikutus tapahtuu kolmessa vaiheessa: lähetät tehtävän, suoritat mallin palauttamat toiminnot ja lähetät sitten takaisin kuvankaappauksen. Sovelluksesi hallitsee hiirtä ja näppäimistöä; malli tekee vain päätökset.

Lähtökohta: kuvankaappaus

Jokainen vuoro perustuu kuvaan nykyisestä näytön tilasta. Tämä kuvankaappaus tulee selaimesta, jota ohjaa Playwright – yleisin tapaus web-automaatiossa – virtuaalisesta työpöydästä työpöytäsovelluksia automatisoitaessa tai Docker-säiliöstä, joka eristää agentin. OpenAI suosittelee eristetyn selaimen tai virtuaalikoneen käyttöä kaikissa tapauksissa.

import base64

def capture_screen(page) -> str:
    """Ota kuvankaappaus Playwrightilla ja palauta PNG-kuva base64-muodossa."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Kuvankaappaus lähetetään mallille takaisin PNG-data-URLina. Se lasketaan kuvasyötteeksi, joten se vaikuttaa jokaisen vuoron kustannuksiin: sieppaamasi ikkunan koko on todellinen suunnitteluparametri.

Analyysi ja päätöksenteko

Malli vastaanottaa tehtävän, keskusteluhistorian ja uusimman kuvankaappauksen. Sen vastaus ei ole lause, vaan computer_call-kohde, joka sisältää järjestetyn luettelon suoritettavista toiminnoista. Tässä esimerkki OpenAI:n dokumentaatiosta, joka valitsee hakukentän ja kirjoittaa sitten sanan:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Kaksi yksityiskohtaa on tärkeää. Ensimmäinen kutsu voi sisältää vain screenshot-toiminnon: malli pyytää näkemään näytön ennen toimintaa, ja sinä palautat kuvankaappauksen muuttamatta mitään. Lisäksi status: "completed" tarkoittaa, että malli on saanut generoitua kutsun valmiiksi, ei sitä, että toiminnot on suoritettu: niiden suorittaminen on sinun vastuullasi.

Toimintorepertuaari

Mallille käytettävissä oleva sanasto on tarkoituksellisesti rajattu; yhdistettynä nämä primitiivit kattavat suurimman osan siitä, mitä ihminen tekee hiirellä ja näppäimistöllä.

ToimintoKuvausKentät
clickKlikkaa sijaintiinx, y, button (left, right, wheel, back, forward)
double_clickKaksoisklikkausx, y
dragVedä polkua pitkinpath (pisteiden lista)
moveSiirrä osoitintax, y
scrollVieritäx, y, scroll_x, scroll_y
keypressNäppäin tai yhdistelmäkeys (esim. ["CTRL", "A"])
typeKirjoita tekstiätext
waitAnna sivun latautua—
screenshotPyydä uusi kuvankaappaus—

Koko virta

Yhdistettynä nämä elementit luovat seuraavan silmukan, joka on mallinnettu OpenAI:n dokumentaation mukaan. Niin kauan kuin vastaus sisältää computer_call-kohteen, suoritat sen toiminnot, otat kuvankaappauksen ja palautat kuvankaappauksen computer_call_output-kohteessa, joka käyttää samaa call_id:tä; previous_response_id linkittää jokaisen vuoron edelliseen.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use -silmukka Responses API:n computer-työkalulla."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # ei enää pyydettyjä toimintoja: tehtävä valmis

        execute_actions(page, call.actions)  # toimintokäsittelijäsi (Oppitunti 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Tässä silmukassa ei ole vielä turvaväliä: tuotannossa rajoita vuorojen määrää, kestoa ja kustannuksia; pysäytä suoritus, jos kutsu sisältää odottavia turvallisuustarkistuksia (pending_safety_checks); ja varmista todellinen tulos luottamatta pelkästään mallin viimeiseen viestiin. Nämä ovat OpenAI:n turvallisuusohjeita, joita käsitellään oppitunnilla 12.

Vuoron kustannukset

Jokainen Responses API -pyyntö veloittaa syöte- ja tulostetokeneista, ja jokainen kuvankaappaus lasketaan kuvasyötteeksi; isännöity ympäristö saatetaan laskuttaa erikseen. Tehtävän kustannus riippuu siis vuorojen määrästä, kuvankaappauksen koosta ja mallista – ja se kasvaa nopeammin kuin vuorojen määrä, koska jopa previous_response_id:tä käytettäessä ketjun edellisten vastausten kaikki syötetokenit veloitetaan uudelleen syötteinä jokaisessa pyynnössä. OpenAI tarjoaa kuvakustannuslaskurin ja paljastaa käytön jokaiselle pyynnölle: mittaa omilla työnkuluillasi ennen budjetointia. Selenium-skripti tekee aina saman asian nopeammin ja halvemmalla – mutta joudut kirjoittamaan sen uudelleen seuraavan kerran, kun lomake muuttuu, mitä agentti ei vaadi.

Keskeiset asiat

  • Tehtävä → toiminnot → kuvankaappaus -silmukka on Computer Usen ydin; sovelluksesi suorittaa toiminnot
  • Ilmoita OpenAI:ssa työkalu määritteellä tools=[{"type": "computer"}] Responses API:ssa
  • computer_call sisältää järjestetyn luettelon toiminnoista (click, type, scroll, keypress jne.), jotka suoritetaan peräkkäin
  • Kuvankaappaus palautetaan mallille computer_call_output-kohteessa samalla call_id:llä, ketjutettuna previous_response_id:llä
  • Jokainen vuoro maksaa tokeneita ja kuvan: rajoita vuoroja ja mittaa ennen budjetointia