Arkkitehtuuri: Kuvankaappaukset, toiminnot ja vuorovaikutussilmukka
Tällä sivulla
Oppitunti kirjoitettu uudelleen 3. marraskuuta 2026 OpenAI:n Computer use -oppaan ja Computer use integration recipes -dokumentaation pohjalta: Tämä kurssi perustui aiemmin Anthropicin APIiin (
import anthropic, työkalucomputer_20241022). Nyt se käyttää OpenAI:n Responses API:ncomputer-työkalua, jossa toiminnot on ryhmiteltycomputer_call-kohteeseen ja kuvankaappaukset palautetaancomputer_call_output-kohteen kautta. Olemme poistaneet edellisestä versiosta lähteettömät token-määrät ja kestiarviot. Lähteet: Computer use · Integration recipes.
Havainto-toiminto-silmukka
Koko Computer Use -arkkitehtuuri tiivistyy yhteen sykliin: havainnoi → päätä → toimi → havainnoi. Ellei tämä sykli ole mielessäsi kirkas, automaatiosi pysyvät epävakaina; kun se loksahtaa paikalleen, loppu on vain putkitusta.
Ero Selenium-skriptiin piilee siinä, missä tieto sijaitsee. Selenium suorittaa sokeasti ennalta määrätyn sekvenssin: klikkaa tästä, sitten tuosta, kirjoita tämä. Computer Use valitsee seuraavan askeleen vasta nähtyään edellisen tuloksen. Ponnahdusikkuna ilmestyy, sivu latautuu hitaammin tai painikkeen teksti muuttuu yön aikana: kaikissa kolmessa tapauksessa malli näkee todellisen tilanteen ja mukautuu, kun taas skripti jatkaa toistamistaan tyhjyyteen.
OpenAI:n computer-työkalulla vuorovaikutus tapahtuu kolmessa vaiheessa: lähetät tehtävän, suoritat mallin palauttamat toiminnot ja lähetät sitten takaisin kuvankaappauksen. Sovelluksesi hallitsee hiirtä ja näppäimistöä; malli tekee vain päätökset.
Lähtökohta: kuvankaappaus
Jokainen vuoro perustuu kuvaan nykyisestä näytön tilasta. Tämä kuvankaappaus tulee selaimesta, jota ohjaa Playwright – yleisin tapaus web-automaatiossa – virtuaalisesta työpöydästä työpöytäsovelluksia automatisoitaessa tai Docker-säiliöstä, joka eristää agentin. OpenAI suosittelee eristetyn selaimen tai virtuaalikoneen käyttöä kaikissa tapauksissa.
import base64
def capture_screen(page) -> str:
"""Ota kuvankaappaus Playwrightilla ja palauta PNG-kuva base64-muodossa."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Kuvankaappaus lähetetään mallille takaisin PNG-data-URLina. Se lasketaan kuvasyötteeksi, joten se vaikuttaa jokaisen vuoron kustannuksiin: sieppaamasi ikkunan koko on todellinen suunnitteluparametri.
Analyysi ja päätöksenteko
Malli vastaanottaa tehtävän, keskusteluhistorian ja uusimman kuvankaappauksen. Sen vastaus ei ole lause, vaan computer_call-kohde, joka sisältää järjestetyn luettelon suoritettavista toiminnoista. Tässä esimerkki OpenAI:n dokumentaatiosta, joka valitsee hakukentän ja kirjoittaa sitten sanan:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Kaksi yksityiskohtaa on tärkeää. Ensimmäinen kutsu voi sisältää vain screenshot-toiminnon: malli pyytää näkemään näytön ennen toimintaa, ja sinä palautat kuvankaappauksen muuttamatta mitään. Lisäksi status: "completed" tarkoittaa, että malli on saanut generoitua kutsun valmiiksi, ei sitä, että toiminnot on suoritettu: niiden suorittaminen on sinun vastuullasi.
Toimintorepertuaari
Mallille käytettävissä oleva sanasto on tarkoituksellisesti rajattu; yhdistettynä nämä primitiivit kattavat suurimman osan siitä, mitä ihminen tekee hiirellä ja näppäimistöllä.
| Toiminto | Kuvaus | Kentät |
|---|---|---|
click | Klikkaa sijaintiin | x, y, button (left, right, wheel, back, forward) |
double_click | Kaksoisklikkaus | x, y |
drag | Vedä polkua pitkin | path (pisteiden lista) |
move | Siirrä osoitinta | x, y |
scroll | Vieritä | x, y, scroll_x, scroll_y |
keypress | Näppäin tai yhdistelmä | keys (esim. ["CTRL", "A"]) |
type | Kirjoita tekstiä | text |
wait | Anna sivun latautua | — |
screenshot | Pyydä uusi kuvankaappaus | — |
Koko virta
Yhdistettynä nämä elementit luovat seuraavan silmukan, joka on mallinnettu OpenAI:n dokumentaation mukaan. Niin kauan kuin vastaus sisältää computer_call-kohteen, suoritat sen toiminnot, otat kuvankaappauksen ja palautat kuvankaappauksen computer_call_output-kohteessa, joka käyttää samaa call_id:tä; previous_response_id linkittää jokaisen vuoron edelliseen.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computer Use -silmukka Responses API:n computer-työkalulla."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # ei enää pyydettyjä toimintoja: tehtävä valmis
execute_actions(page, call.actions) # toimintokäsittelijäsi (Oppitunti 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Tässä silmukassa ei ole vielä turvaväliä: tuotannossa rajoita vuorojen määrää, kestoa ja kustannuksia; pysäytä suoritus, jos kutsu sisältää odottavia turvallisuustarkistuksia (pending_safety_checks); ja varmista todellinen tulos luottamatta pelkästään mallin viimeiseen viestiin. Nämä ovat OpenAI:n turvallisuusohjeita, joita käsitellään oppitunnilla 12.
Vuoron kustannukset
Jokainen Responses API -pyyntö veloittaa syöte- ja tulostetokeneista, ja jokainen kuvankaappaus lasketaan kuvasyötteeksi; isännöity ympäristö saatetaan laskuttaa erikseen. Tehtävän kustannus riippuu siis vuorojen määrästä, kuvankaappauksen koosta ja mallista – ja se kasvaa nopeammin kuin vuorojen määrä, koska jopa previous_response_id:tä käytettäessä ketjun edellisten vastausten kaikki syötetokenit veloitetaan uudelleen syötteinä jokaisessa pyynnössä. OpenAI tarjoaa kuvakustannuslaskurin ja paljastaa käytön jokaiselle pyynnölle: mittaa omilla työnkuluillasi ennen budjetointia. Selenium-skripti tekee aina saman asian nopeammin ja halvemmalla – mutta joudut kirjoittamaan sen uudelleen seuraavan kerran, kun lomake muuttuu, mitä agentti ei vaadi.
Keskeiset asiat
- Tehtävä → toiminnot → kuvankaappaus -silmukka on Computer Usen ydin; sovelluksesi suorittaa toiminnot
- Ilmoita OpenAI:ssa työkalu määritteellä
tools=[{"type": "computer"}]Responses API:ssa computer_callsisältää järjestetyn luettelon toiminnoista (click,type,scroll,keypressjne.), jotka suoritetaan peräkkäin- Kuvankaappaus palautetaan mallille
computer_call_output-kohteessa samallacall_id:llä, ketjutettunaprevious_response_id:llä - Jokainen vuoro maksaa tokeneita ja kuvan: rajoita vuoroja ja mittaa ennen budjetointia