Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Web-selailu

Oppitunti 5 / 14 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Yksinkertaista klikkausta laajemmalle
  2. Kaksi tapaa päästä määränpäähän
  3. Evästekysely: este numero yksi
  4. Kolme tapaa odottaa
  5. Pitkän matkan ohjaaminen
  6. Välilehtiä ei hallita tekoälyn avulla
  7. Kuvan laatu määrittää kaiken muun
  8. Keskeiset asiat

Oppitunti päivitetty 3. marraskuuta 2026 OpenAI:n Computer use -oppaan, sen Integration recipes -dokumentaation ja Responses API -viitteen perusteella: ohjeet on välitettävä instructions-parametrin kautta ja lähetettävä uudelleen jokaisessa pyynnössä, sillä niitä ei siirretä eteenpäin previous_response_id:n avulla; skripti, joka poisti attribuutin target="_blank", sisälsi JavaScript-syntaksivirheen ja käsitteli vain jo olemassa olevia linkkejä; kuvasuositukset noudattavat nyt OpenAI:n ohjeistusta (detail: "original", koon muuttaminen koordinaattien muunnoksella). Lähteet: Integration recipes · Computer use.

Yksinkertaista klikkausta laajemmalle

Agentille selailu ei ole pelkän URL-osoitteen avaamista. Se on liikkumista todellisessa verkossa, jossa on uudelleenohjauksia, sivuja, joiden renderöinti kestää neljä sekuntia, kaiken peittäviä evästekyselyitä ja sisältöä, joka ilmestyy näkyviin vasta useiden vieritysten jälkeen. Agentti, joka jättää nämä kitkatekijät huomiotta, epäonnistuu jo toisella sivulla; agentti, joka ennakoi ne, ketjuttaa kymmenen ruudun mittaisen matkan ilman minkäänlaista väliintuloa.

Kaksi tapaa päästä määränpäähän

Kun tiedät tarkan osoitteen, älä pyydä tekoälyä etsimään sitä: lähetä selain sinne suoraan.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Sitä vastoin, kun osoite riippuu näytöllä olevasta sisällöstä – kuten hintajärjestyksessä olevan listan kolmas tuote tai dynaamisesti generoitu “Näytä lasku” -linkki – anna mallin tarkistaa tilanne ja klikata.

# Tekoäly näkee kuvakaappauksen ja päättää klikata linkkiä
# Tämä tapahtuu automaattisesti Computer Use -silmukassa

Oikea lähestymistapa on yhdistää molemmat samaan työnkulkuun: suora navigointi tunnetuille välipisteille matkan varrella ja visuaalinen navigointi kaikelle, mitä matkan aikana löytyy. Tämä säästää kalliita iteraatioita, jotka eivät tuota lisäarvoa.

Evästekysely: este numero yksi

Euroopassa lähes jokainen sivusto näyttää suostumuskyselyn heti ensimmäisen latauksen yhteydessä. Niin kauan kuin se on näkyvissä, se kaappaa klikkaukset, ja agenttisi pyörii tyhjäkäynnillä ymmärtämättä, miksi sivu ei reagoi. Älä keksi ratkaisua sivu kerrallaan: leivo se kerran ja lopullisesti agentin ohjeisiin – Responses API:n instructions-parametriin, joka toimii järjestelmäkehotteena – ja anna selkeä direktiivi siitä, mitä kieltäytyä hyväksymästä.

INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
  refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
  otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""

# Välitä tämä JOKAISEEN silmukan pyyntöön: previous_response_id:n kanssa
# edellisen vastauksen ohjeita ei siirretä eteenpäin.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Kahden ensimmäisen säännön järjestyksellä on väliä: agentti kieltäytyy oletusarvoisesti, ja hyväksyminen jää tehtävän antajan päätettäväksi, ei mallin. Huomaa myös koodikommentti: Responses API:n dokumentaatio toteaa, että yhden vastauksen instructions-tietoja ei siirretä seuraavaan, kun ketjutus tehdään previous_response_id:n avulla. Silmukka, joka lähettää ne vain ensimmäisellä kierroksella, menettää ne toisella.

Kolme tapaa odottaa

Nykyaikaiset sivut lataavat sisältöä asynkronisesti, ja agenttisi saattaa klikata kohtaan, jossa painiketta ei ole vielä ilmestynyt. Luotettavin korjaus on edelleen Playwrightin verkkotilan odotus, joka palauttaa hallinnan, kun kaikki pyynnöt on suoritettu loppuun.

page.goto(url)
page.wait_for_load_state("networkidle")
# Kaikki verkkopyynnöt on suoritettu

Tämä ei riitä kaikkialla: sovelluksessa, joka ylläpitää pysyvää yhteyttä (websocket, polling, live-chat), verkko ei ole koskaan jouten, ja odotus aikakatkeaa lopulta. Turvaudu tällöin yksinkertaiseen viiveeseen ennen kuvankaappausta.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Odota, sitten ota kuvakaappaus."""
    time.sleep(wait_seconds)
    return page.screenshot()

On olemassa kolmas, usein unohdettu polku: uskotaan arviointi itse mallille. Se näkee latausindikaattorin tai puoliksi renderöityneen sisällön ja ymmärtää, että on parempi pyytää lisäkuvakaappaus kuin toimia sokkona.

task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading 
(spinner visible, partial content), 
wait for an additional screenshot before acting.
"""

Pitkän matkan ohjaaminen

Usean sivun mittaisessa sarjassa yhdellä lauseella muotoiltu tehtävä hajoaa matkan varrella: agentti unohtaa puolet ohjeista kolmanteen ruutuun mennessä. Pilko tehtävä selkeisiin vaiheisiin – previous_response_id:n avulla tapahtuvan vastausketjutuksen ansiosta malli pitää kirjaa jo suoritetuista vaiheista ja tietää aina, missä mennään.

task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""

Välilehtiä ei hallita tekoälyn avulla

Computer Use toimii vain yhdessä näkymässä. Jos linkki avautuu uudelle välilehdelle, agentti valokuvaa edelleen vanhaa eikä ymmärrä, miksi mikään ei ole muuttunut – klassinen tilanne target="_blank" -linkkien kanssa, joita löytyy lähes jokaiselta uutissivustolta. Korjaa tämä ennalta Playwrightissa, jotta mallin ei tarvitse huolehtia siitä.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Pidä navigointi välilehdellä, jota agentti valokuvaa."""
    # Jokaisella ladatulla sivulla klikkaus target="_blank" -linkkiin
    # avaa sen nykyiselle välilehdelle...
    context.add_init_script(REMOVE_BLANK)
    # ... ja kaikki skriptin avaamat ikkunat suljetaan välittömästi
    page.on("popup", lambda popup: popup.close())

Alustus-skripti suoritetaan jokaisella sivulla ennen sen omia skriptejä: kuuntelija, joka asetetaan kaappausvaiheen aikana, poistaa target-attribuutin ennen kuin selain seuraa linkkiä. Sivun popup-tapahtuma kattaa loput: window.open:n avulla avatut ikkunat.

Kuvan laatu määrittää kaiken muun

Sumea tai rajattu kuvakaappaus tuottaa agentin, joka klikkaa väärää painiketta, ja vietät enemmän aikaa sen virheiden vianetsintään kuin kuvakaappauksen korjaamiseen. Kaappaa näkyvä näkymä eikä koko sivua: full_page-kaappaus tuottaa liian suuren kuvan, ja pahempaa vielä, sen koordinaatit eivät enää täsmää näytön kanssa, jossa page.mouse klikkaa.

import base64

def optimized_screenshot(page) -> str:
    """Kaappaa näkyvä näkymä PNG-muodossa base64-koodattuna."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Vain näkyvä näkymä
    )
    return base64.b64encode(screenshot).decode("utf-8")

API-puolella OpenAI suosittelee lähettämään kaappaukset parametrilla detail: "original", mikä säilyttää resoluution ja parantaa klikkaustarkkuutta, ja kehottaa välttämään arvoja high ja low Computer Use -käytössä. Suuri kaappaus kuluttaa enemmän tokeneita, ja API saattaa muuttaa sen kokoa tai jopa hylätä sen, jos se ylittää rajat. Jos joudut pienentämään kaappauksiasi, tee se ennen lähetystä ja muunna mallin koordinaatit alkuperäiseen kuvatilaan; OpenAI raportoi hyviä tuloksia työpöytänäkymillä 1440×900 ja 1600×900. Tällä kurssilla käytetty 1280×720-näkymä ei vaadi pienentämistä.

Keskeiset asiat

  • Yhdistä suora navigointi (tunnetut URL-osoitteet) ja visuaalinen navigointi (dynaamiset linkit) kontekstin mukaan
  • Käsittele GDPR-ponnahdusikkunat agentin instructions-kohdassa ja lähetä ne uudelleen jokaisessa pyynnössä
  • Odota sivun täydellistä latautumista ennen kuvakaappauksen ottamista
  • Kaappaa näkyvä näkymä ja lähetä se parametrilla detail: "original"; jos muutat kuvan kokoa, muunna koordinaatit
  • Hallitse uudet välilehdet Playwrightissa, älä tekoälyssä