Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Veebilehitsemine

Õppetund 5 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Enam kui lihtne klõps
  2. Kaks viisi kohalejõudmiseks
  3. Küpsisebänner: takistus number üks
  4. Kolm ootamisviisi
  5. Pika teekonna juhtimine
  6. Vahelehti AI ei haldi
  7. Pildikvaliteet määrab kõik muu
  8. Peamised punktid

Tund uuendatud 3. novembril 2026, tuginedes OpenAI Computer use juhendile, selle *Integration recipes’*le ja Responses API dokumentatsioonile: juhised tuleb edastada parameetri instructions kaudu ja saata koos iga päringuga, kuna neid ei edastata edasi previous_response_id kaudu; skript, mis eemaldas target="_blank", sisaldas JavaScripti süntaksiviga ja kattis ainult juba olemasolevaid linke; pildisoovitused järgivad nüüd OpenAI suuniseid (detail: "original", suuruse muutmine koos koordinaatide teisendamisega). Allikad: Integration recipes · Computer use.

Enam kui lihtne klõps

Agenti jaoks ei tähenda veebilehitsemine lihtsalt URL-i avamist. See on navigeerimine reaalses veebis, mis on täis ümbersuunamisi, lehti, mille renderdamine võtab neli sekundit, nõusolekubännereid, mis katavad kogu sisu, ja sisu, mis ilmub alles pärast mitut kerimist. Agent, kes neid takistusi eirab, kukub läbi juba teisel lehel; agent, kes neid ette näeb, läbib kümne ekraani pikkuse tee ilma igasuguse sekkumiseta.

Kaks viisi kohalejõudmiseks

Kui sa tead täpset aadressi, ära palu tehisintellektil seda otsida: suuna brauser sinna otse.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Vastupidi, kui aadress sõltub kuvatavast – näiteks hinnasorteeritud loendi kolmas toode või dünaamiliselt genereeritud link „Vaata arvet“ – lase mudelil vaadata ja klõpsata.

# Tehisintellekt näeb ekraanitõmmist ja otsustab lingile klõpsata
# See juhtub automaatselt Computer Use'i tsüklis

Õige lähenemine on kombineerida mõlemat ühes töövoos: otsene navigeerimine teekonna teadaolevate etappide jaoks ja visuaalne navigeerimine kõige jaoks, mis avastatakse tee peal. See säästab sind kulukatest iteratsioonidest, mis ei too lisaväärtust.

Küpsisebänner: takistus number üks

Euroopas kuvatakse peaaegu igal saidil esimesel laadimisel nõusolekubänner. Niikaua kui see on olemas, püüab see klõpse kinni ja sinu agent ringutab asjatult, mõistmata, miks leht ei reageeri. Ära improviseeri lahendust saidi kaupa: kodeeri see üks kord ja igaveseks agendi juhiste sisse – Responses API parameeter instructions, mis toimib süsteemse vihjena –, andes selge korralduse, millest keelduda.

INSTRUCTIONS = """Oled agent, kes sirvib veebi.
Reeglid:
- Kui näed küpsise- või nõusolekubännerit,
  keeldu valikulistest küpsistest või klõpsa „Keeldu“ / „Reject“
- Kui pakutakse ainult „Nõustu“, nõustu ainult siis, kui ülesanne seda lubab;
  vastasel juhul peatu ja teata sellest
- Ära raiska aega hüpikakendele: lahenda need viivitamatult
"""

# Edasta see IGASSE tsükli päringusse: koos previous_response_id-ga
# eelmise vastuse juhiseid ei edastata edasi.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Kahe esimese reegli järjekord on oluline: agent keeldub vaikimisi ja nõustumine jääb ülesande andja otsustada, mitte mudeli omaks. Samuti pane tähele koodikommentaari: Responses API dokumentatsioon sätestab, et ühe vastuse instructions ei kandu edasi järgmisse, kui aheldamine toimub previous_response_id kaudu. Tsükkel, mis saadab need ainult esimesel pöördel, kaotab need teisel.

Kolm ootamisviisi

Kaasaegsed lehed laadivad sisu asünkroonselt ja sinu agent võib klõpsata kohta, kuhu nupp pole veel jõudnud. Kõige usaldusväärsem lahendus on endiselt Playwright’i võrgu ootamine, mis tagastab kontrolli, kui kõik päringud on lõppenud.

page.goto(url)
page.wait_for_load_state("networkidle")
# Kõik võrgupäringud on lõpetatud

See ei pruugi kõikjal piisata: rakenduses, mis hoiab üleval püsivat ühendust (websocket, polling, live vestlus), ei ole võrk kunagi jõude ja ootamine lõpeb lõpuks ajalõpuga. Sel juhul kasuta enne ekraanitõmmise tegemist lihtsat viidet.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Oota, seejärel tee ekraanitõmmis."""
    time.sleep(wait_seconds)
    return page.screenshot()

On ka kolmas, sageli tähelepanuta jääv tee: usalda otsustusvõime mudelile endale. See näeb laadimisindikaatorit või poolikult renderdatud sisu ja mõistab, et parem on taotleda täiendavat ekraanitõmmist, kui pimesi tegutseda.

task = """
Liigu aadressile https://example.com/dashboard.
Kui leht tundub endiselt laaduvat 
(laadimisindikaator nähtav, osaline sisu), 
oota enne tegutsemist täiendavat ekraanitõmmist.
"""

Pika teekonna juhtimine

Mitme lehe hõlmavas jadas laguneb ühe lausega formuleeritud ülesanne tee peal: agent unustab poole juhistest juba kolmandaks ekraaniks. Jaota see selgeteks sammudeks – tänu vastuste aheldamisele previous_response_id kaudu peab mudel meeles, millised sammud on juba tehtud, ja teab alati, kus ta parasjagu on.

task = """
Samm 1: Mine aadressile https://shop.example.com
Samm 2: Otsi otsingurealt „mehaaniline klaviatuur“
Samm 3: Sorteeri tulemused hinna järgi kasvavas järjekorras
Samm 4: Ava esimene toode
Samm 5: Märgi üles hind ja saadavus
"""

Vahelehti AI ei haldi

Computer Use töötab ainult ühe vaateaknaga. Kui link avaneb uues vahelehes, pildistab agent endiselt vana ja ei mõista, miks midagi ei muutu – klassikaline olukord target="_blank" linkidega, mida leidub peaaegu igal uudistesaidil. Lahenda see probleem ülesvoolu Playwright’is, et mudel ei peaks selle pärast muretsema.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Hoia navigeerimine selles vahelehes, mida agent pildistab."""
    # Igal laaditud lehel avab klõps target="_blank" lingil
    # selle praeguses vahelehes...
    context.add_init_script(REMOVE_BLANK)
    # ... ja iga skriptiga avatud aken suletakse viivitamatult
    page.on("popup", lambda popup: popup.close())

Initsialiseerimisskript käivitub igal lehel enne selle enda skripte: kuulaja, mis on määratud hõivefaasi ajal, eemaldab atribuudi target enne, kui brauser lingile järgneb. Lehe sündmus popup katab ülejäänu: aknad, mis on avatud window.open abil.

Pildikvaliteet määrab kõik muu

Udune või kärbitud ekraanitõmmis tekitab agenti, mis klõpsab valele nupule, ja sa veedad rohkem aega selle vigade silumisega kui ekraanitõmmise parandamisega. Salvesta nähtav vaateaken, mitte kogu leht: full_page jäädvustus tekitab liiga suure pildi ja mis veel hullem, selle koordinaadid ei klapi enam ekraaniga, kus page.mouse klõpsab.

import base64

def optimized_screenshot(page) -> str:
    """Salvesta nähtav vaateaken PNG-vormingus base64-kodeeringus."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Ainult nähtav vaateaken
    )
    return base64.b64encode(screenshot).decode("utf-8")

API poolelt soovitab OpenAI saata jäädvustused parameetriga detail: "original", mis säilitab eraldusvõime ja parandab klõpsamise täpsust, ning hoiatab kasutamast väärtusi high ja low Computer Use’i puhul. Suur jäädvustus tarbib rohkem tokeneid ja API võib selle suurust muuta või isegi tagasi lükata, kui see ületab piiranguid. Kui pead oma jäädvustusi vähendama, tee seda enne saatmist ja teisenda mudeli koordinaadid algse pildi ruumi; OpenAI teatab headest tulemustest töölauaresolutsioonide 1440×900 ja 1600×900 puhul. Selles kursuses kasutatav 1280×720 vaateaken ei vaja vähendamist.

Peamised punktid

  • Kombineeri kontekstist lähtuvalt otsest navigeerimist (teadaolevad URL-id) ja visuaalset navigeerimist (dünaamilised lingid)
  • Lahenda GDPR-i hüpikaknad agendi instructions parameetris, saates need iga päringuga uuesti
  • Oota enne ekraanitõmmise tegemist lehe täielikku laadimist
  • Salvesta nähtav vaateaken ja saada see parameetriga detail: "original"; kui muudad pildi suurust, teisenda koordinaadid
  • Lahenda uued vahelehed Playwright’is, mitte tehisintellektis