Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Naršymas žiniatinklyje

Paskaita 5 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Daugiau nei paprastas paspaudimas
  2. Du būdai pasiekti tikslą
  3. Slapukų banneris: pirmoji kliūtis
  4. Trys laukimo būdai
  5. Ilgos kelionės gairinimas
  6. Kortelės nėra valdomos DI
  7. Vaizdo kokybė lemia viską
  8. Svarbiausi punktai

Pamoka atnaujinta 2026 m. lapkričio 3 d. remiantis „OpenAI“ Computer use vadovu, jo Integration recipes ir „Responses API“ nuoroda: instrukcijos turi būti perduodamos per parametrą instructions ir siunčiamos su kiekvienu užklausimu, nes jos nėra perkeliamos naudojant previous_response_id; scenarijus, pašalinęs target="_blank", turėjo JavaScript sintaksės klaidą ir apėmė tik jau esamas nuorodas; vaizdų rekomendacijos dabar atitinka „OpenAI“ gaires (detail: "original", dydžio keitimas konvertuojant koordinates). Šaltiniai: Integration recipes · Computer use.

Daugiau nei paprastas paspaudimas

Agentui naršymas – tai ne tik URL adreso atidarymas. Tai judėjimas tikrame žiniatinklyje, kupiname peradresavimų, puslapių, kurių atvaizdavimas trunka keturias sekundes, sutikimo bannerių, uždengiančių viską, ir turinio, atsirandančio tik kelis kartus paslinkus puslapį. Agentas, ignoruojantis šias trintis, žlunga jau antrame puslapyje; tas, kuris jas numato, be jokio įsikišimo sujungia dešimties ekranų kelionę.

Du būdai pasiekti tikslą

Kai žinai tikslų adresą, neprašyk dirbtinio intelekto jo ieškoti: tiesiogiai nukreipk naršyklę ten.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Atvirkščiai, kai adresas priklauso nuo to, kas rodoma ekrane – trečias produktas kainų sąraše, dinamiškai sugeneruota nuoroda „Peržiūrėti sąskaitą“ – leisk modeliui pažiūrėti ir paspausti.

# DI mato ekrano kopiją ir nusprendžia paspausti nuorodą
# Tai įvyksta automatiškai „Computer Use“ cikle

Tinkamiausias būdas – abu metodus derinti viename darbo eigos procese: tiesioginė navigacija žinomiems kelionės etapams ir vizualinė navigacija viskam, kas atrandama pakeliui. Tai sutaupo brangių iteracijų, kurios neduoda pridėtinės vertės.

Slapukų banneris: pirmoji kliūtis

Europoje beveik kiekvienoje svetainėje pirmojo įkėlimo metu rodomas sutikimo banneris. Kol jis matomas, jis perima paspaudimus, o tavo agentas sukasi ratu nesuprasdamas, kodėl puslapis nereaguoja. Neimprovizuok sprendimų kiekvienai svetainei atskirai: įtrauk tai kartą ir visiems laikams į agento instrukcijas – tai yra „Responses API“ parametras instructions, veikiantis kaip sistemos promptas – su aiškiu nurodymu, ką atmesti.

INSTRUCTIONS = """Tu esi agentas, naršantis žiniatinklyje.
Taisyklės:
- Jei matai slapukų ar sutikimo bannerį,
  atmesk nebūtinius slapukus arba paspausk „Atmesti“ / „Reject“
- Jei siūlomas tik „Priimti“, priimk tik tada, kai užduotis tai leidžia;
  priešingu atveju sustok ir pranešk apie tai
- Nešvaistyk laiko iškylantiems langams: tvarkyk juos nedelsiant
"""

# perduok tai KIEKVIENAM užklausimui cikle: naudojant previous_response_id,
# instrukcijos iš ankstesnio atsakymo nėra perkeliamos.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Pirmųjų dviejų taisyklių eiliškumas yra svarbus: agentas pagal nutylėjimą atmeta, o priėmimas lieka asmens, skiriančio užduotį, o ne modelio, sprendimu. Taip pat atkreipk dėmesį į kodo komentarą: „Responses API“ dokumentacija teigia, kad vieno atsakymo instructions nėra perkeliamos į kitą, grandininio ryšio būdu naudojant previous_response_id. Ciklas, siunčiantis jas tik pirmame žingsnyje, praranda jas antrame.

Trys laukimo būdai

Šiuolaikiniai puslapiai turinį krauna asinchroniškai, ir tavo agentas gali paspausti ten, kur mygtukas dar nepasirodė. Patikimiausias sprendimas išlieka „Playwright“ tinklo laukimas, kuris grąžina kontrolę baigus visus užklausimus.

page.goto(url)
page.wait_for_load_state("networkidle")
# Visi tinklo užklausimai baigti

To ne visur pakanka: programėlėje, palaikančioje nuolatinį ryšį – „websocket“, apklausas („polling“), tiesioginį pokalbį – tinklas niekada nebūna ramybės būsenos, ir laukimas galiausiai baigiasi laiko limito viršijimu. Tokiu atveju prieš darant ekrano kopiją naudok paprastą delsą.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Palauk, tada padaryk ekrano kopiją."""
    time.sleep(wait_seconds)
    return page.screenshot()

Yra ir trečias, dažnai pamirštamas kelias: patikėti sprendimą pačiam modeliui. Jis mato sukimosi indikatorių arba dalinai atvaizduotą turinį ir supranta, kad geriau paprašyti papildomos ekrano kopijos, nei veikti aklai.

task = """
Eik į https://example.com/dashboard.
Jei puslapis vis dar atrodo kraunamas 
(matomas sukimosi indikatorius, dalinis turinys), 
palauk papildomos ekrano kopijos prieš imdamasis veiksmų.
"""

Ilgos kelionės gairinimas

Per kelių puslapių seką vienu sakiniu suformuluota užduotis greitai subyra: agentas pamiršta pusę instrukcijų jau trečiame ekrane. Suskaidyk ją į aiškius žingsnius – dėka atsakymų grandininio ryšio naudojant previous_response_id, modelis stebi jau atliktus žingsnius ir visada žino, kurioje vietoje yra.

task = """
1 žingsnis: Eik į https://shop.example.com
2 žingsnis: Paieškos laukelyje ieškok „mechanical keyboard“
3 žingsnis: Rūšiuok rezultatus pagal kainą didėjimo tvarka
4 žingsnis: Atidaryk pirmąjį produktą
5 žingsnis: Užrašyk kainą ir prieinamumą
"""

Kortelės nėra valdomos DI

„Computer Use“ veikia tik su vienu matomu langu („viewport“). Jei nuoroda atsidaro naujoje kortelėje, agentas toliau fotografuoja senąją ir nesupranta, kodėl niekas nepasikeitė – tai klasikinė situacija su target="_blank" nuorodomis, randamomis beveik kiekvienoje naujienų svetainėje. Išspręsk tai iš anksto „Playwright“ aplinkoje, kad modelis dėl to nesijaudintų.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Išlaikyk navigaciją kortelėje, kurią agentas fotografuoja."""
    # Kiekviename įkeltame puslapyje paspaudus nuorodą su target="_blank"
    # ji atsidaro esamoje kortelėje...
    context.add_init_script(REMOVE_BLANK)
    # ... o bet kuris scenarijaus atidarytas langas iškart uždaromas
    page.on("popup", lambda popup: popup.close())

Inicializavimo scenarijus vykdomas kiekviename puslapyje prieš jo pačio scenarijus: klausytojas, nustatytas fiksavimo fazės metu, pašalina target atributą prieš naršyklei sekant nuorodą. Puslapio popup įvykis apima likusią dalį: langus, atidarytus naudojant window.open.

Vaizdo kokybė lemia viską

Neryški ar apkirpta ekrano kopija sukuria agentą, spaudžiantį neteisingus mygtukus, ir tu praleisi daugiau laiko derindamas jo klaidas nei taisydamas pačią kopiją. Fiksuok matomą langą („viewport“), o ne visą puslapį: full_page kopija sukuria per didelį vaizdą, ir, kas blogiau, jos koordinatės nebeatitinka ekrano, kuriame page.mouse atlieka paspaudimus.

import base64

def optimized_screenshot(page) -> str:
    """Fiksuok matomą langą kaip PNG, base64 formatu."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Tik matomas langas
    )
    return base64.b64encode(screenshot).decode("utf-8")

API pusėje „OpenAI“ rekomenduoja siųsti kopijas su detail: "original", kas išlaiko raišką ir gerina paspaudimų tikslumą, bei pataria nenaudoti high ir low vertių „Computer Use“ atveju. Didelė kopija sunaudoja daugiau tokenų, o API gali ją keisti dydį arba net atmesti, jei viršijamos ribos. Jei turi sumažinti kopijas, daryk tai prieš siųsdamas ir konvertuok modelio koordinates į originalaus vaizdo erdvę; „OpenAI“ praneša apie gerus rezultatus naudojant 1440×900 ir 1600×900 darbalaukio raiškas. Šiame kurse naudojamam 1280×720 langui sumažinimo nereikia.

Svarbiausi punktai

  • Derink tiesioginę navigaciją (žinomi URL) ir vizualinę navigaciją (dinaminės nuorodos) priklausomai nuo konteksto
  • Tvarkyk GDPR iškylančius langus agento instructions, siunčiamose su kiekvienu užklausimu
  • Palauk, kol viskas pilnai užsikraus, prieš darydamas ekrano kopiją
  • Fiksuok matomą langą ir siųsk jį su detail: "original"; jei keiti vaizdo dydį, konvertuok koordinates
  • Tvarkyk naujas korteles „Playwright“ aplinkoje, o ne dirbtiniame intelekte