Brskanje po spletu
Na tej strani
Lekcija posodobljena 3. novembra 2026 na podlagi vodnika Computer use podjetja OpenAI, njegovih Receptov za integracijo in referenčne dokumentacije API-ja Responses: navodila je treba posredovati prek parametra
instructionsin jih ponovno poslati z vsako zahtevo, saj se ne prenašajo s parametromprevious_response_id; skripta, ki je odstranjevalatarget="_blank", je vsebovala sintaktično napako v JavaScriptu in je pokrivala le že prisotne povezave; priporočila za slike zdaj sledijo smernicam OpenAI (detail: "original", spreminjanje velikosti s pretvorbo koordinat). Viri: Recepti za integracijo · Computer use.
Več kot le preprost klik
Za agenta brskanje ni le odpiranje URL-ja. To je krmarjenje po resničnem spletu, polnem preusmeritev, strani, ki se izrišejo v štirih sekundah, pasov za soglasje, ki prekrijejo vse, in vsebine, ki se prikaže šele po večkratnem drsenju. Agent, ki te ovire ignorira, odpove že na drugi strani; tisti, ki jih predvidi, brez težav poveže potovanje čez deset zaslonov.
Dva načina, kako priti do cilja
Ko poznaš točen naslov, ne prosi AI, naj ga poišče: brskalnik pošlji tja neposredno.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Po drugi strani, ko je naslov odvisen od tega, kaj je prikazano – tretji izdelek na seznamu, razvrščenem po ceni, dinamično ustvarjena povezava “Ogled računa” – dovoli modelu, da pogleda in klikne.
# AI vidi posnetek zaslona in se odloči za klik na povezavo
# To se samodejno zgodi v zanki Computer Use
Pravilen pristop je združiti oboje v enem delovnem toku: neposredno navigacijo za znane mejnike na tvoji poti in vizualno navigacijo za vse, kar odkriješ med potjo. S tem prihraniš drage iteracije, ki ne dodajajo vrednosti.
Piškotni pas: ovira številka ena
V Evropi se ob prvem nalaganju na skoraj vsaki strani prikaže pas za soglasje. Dokler je prisoten, zajema klike in tvoj agent se vrti v krogu, ne da bi razumel, zakaj stran ne reagira. Ne improviziraj popravkov za vsako stran posebej: to enkrat za vselej vgradi v navodila agenta – parameter instructions API-ja Responses, ki deluje kot sistemski poziv – z jasnim navodilom, kaj zavrniti.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# To posreduj VSAKI zahtevi v zanki: s previous_response_id
# se navodila iz prejšnjega odgovora ne prenašajo naprej.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Vrstni red prvih dveh pravil je pomemben: agent privzeto zavrne, sprejemanje pa ostane odločitev osebe, ki dodeli nalogo, ne modela. Prav tako bodi pozoren na komentar v kodi: dokumentacija API-ja Responses navaja, da se instructions iz enega odgovora ne prenašajo v naslednjega pri veriženju prek previous_response_id. Zanka, ki jih pošlje le ob prvem koraku, jih v drugem izgubi.
Trije načini čakanja
Sodobne strani vsebino nalagajo asinhrono in tvoj agent bi lahko kliknil tja, kamor gumb še ni prispel. Najbolj zanesljiva rešitev ostaja čakanje na omrežje v Playwrightu, ki vrne nadzor, ko so vse zahteve končane.
page.goto(url)
page.wait_for_load_state("networkidle")
# Vse omrežne zahteve so končane
To povsod ne zadošča: v aplikaciji, ki vzdržuje stalno povezavo (websocket, anketiranje, klepet v živo), omrežje nikoli ni mirno in čakanje sčasoma poteče. V tem primeru se zateci k preprosti zakasnitvi pred zajemom.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Počakaj, nato zajemi posnetek zaslona."""
time.sleep(wait_seconds)
return page.screenshot()
Obstaja še tretja, pogosto spregledana pot: presojo prepusti samemu modelu. Ta vidi vrteči se indikator ali delno izrisano vsebino in razume, da je bolje zahtevati dodaten posnetek zaslona, kot da bi delal na slepo.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Vodenje dolge poti
V zaporedju več strani se naloga, oblikovana v enem stavku, sčasoma razblini: agent do tretjega zaslona pozabi polovico navodil. Razčleni jo na izrecne korake – zahvaljujoč veriženju odgovorov prek previous_response_id model sledi tistim, ki jih je že opravil, in vedno ve, kje se nahaja.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Zavihkov AI ne upravlja
Computer Use deluje le z enim vidnim poljem. Če se povezava odpre v novem zavihku, agent še naprej fotografira starega in ne razume, zakaj se nič ni spremenilo – klasična situacija s povezavami target="_blank", ki jih najdemo na skoraj vsaki novičarski strani. To popravi vnaprej v Playwrightu, da modelu ne bo treba skrbeti za to.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Navigacijo ohrani v zavihku, ki ga agent fotografira."""
# Na vsaki naloženi strani se klik na povezavo target="_blank"
# odpre v trenutnem zavihku ...
context.add_init_script(REMOVE_BLANK)
# ... in vsako okno, odprto s skripto, se takoj zapre
page.on("popup", lambda popup: popup.close())
Inicializacijska skripta se zažene v vsaki strani pred njenimi lastnimi skriptami: poslušalec, nastavljen med fazo zajema, odstrani atribut target, preden brskalnik sledi povezavi. Dogodek popup strani pokriva vse preostalo: okna, odprta z window.open.
Kakovost slike je ključna
Zamegljen ali obrezan posnetek zaslona povzroči, da agent klikne napačen gumb, in več časa boš porabil za odpravljanje njegovih napak kot za popravljanje samega posnetka. Zajemi vidno vidno polje namesto celotne strani: zajem full_page ustvari preveliko sliko, kar je še huje, njene koordinate se ne ujemajo več z zaslonom, kjer page.mouse klika.
import base64
def optimized_screenshot(page) -> str:
"""Zajemi vidno vidno polje kot PNG, v base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Samo vidno vidno polje
)
return base64.b64encode(screenshot).decode("utf-8")
Na strani API-ja OpenAI priporoča pošiljanje zajemov z detail: "original", kar ohranja ločljivost in izboljša natančnost klikov, ter odsvetuje uporabo high in low za Computer Use. Velik zajem porabi več žetonov, API pa ga lahko spremeni velikost ali celo zavrne, če preseže omejitve. Če moraš svoje zajeme zmanjšati, to stori pred pošiljanjem in pretvori koordinate modela v prostor izvirne slike; OpenAI poroča o dobrih rezultatih z namiznimi zasloni pri 1440×900 in 1600×900. Vidno polje 1280×720, uporabljeno v tem tečaju, ne potrebuje zmanjšanja.
Ključne ugotovitve
- Glede na kontekst združi neposredno navigacijo (znani URL-ji) in vizualno navigacijo (dinamične povezave)
- Pojavna okna GDPR obravnavaj v
instructionsagenta, ki jih ponovno pošlješ z vsako zahtevo - Pred zajemom posnetka zaslona počakaj na popolno nalaganje
- Zajemi vidno vidno polje in ga pošlji z
detail: "original"; če spremeniš velikost slike, pretvori koordinate - Nove zavihke obravnavaj v Playwrightu, ne v AI