Pregledavanje weba
Na ovoj stranici
Lekcija ažurirana 3. studenog 2026. na temelju OpenAI-jevog vodiča Computer use, njegovih Integration recipes i referenci za Responses API: upute se moraju proslijediti putem parametra
instructionsi ponovno poslati sa svakim zahtjevom jer se ne prenose krozprevious_response_id; skripta koja je uklanjalatarget="_blank"sadržavala je sintaksnu pogrešku u JavaScriptu i pokrivala je samo već postojeće poveznice; preporuke za slike sada slijede OpenAI-jeve smjernice (detail: "original", promjena veličine s konverzijom koordinata). Izvori: Integration recipes · Computer use.
Više od običnog klika
Za agenta pregledavanje weba nije samo otvaranje URL-a. To je navigacija stvarnim webom punim preusmjeravanja, stranica kojima treba četiri sekunde za renderiranje, bannera za pristanak koji prekrivaju sve i sadržaja koji se pojavljuje tek nakon višestrukog pomicanja. Agent koji ignorira ove prepreke pada već na drugoj stranici; onaj koji ih predvidi povezuje putovanje od deset ekrana bez ikakve intervencije.
Dva načina da stigneš do cilja
Kada znaš točnu adresu, ne traži od AI-a da je pronađe: pošalji preglednik tamo izravno.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
S druge strane, kada adresa ovisi o onome što je prikazano – treći proizvod na popisu sortiranim po cijeni, dinamički generirana poveznica “Pogledaj račun” – pusti model da pogleda i klikne.
# AI vidi snimku zaslona i odlučuje kliknuti na poveznicu
# To se događa automatski u petlji Computer Use
Ispravan pristup je kombinirati oboje u jednom tijeku rada: izravna navigacija za poznate prekretnice tvog putovanja i vizualna navigacija za sve što otkriješ usput. Time štediš skupe iteracije koje ne donose vrijednost.
Banner za kolačiće: prepreka broj jedan
U Europi gotovo svaka stranica prikazuje banner za pristanak pri prvom učitavanju. Dokle god je prisutan, on presreće klikove, a tvoj agent se vrti u krug ne shvaćajući zašto stranica ne reagira. Ne smišljaj popravke za svaku stranicu pojedinačno: ugradi to jednom zauvijek u upute agenta – parametar instructions Responses API-ja, koji djeluje kao sistemska poruka – s jasnom naredbom što odbiti.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Proslijedi ovo SVAKOM zahtjevu u petlji: s previous_response_id,
# upute iz prethodnog odgovora se ne prenose.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Redoslijed prva dva pravila je bitan: agent prema zadanim postavkama odbija, a prihvaćanje ostaje odluka osobe koja dodjeljuje zadatak, a ne modela. Također, obrati pažnju na komentar u kodu: dokumentacija Responses API-ja navodi da se instructions iz jednog odgovora ne prenose na sljedeći kada se lančano povezuju putem previous_response_id. Petlja koja ih šalje samo u prvom krugu izgubit će ih u drugom.
Tri načina čekanja
Moderne stranice učitavaju sadržaj asinkrono, a tvoj agent bi mogao kliknuti tamo gdje gumb još nije stigao. Najpouzdanije rješenje ostaje Playwrightovo čekanje mreže, koje vraća kontrolu kada svi zahtjevi završe.
page.goto(url)
page.wait_for_load_state("networkidle")
# Svi mrežni zahtjevi su završeni
To nije svugdje dovoljno: u aplikaciji koja održava trajnu vezu – websocket, polling, live chat – mreža nikada nije mirna i čekanje će na kraju isteci. Prebaci se na jednostavno kašnjenje prije snimanja.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Pričekaj, zatim snimi zaslon."""
time.sleep(wait_seconds)
return page.screenshot()
Postoji i treći, često zanemaren put: povjeri prosudbu samom modelu. On vidi ikonu za učitavanje ili djelomično renderirani sadržaj i shvaća da je bolje zatražiti dodatnu snimku zaslona nego djelovati naslijepo.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Vođenje dugog putovanja
Tijekom niza od nekoliko stranica, zadatak formuliran u jednoj rečenici raspada se usput: agent zaboravi pola uputa do trećeg ekrana. Razbij ga na eksplicitne korake – zahvaljujući lančanju odgovora putem previous_response_id, model prati one koje je već izvršio i uvijek zna gdje se nalazi.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Kartice nisu pod upravom AI-a
Computer Use radi samo s jednim prikazom (viewport). Ako se poveznica otvori u novoj kartici, agent nastavlja fotografirati staru i ne shvaća zašto se ništa nije promijenilo – klasična situacija s poveznicama target="_blank", koje se nalaze na gotovo svakom news portalu. To popravi unaprijed u Playwrightu, tako da se model ne mora brinuti o tome.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Zadrži navigaciju u kartici koju agent fotografira."""
# Na svakoj učitanoj stranici, klik na poveznicu target="_blank"
# otvara je u trenutnoj kartici...
context.add_init_script(REMOVE_BLANK)
# ... a svaki prozor otvoren skriptom odmah se zatvara
page.on("popup", lambda popup: popup.close())
Inicijalizacijska skripta pokreće se na svakoj stranici prije njezinih vlastitih skripti: slušatelj, postavljen tijekom faze hvatanja, uklanja atribut target prije nego što preglednik slijedi poveznicu. Događaj popup stranice pokriva ono što preostaje: prozore otvorene putem window.open.
Kvaliteta slike uvjetuje sve ostalo
Zamagljena ili orezana snimka zaslona proizvodi agenta koji klikće na pogrešan gumb, a ti ćeš provesti više vremena ispravljajući njegove pogreške nego popravljajući snimku. Snimi vidljivi prikaz (viewport), a ne cijelu stranicu: snimanje full_page proizvodi preveliku sliku, a što je gore, njezine koordinate više ne odgovaraju zaslonu na kojem page.mouse klikće.
import base64
def optimized_screenshot(page) -> str:
"""Snimi vidljivi prikaz kao PNG, u base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Samo vidljivi prikaz
)
return base64.b64encode(screenshot).decode("utf-8")
Na strani API-ja, OpenAI preporučuje slanje snimki s detail: "original", što čuva razlučivost i poboljšava preciznost klika, te savjetuje izbjegavanje high i low za Computer Use. Velika snimka troši više tokena, a API je može promijeniti veličinu ili čak odbiti ako premaši ograničenja. Ako moraš smanjiti svoje snimke, učini to prije slanja i pretvori koordinate modela u prostor izvorne slike; OpenAI izvještava o dobrim rezultatima s desktopima na 1440×900 i 1600×900. Viewport od 1280×720 koji se koristi u ovom tečaju ne treba smanjenje.
Ključne točke
- Kombiniraj izravnu navigaciju (poznati URL-ovi) i vizualnu navigaciju (dinamičke poveznice) ovisno o kontekstu
- Rukuj GDPR skočnim prozorima u
instructionsagenta, ponovno poslane sa svakim zahtjevom - Pričekaj potpuno učitavanje prije snimanja zaslona
- Snimi vidljivi prikaz i pošalji ga s
detail: "original"; ako mijenjaš veličinu slike, pretvori koordinate - Rukuj novim karticama u Playwrightu, a ne u AI-u