Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Pregledavanje weba

Lekcija 5 od 14 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Više od običnog klika
  2. Dva načina da stigneš do cilja
  3. Banner za kolačiće: prepreka broj jedan
  4. Tri načina čekanja
  5. Vođenje dugog putovanja
  6. Kartice nisu pod upravom AI-a
  7. Kvaliteta slike uvjetuje sve ostalo
  8. Ključne točke

Lekcija ažurirana 3. studenog 2026. na temelju OpenAI-jevog vodiča Computer use, njegovih Integration recipes i referenci za Responses API: upute se moraju proslijediti putem parametra instructions i ponovno poslati sa svakim zahtjevom jer se ne prenose kroz previous_response_id; skripta koja je uklanjala target="_blank" sadržavala je sintaksnu pogrešku u JavaScriptu i pokrivala je samo već postojeće poveznice; preporuke za slike sada slijede OpenAI-jeve smjernice (detail: "original", promjena veličine s konverzijom koordinata). Izvori: Integration recipes · Computer use.

Više od običnog klika

Za agenta pregledavanje weba nije samo otvaranje URL-a. To je navigacija stvarnim webom punim preusmjeravanja, stranica kojima treba četiri sekunde za renderiranje, bannera za pristanak koji prekrivaju sve i sadržaja koji se pojavljuje tek nakon višestrukog pomicanja. Agent koji ignorira ove prepreke pada već na drugoj stranici; onaj koji ih predvidi povezuje putovanje od deset ekrana bez ikakve intervencije.

Dva načina da stigneš do cilja

Kada znaš točnu adresu, ne traži od AI-a da je pronađe: pošalji preglednik tamo izravno.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

S druge strane, kada adresa ovisi o onome što je prikazano – treći proizvod na popisu sortiranim po cijeni, dinamički generirana poveznica “Pogledaj račun” – pusti model da pogleda i klikne.

# AI vidi snimku zaslona i odlučuje kliknuti na poveznicu
# To se događa automatski u petlji Computer Use

Ispravan pristup je kombinirati oboje u jednom tijeku rada: izravna navigacija za poznate prekretnice tvog putovanja i vizualna navigacija za sve što otkriješ usput. Time štediš skupe iteracije koje ne donose vrijednost.

U Europi gotovo svaka stranica prikazuje banner za pristanak pri prvom učitavanju. Dokle god je prisutan, on presreće klikove, a tvoj agent se vrti u krug ne shvaćajući zašto stranica ne reagira. Ne smišljaj popravke za svaku stranicu pojedinačno: ugradi to jednom zauvijek u upute agenta – parametar instructions Responses API-ja, koji djeluje kao sistemska poruka – s jasnom naredbom što odbiti.

INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
  refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
  otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""

# Proslijedi ovo SVAKOM zahtjevu u petlji: s previous_response_id,
# upute iz prethodnog odgovora se ne prenose.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Redoslijed prva dva pravila je bitan: agent prema zadanim postavkama odbija, a prihvaćanje ostaje odluka osobe koja dodjeljuje zadatak, a ne modela. Također, obrati pažnju na komentar u kodu: dokumentacija Responses API-ja navodi da se instructions iz jednog odgovora ne prenose na sljedeći kada se lančano povezuju putem previous_response_id. Petlja koja ih šalje samo u prvom krugu izgubit će ih u drugom.

Tri načina čekanja

Moderne stranice učitavaju sadržaj asinkrono, a tvoj agent bi mogao kliknuti tamo gdje gumb još nije stigao. Najpouzdanije rješenje ostaje Playwrightovo čekanje mreže, koje vraća kontrolu kada svi zahtjevi završe.

page.goto(url)
page.wait_for_load_state("networkidle")
# Svi mrežni zahtjevi su završeni

To nije svugdje dovoljno: u aplikaciji koja održava trajnu vezu – websocket, polling, live chat – mreža nikada nije mirna i čekanje će na kraju isteci. Prebaci se na jednostavno kašnjenje prije snimanja.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Pričekaj, zatim snimi zaslon."""
    time.sleep(wait_seconds)
    return page.screenshot()

Postoji i treći, često zanemaren put: povjeri prosudbu samom modelu. On vidi ikonu za učitavanje ili djelomično renderirani sadržaj i shvaća da je bolje zatražiti dodatnu snimku zaslona nego djelovati naslijepo.

task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading 
(spinner visible, partial content), 
wait for an additional screenshot before acting.
"""

Vođenje dugog putovanja

Tijekom niza od nekoliko stranica, zadatak formuliran u jednoj rečenici raspada se usput: agent zaboravi pola uputa do trećeg ekrana. Razbij ga na eksplicitne korake – zahvaljujući lančanju odgovora putem previous_response_id, model prati one koje je već izvršio i uvijek zna gdje se nalazi.

task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""

Kartice nisu pod upravom AI-a

Computer Use radi samo s jednim prikazom (viewport). Ako se poveznica otvori u novoj kartici, agent nastavlja fotografirati staru i ne shvaća zašto se ništa nije promijenilo – klasična situacija s poveznicama target="_blank", koje se nalaze na gotovo svakom news portalu. To popravi unaprijed u Playwrightu, tako da se model ne mora brinuti o tome.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Zadrži navigaciju u kartici koju agent fotografira."""
    # Na svakoj učitanoj stranici, klik na poveznicu target="_blank"
    # otvara je u trenutnoj kartici...
    context.add_init_script(REMOVE_BLANK)
    # ... a svaki prozor otvoren skriptom odmah se zatvara
    page.on("popup", lambda popup: popup.close())

Inicijalizacijska skripta pokreće se na svakoj stranici prije njezinih vlastitih skripti: slušatelj, postavljen tijekom faze hvatanja, uklanja atribut target prije nego što preglednik slijedi poveznicu. Događaj popup stranice pokriva ono što preostaje: prozore otvorene putem window.open.

Kvaliteta slike uvjetuje sve ostalo

Zamagljena ili orezana snimka zaslona proizvodi agenta koji klikće na pogrešan gumb, a ti ćeš provesti više vremena ispravljajući njegove pogreške nego popravljajući snimku. Snimi vidljivi prikaz (viewport), a ne cijelu stranicu: snimanje full_page proizvodi preveliku sliku, a što je gore, njezine koordinate više ne odgovaraju zaslonu na kojem page.mouse klikće.

import base64

def optimized_screenshot(page) -> str:
    """Snimi vidljivi prikaz kao PNG, u base64."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Samo vidljivi prikaz
    )
    return base64.b64encode(screenshot).decode("utf-8")

Na strani API-ja, OpenAI preporučuje slanje snimki s detail: "original", što čuva razlučivost i poboljšava preciznost klika, te savjetuje izbjegavanje high i low za Computer Use. Velika snimka troši više tokena, a API je može promijeniti veličinu ili čak odbiti ako premaši ograničenja. Ako moraš smanjiti svoje snimke, učini to prije slanja i pretvori koordinate modela u prostor izvorne slike; OpenAI izvještava o dobrim rezultatima s desktopima na 1440×900 i 1600×900. Viewport od 1280×720 koji se koristi u ovom tečaju ne treba smanjenje.

Ključne točke

  • Kombiniraj izravnu navigaciju (poznati URL-ovi) i vizualnu navigaciju (dinamičke poveznice) ovisno o kontekstu
  • Rukuj GDPR skočnim prozorima u instructions agenta, ponovno poslane sa svakim zahtjevom
  • Pričekaj potpuno učitavanje prije snimanja zaslona
  • Snimi vidljivi prikaz i pošalji ga s detail: "original"; ako mijenjaš veličinu slike, pretvori koordinate
  • Rukuj novim karticama u Playwrightu, a ne u AI-u