Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Prehliadanie webu

Lekcia 5 z 14 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Viac než jednoduché kliknutie
  2. Dva spôsoby, ako sa niekam dostať
  3. Banner so súbormi cookie: prekážka číslo jedna
  4. Tri spôsoby čakania
  5. Navigácia dlhou cestou
  6. Záložky AI nespravuje
  7. Kvalita obrázka určuje všetko ostatné
  8. Kľúčové poznatky

Lekcia aktualizovaná 3. novembra 2026 na základe príručky Computer use od OpenAI, jej Receptov na integráciu a referencie API Responses: pokyny sa musia odovzdávať cez parameter instructions a posielať s každou požiadavkou, pretože sa neprenášajú prostredníctvom previous_response_id; skript, ktorý odstraňoval target="_blank", obsahoval chybu v syntaxi JavaScriptu a pokrýval iba už prítomné odkazy; odporúčania pre obrázky teraz nasledujú usmernenia OpenAI (detail: "original", zmena veľkosti s konverziou súradníc). Zdroje: Recepty na integráciu · Computer use.

Viac než jednoduché kliknutie

Pre agenta nie je prehliadanie len otvorením URL adresy. Je to navigácia v reálnom webe plnom presmerovaní, stránok, ktorých vykreslenie trvá štyri sekundy, bannerov so súhlasom, ktoré zakrývajú všetko, a obsahu, ktorý sa objaví až po viacnásobnom posúvaní. Agent, ktorý ignoruje tieto trenia, zlyhá už na druhej stránke; ten, ktorý ich predvída, prepojí desať obrazoviek do jednej cesty bez akéhokoľvek zásahu.

Dva spôsoby, ako sa niekam dostať

Keď poznáš presnú adresu, nepýtaj sa AI, aby ju našla: pošli prehliadač priamo tam.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Naopak, keď adresa závisí od toho, čo je zobrazené – tretí produkt v zozname zoradenom podľa ceny, dynamicky generovaný odkaz „Zobraziť faktúru“ – nechaj model pozrieť sa a kliknúť.

# AI vidí snímku obrazovky a rozhodne sa kliknúť na odkaz
# K tomu dochádza automaticky v slučke Computer Use

Správny prístup spočíva v kombinácii oboch metód v jednom pracovnom postupe: priama navigácia pre známe míľniky tvojej cesty a vizuálna navigácia pre všetko, čo objavíš cestou. Ušetríš tak nákladné iterácie, ktoré neprinášajú žiadnu hodnotu.

V Európe sa takmer na každej stránke pri prvom načítaní zobrazí banner so súhlasom. Pokiaľ je prítomný, zachytáva kliknutia a tvoj agent sa točí dookola bez toho, aby chápal, prečo stránka nereaguje. Nevymýšľaj opravu pre každú stránku zvlášť: zakóduj ju raz a navždy do pokynov agenta – parameter instructions v API Responses, ktorý funguje ako systémový prompt – s jasným príkazom, čo odmietnuť.

INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
  refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
  otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""

# Odovzdaj toto KAŽDEJ požiadavke v slučke: pri použití previous_response_id
# sa pokyny z predchádzajúcej odpovede neprenášajú ďalej.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Poradie prvých dvoch pravidiel je dôležité: agent predvolene odmieta a prijatie zostáva rozhodnutím osoby, ktorá zadáva úlohu, nie modelu. Všimni si aj komentár v kóde: dokumentácia API Responses uvádza, že instructions z jednej odpovede sa neprenášajú do ďalšej pri reťazení cez previous_response_id. Slučka, ktorá ich posiela len v prvom kole, ich v druhom stratí.

Tri spôsoby čakania

Moderné stránky načítavajú obsah asynchrónne a tvoj agent môže kliknúť tam, kde tlačidlo ešte nedorazilo. Najspoľahlivejšou opravou zostáva čakanie na sieť v Playwrighte, ktoré vráti kontrolu späť, keď sa skončia všetky požiadavky.

page.goto(url)
page.wait_for_load_state("networkidle")
# Všetky sieťové požiadavky sú dokončené

Toto však všade nestačí: v aplikácii, ktorá udržiava trvalé pripojenie – websocket, polling, live chat – sieť nikdy nie je nečinná a čakanie nakoniec vyprší. V takom prípade sa uchýľ k jednoduchému oneskoreniu pred zachytením snímky.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Počkaj a potom zachyť snímku obrazovky."""
    time.sleep(wait_seconds)
    return page.screenshot()

Existuje aj tretia, často prehliadaná cesta: zver rozhodovanie samotnému modelu. Ten vidí indikátor načítania alebo čiastočne vykreslený obsah a pochopí, že je lepšie požiadať o ďalšiu snímku obrazovky, než konať naslepo.

task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading 
(spinner visible, partial content), 
wait for an additional screenshot before acting.
"""

Pri sekvencii niekoľkých stránok sa úloha formulovaná v jednej vete cestou rozpadne: agent do tretej obrazovky zabudne polovicu pokynov. Rozdeľ ju na explicitné kroky – vďaka reťazeniu odpovedí cez previous_response_id si model pamätá tie, ktoré už dokončil, a vždy vie, kde sa nachádza.

task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""

Záložky AI nespravuje

Computer Use funguje iba na jednom viewporte. Ak sa odkaz otvorí v novej záložke, agent pokračuje vo fotení tej starej a nechápe, prečo sa nič nezmenilo – klasická situácia pri odkazoch s target="_blank", ktoré nájdeš takmer na každom spravodajskom webe. Oprav to upstream v Playwrighte, aby sa model nemusel týmto zaoberať.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Udrž navigáciu v záložke, ktorú agent fotografuje."""
    # Na každej načítanej stránke kliknutie na odkaz target="_blank"
    # otvorí tento odkaz v aktuálnej záložke...
    context.add_init_script(REMOVE_BLANK)
    # ... a akékoľvek okno otvorené skriptom sa okamžite zavrie
    page.on("popup", lambda popup: popup.close())

Inicializačný skript sa spustí na každej stránke pred jej vlastnými skriptmi: listener, nastavený počas fázy zachytávania, odstráni atribút target skôr, než prehliadač nasleduje odkaz. Udalosť popup stránky pokrýva zvyšok: okná otvorené príkazom window.open.

Kvalita obrázka určuje všetko ostatné

Rozmazaná alebo orezaná snímka obrazovky vytvorí agenta, ktorý kliká na zlé tlačidlá, a ty stráviš viac času ladením jeho chýb než opravou snímky. Zachyť viditeľný viewport, nie celú stránku: zachytenie full_page vytvorí príliš veľký obrázok a čo je horšie, jeho súradnice už nezodpovedajú obrazovke, kde page.mouse kliká.

import base64

def optimized_screenshot(page) -> str:
    """Zachyť viditeľný viewport ako PNG v base64."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Iba viditeľný viewport
    )
    return base64.b64encode(screenshot).decode("utf-8")

Na strane API OpenAI odporúča odosielať snímky s nastavením detail: "original", čo zachováva rozlíšenie a zlepšuje presnosť kliknutí, a neodporúča hodnoty high a low pre Computer Use. Veľká snímka spotrebuje viac tokenov a API ju môže zmenšiť, alebo ju dokonca odmietnuť, ak prekročí limity. Ak musíš svoje snímky zmenšiť, urob to pred odoslaním a preveď súradnice modelu späť do priestoru pôvodného obrázka; OpenAI hlási dobré výsledky pri desktopoch s rozlíšením 1440×900 a 1600×900. Viewport 1280×720 používaný v tomto kurze nemusíš zmenšovať.

Kľúčové poznatky

  • Kombinuj priamu navigáciu (známe URL) a vizuálnu navigáciu (dynamické odkazy) podľa kontextu
  • Spravuj vyskakovacie okná GDPR v instructions agenta, ktoré sa odosielajú s každou požiadavkou
  • Počkaj na úplné načítanie pred zachytením snímky obrazovky
  • Zachyť viditeľný viewport a odošli ho s detail: "original"; ak zmeníš veľkosť obrázka, preveď súradnice
  • Spravuj nové záložky v Playwrighte, nie v AI