Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Procházení webu

Lekce 5 z 14 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Víc než jen jednoduché kliknutí
  2. Dva způsoby, jak se někam dostat
  3. Banner se soubory cookie: Překážka číslo jedna
  4. Tři způsoby čekání
  5. Vedení dlouhé cesty
  6. Záložky nejsou spravovány AI
  7. Kvalita obrazu určuje vše ostatní
  8. Klíčové poznatky

Lekce aktualizována 3. listopadu 2026 na základě příručky Computer use od OpenAI, jejích Receptů na integraci a reference k API Responses: pokyny musí být předávány prostřednictvím parametru instructions a odesílány s každým požadavkem, protože nejsou přenášeny pomocí previous_response_id; skript, který odstraňoval target="_blank", obsahoval chybu v syntaxi JavaScriptu a pokrýval pouze již přítomné odkazy; doporučení pro obrázky nyní následují pokyny OpenAI (detail: "original", změna velikosti s převodem souřadnic). Zdroje: Recepty na integraci · Computer use.

Víc než jen jednoduché kliknutí

Pro agenta není procházení webu jen otevřením URL adresy. Je to pohyb po skutečném webu plném přesměrování, stránek, jejichž vykreslení trvá čtyři sekundy, bannerů se souhlasem, které zakrývají vše, a obsahu, který se objeví až po několikerém posunutí. Agent, který tyto překážky ignoruje, selže už na druhé stránce; ten, který je předvídá, zvládne cestu přes deset obrazovek bez jakéhokoli zásahu.

Dva způsoby, jak se někam dostat

Když znáš přesnou adresu, nenechávej AI, aby ji hledala: pošli prohlížeč přímo tam.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Naopak, když adresa závisí na tom, co je zobrazeno – třetí produkt v seznamu seřazeném podle ceny, dynamicky generovaný odkaz „Zobrazit fakturu“ – nech model se podívat a kliknout.

# AI vidí snímek obrazovky a rozhodne se kliknout na odkaz
# K tomu dochází automaticky ve smyčce Computer Use

Správný přístup spočívá v kombinaci obou metod v jediném pracovním postupu: přímá navigace pro známé milníky tvé cesty a vizuální navigace pro vše, co objevíš cestou. Ušetříš si tak nákladné iterace, které nepřinášejí žádnou hodnotu.

V Evropě zobrazuje téměř každá stránka při prvním načtení banner se souhlasem. Dokud je přítomen, zachytává kliknutí a tvůj agent se točí v kruhu, aniž by chápal, proč stránka nereaguje. Nevymýšlej opravu pro každou stránku zvlášť: zakóduj ji jednou provždy do pokynů agenta – parametru instructions v API Responses, který funguje jako systémový prompt – s jasným příkazem, co odmítnout.

INSTRUCTIONS = """Jsi agent, který prochází web.
Pravidla:
- Pokud vidíš banner se soubory cookie nebo souhlasem,
  odmítni volitelné cookies nebo klikni na „Odmítnout“ / „Reject“
- Pokud je nabízeno pouze „Přijmout“, přijmi pouze tehdy, pokud to úkol umožňuje;
  jinak zastav činnost a nahlas to
- Neztrácej čas vyskakovacími okny: vyřiď je okamžitě
"""

# Předávej toto KAŽDÉMU požadavku ve smyčce: při použití previous_response_id
# se pokyny z předchozí odpovědi nepřenášejí.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Pořadí prvních dvou pravidel je zásadní: agent ve výchozím nastavení odmítá a přijetí zůstává rozhodnutím osoby, která úkol zadává, nikoli modelu. Všimni si také komentáře v kódu: dokumentace API Responses uvádí, že instructions z jedné odpovědi nejsou přeneseny do další při řetězení přes previous_response_id. Smyčka, která je odešle pouze v prvním kole, je ve druhém kole ztratí.

Tři způsoby čekání

Moderní stránky načítají obsah asynchronně a tvůj agent může kliknout tam, kde tlačítko ještě nedorazilo. Nejspolehlivějším řešením zůstává čekání na síť v Playwrightu, které vrátí řízení, jakmile jsou všechny požadavky dokončeny.

page.goto(url)
page.wait_for_load_state("networkidle")
# Všechny síťové požadavky jsou dokončeny

To však nestačí všude: v aplikaci, která udržuje trvalé připojení – websocket, polling, živý chat – síť nikdy není nečinná a čekání nakonec vyprší. V takovém případě se uchyl k jednoduchému zpoždění před pořízením snímku.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Počkej a poté pořiď snímek obrazovky."""
    time.sleep(wait_seconds)
    return page.screenshot()

Existuje třetí, často přehlížená cesta: svěř rozhodování samotnému modelu. Ten vidí indikátor načítání nebo částečně vykreslený obsah a pochopí, že je lepší požádat o další snímek obrazovky, než jednat naslepo.

task = """
Přejdi na https://example.com/dashboard.
Pokud se zdá, že se stránka stále načítá 
(viditelný indikátor načítání, částečný obsah), 
počkej na další snímek obrazovky, než začneš jednat.
"""

Vedení dlouhé cesty

Při sérii několika stránek se úkol formulovaný v jedné větě cestou rozpadne: agent do třetí obrazovky zapomene polovinu pokynů. Rozdělte jej na explicitní kroky – díky řetězení odpovědí přes previous_response_id si model pamatuje ty, které již dokončil, a vždy ví, kde se nachází.

task = """
Krok 1: Přejdi na https://shop.example.com
Krok 2: Vyhledej „mechanical keyboard“ ve vyhledávacím poli
Krok 3: Seřaď výsledky vzestupně podle ceny
Krok 4: Otevři první produkt
Krok 5: Zaznamenej cenu a dostupnost
"""

Záložky nejsou spravovány AI

Computer Use pracuje pouze s jedním zobrazením. Pokud se odkaz otevře v nové záložce, agent pokračuje ve fotografování té staré a nechápe, proč se nic nezměnilo – klasická situace u odkazů s target="_blank", které najdeš na téměř každém zpravodajském webu. Vyřeš to předem v Playwrightu, aby se model nemusel starat.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Udrž navigaci v záložce, kterou agent fotografuje."""
    # Na každé načtené stránce kliknutí na odkaz target="_blank"
    # otevře tento odkaz v aktuální záložce...
    context.add_init_script(REMOVE_BLANK)
    # ... a jakékoli okno otevřené skriptem je okamžitě zavřeno
    page.on("popup", lambda popup: popup.close())

Inicializační skript se spustí na každé stránce před jejími vlastními skripty: posluchač nastavený během fáze zachycení odstraní atribut target dříve, než prohlížeč odkaz následuje. Událost popup stránky pokrývá zbytek: okna otevřená pomocí window.open.

Kvalita obrazu určuje vše ostatní

Rozmazaný nebo oříznutý snímek obrazovky vytvoří agenta, který klikne na špatné tlačítko, a strávíš více času laděním jeho chyb než opravou samotného snímku. Zachyť viditelné zobrazení (viewport), nikoli celou stránku: zachycení full_page vytvoří příliš velký obrázek a co hůř, jeho souřadnice již neodpovídají obrazovce, kde page.mouse kliká.

import base64

def optimized_screenshot(page) -> str:
    """Pořiď viditelné zobrazení jako PNG v base64."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Pouze viditelné zobrazení
    )
    return base64.b64encode(screenshot).decode("utf-8")

Na straně API OpenAI doporučuje odesílat snímky s detail: "original", což zachovává rozlišení a zlepšuje přesnost kliknutí, a pro Computer Use nedoporučuje hodnoty high a low. Velký snímek spotřebuje více tokenů a API jej může změnit velikost, nebo dokonce odmítnout, pokud překročí limity. Pokud musíš své snímky zmenšit, udělej to před odesláním a převeď souřadnice modelu zpět do prostoru původního obrázku; OpenAI hlásí dobré výsledky u desktopů s rozlišením 1440×900 a 1600×900. Zobrazení 1280×720 používané v tomto kurzu nemusí být zmenšováno.

Klíčové poznatky

  • Kombinuj přímou navigaci (známé URL) a vizuální navigaci (dynamické odkazy) podle kontextu
  • Zpracuj vyskakovací okna GDPR v instructions agenta, které se odesílají s každým požadavkem
  • Před pořízením snímku obrazovky vyčkej na úplné načtení
  • Zachyť viditelné zobrazení a odešli jej s detail: "original"; pokud změníš velikost obrázku, převeď souřadnice
  • Zpracuj nové záložky v Playwrightu, nikoli v AI