Webbrowsing
På denne side
Lektionen opdateret 3. november 2026 baseret på OpenAIs guide til Computer use, deres Integration recipes og referencen til Responses API: Instruktioner skal sendes via parameteren
instructionsog medsendes ved hver anmodning, da de ikke videreføres afprevious_response_id; scriptet, der fjernedetarget="_blank", indeholdt en JavaScript-syntaksfejl og dækkede kun links, der allerede var til stede; anbefalinger til billeder følger nu OpenAIs retningslinjer (detail: "original", ændring af størrelse med koordinatkonvertering). Kilder: Integration recipes · Computer use.
Mere end bare et klik
For en agent er browsing ikke blot at åbne en URL. Det handler om at navigere i et ægte web fyldt med omdirigeringer, sider der tager fire sekunder om at rende, samtykke-bannere der dækker det hele, og indhold der først dukker op efter flere scroll. En agent, der ignorerer disse friktioner, fejler allerede på anden side; en der forudser dem, kæder en rejse på ti skærme sammen uden nogen indgriben.
To måder at komme frem på
Når du kender den præcise adresse, skal du ikke bede AI’en om at finde den: Send browseren derhen direkte.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Omvendt, når adressen afhænger af det viste indhold – det tredje produkt i en prissorteret liste, et dynamisk genereret “Se faktura”-link – så lad modellen se og klikke.
# AI'en ser skærmbilledet og beslutter at klikke på et link
# Dette sker automatisk i Computer Use-løkken
Den rigtige tilgang er at kombinere begge dele i ét workflow: Direkte navigation til kendte milepæle på din rejse og visuel navigation til alt, der opdages undervejs. Det sparer dig for dyre iterationer, hvor de ikke tilfører værdi.
Cookie-banneret: Hindring nummer ét
I Europa viser næsten enhver side et samtykke-banner ved første indlæsning. Så længe det er til stede, opfanger det klik, og din agent spinner rundt uden at forstå, hvorfor siden ikke reagerer. Opfind ikke en løsning for hver enkelt side: Bag det én gang for alle ind i agentens instruktioner – parameteren instructions i Responses API, der fungerer som system-prompt – med en klar direktiv om, hvad der skal afvises.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Send dette med i HVER anmodning i løkken: Med previous_response_id
# videreføres instruktioner fra det tidligere svar ikke.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Rækkefølgen af de to første regler betyder noget: Agenten afviser som standard, og accept forbliver en beslutning for den person, der tildeler opgaven, ikke modellen. Bemærk også kodekommentaren: Dokumentationen til Responses API fastslår, at instructions fra ét svar ikke videreføres til det næste, når der kædes via previous_response_id. En løkke, der kun sender dem i første omgang, mister dem i anden.
Tre måder at vente på
Moderne sider indlæser indhold asynkront, og din agent kan klikke, hvor en knap endnu ikke er dukket op. Den mest pålidelige løsning forbliver Playwrights netværksvent, der returnerer kontrollen, når alle anmodninger er afsluttet.
page.goto(url)
page.wait_for_load_state("networkidle")
# Alle netværksanmodninger er fuldført
Dette er ikke nok overalt: På en app, der opretholder en vedvarende forbindelse – websocket, polling, live chat – er netværket aldrig inaktivt, og ventetiden udløber til sidst. Fald tilbage på en simpel forsinkelse før optagelse.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Vent, og tag derefter et skærmbillede."""
time.sleep(wait_seconds)
return page.screenshot()
Der er en tredje, ofte overset vej: Overlad dømmekraften til selve modellen. Den ser spinneren eller det delvist rendrede indhold og forstår, at det er bedre at anmode om et yderligere skærmbillede end at handle blindt.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Guiding en lang rejse
Over en sekvens på flere sider falder en opgave formuleret i én enkelt sætning fra hinanden undervejs: Agenten glemmer halvdelen af instruktionerne ved tredje skærm. Opdel den i eksplicitte trin – takket være svar-kædning via previous_response_id holder modellen styr på dem, den allerede har fuldført, og ved altid, hvor den står.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Faneblade håndteres ikke af AI’en
Computer Use fungerer kun på ét visningsområde. Hvis et link åbner i en ny fane, fortsætter agenten med at fotografere den gamle og forstår ikke, hvorfor intet har ændret sig – en klassisk situation med target="_blank"-links, som findes på næsten enhver nyhedsside. Løs dette upstream i Playwright, så modellen ikke behøver at bekymre sig om det.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Hold navigationen i den fane, agenten fotograferer."""
# På hver indlæst side vil et klik på et target="_blank"-link
# åbne det i den aktuelle fane...
context.add_init_script(REMOVE_BLANK)
# ... og ethvert vindue åbnet af script lukkes øjeblikkeligt
page.on("popup", lambda popup: popup.close())
Initialiseringsscriptet kører på hver side før dens egne scripts: Lytteren, sat under capture-fasen, fjerner target-attributten, før browseren følger linket. Sidens popup-begivenhed dækker det, der er tilbage: Vinduer åbnet af window.open.
Billedkvalitet betinger alt andet
Et sløret eller beskåret skærmbillede producerer en agent, der klikker på den forkerte knap, og du vil bruge mere tid på at fejlfinde dens fejl end på at rette skærmbilledet. Optag det synlige visningsområde frem for hele siden: En full_page-optagelse producerer et overdimensioneret billede, og værre endnu, dets koordinater matcher ikke længere skærmen, hvor page.mouse klikker.
import base64
def optimized_screenshot(page) -> str:
"""Optag synligt visningsområde som PNG, i base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Kun det synlige visningsområde
)
return base64.b64encode(screenshot).decode("utf-8")
På API-siden anbefaler OpenAI at sende optagelser med detail: "original", hvilket bevarer opløsningen og forbedrer klikpræcisionen, og fraråder high og low til Computer Use. En stor optagelse bruger flere tokens, og API’en kan ændre størrelsen på den eller endda afvise den, hvis den overskrider grænser. Hvis du skal reducere dine optagelser, så gør det før afsendelse og konverter modellens koordinater tilbage til det originale billedrum; OpenAI rapporterer gode resultater med desktops på 1440×900 og 1600×900. Det 1280×720 visningsområde, der bruges i dette kursus, behøver ikke reduktion.
Vigtige pointer
- Kombinér direkte navigation (kendte URL’er) og visuel navigation (dynamiske links) baseret på kontekst
- Håndtér GDPR-popups i agentens
instructions, som sendes med ved hver anmodning - Vent på fuld indlæsning, før du optager et skærmbillede
- Optag det synlige visningsområde og send det med
detail: "original"; hvis du ændrer billedstørrelsen, skal du konvertere koordinaterne - Håndtér nye faner i Playwright, ikke i AI’en