Webbläsning
På denna sida
Lektionen uppdaterad 3 november 2026 baserat på OpenAIs guide Computer use, dess Integration recipes och referensen för Responses API: instruktioner måste skickas via parametern
instructionsoch återsändas med varje begäran, eftersom de inte förs över avprevious_response_id; skriptet som tog borttarget="_blank"innehöll ett JavaScript-syntaxfel och täckte bara länkar som redan fanns; bildrekommendationer följer nu OpenAIs riktlinjer (detail: "original", storleksändring med koordinatkonvertering). Källor: Integration recipes · Computer use.
Mer än ett enkelt klick
För en agent handlar webbläsning inte bara om att öppna en URL. Det handlar om att navigera i ett riktigt webbfyllt av omdirigeringar, sidor som tar fyra sekunder att rendera, samtyckesbanner som täcker allt och innehåll som bara dyker upp efter flera scrollningar. En agent som ignorerar dessa friktioner misslyckas redan på andra sidan; en som förutser dem kedjar ihop en resa på tio skärmar utan någon inblandning.
Två sätt att komma fram
När du känner den exakta adressen ska du inte be AI:n hitta den: skicka webbläsaren dit direkt.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Omvänt, när adressen beror på vad som visas – den tredje produkten i en prissorterad lista, en dynamiskt genererad länk “Visa faktura” – låt modellen titta och klicka.
# AI:n ser skärmdumpen och bestämmer sig för att klicka på en länk
# Detta sker automatiskt i Computer Use-loopen
Rätt approach är att kombinera båda i ett enda arbetsflöde: direkt navigering för kända milstolpar i din resa, och visuell navigering för allt som upptäcks längs vägen. Det sparar dig dyra iterationer där de inte tillför något värde.
Kakbanner: hinder nummer ett
I Europa visar nästan varje webbplats en samtyckesbanner vid första inläsningen. Så länge den finns kvar fångar den upp klick, och din agent snurrar på tomgång utan att förstå varför sidan inte reagerar. Improvisera inte en lösning sida för sida: baka in den en gång för alla i agentens instruktioner – parametern instructions i Responses API, som fungerar som systemprompt – med en tydlig direktiv om vad som ska vägras.
INSTRUCTIONS = """Du är en agent som surfar på webben.
Regler:
- Om du ser en kak- eller samtyckesbanner,
vägra valfria kakor eller klicka på "Refuser" / "Reject"
- Om bara "Accept" erbjuds, acceptera endast om uppgiften tillåter det;
annars, stanna och rapportera det
- Slösa inte tid på popups: hantera dem omedelbart
"""
# Skicka detta till VARJE begäran i loopen: med previous_response_id
# förs instruktioner från föregående svar inte över.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Ordningen på de två första reglerna är viktig: agenten vägrar som standard, och att acceptera förblir ett beslut för personen som tilldelar uppgiften, inte modellen. Notera också kodkommentaren: dokumentationen för Responses API anger att instructions från ett svar inte förs över till nästa vid kedjning via previous_response_id. En loop som bara skickar dem vid första varvet tappar bort dem vid den andra.
Tre sätt att vänta
Moderna sidor laddar innehåll asynkront, och din agent kan klicka där en knapp ännu inte har dykt upp. Den mest pålitliga lösningen förblir Playwrights nätverksväntan, som återlämnar kontrollen när alla förfrågningar är avslutade.
page.goto(url)
page.wait_for_load_state("networkidle")
# Alla nätverksförfrågningar är slutförda
Detta räcker inte överallt: i en app som upprätthåller en persistent anslutning – websocket, polling, live-chatt – är nätverket aldrig inaktivt, och väntan time-out till slut. Fallbacka till en enkel fördröjning innan du fångar skärmen.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Vänta, ta sedan en skärmdump."""
time.sleep(wait_seconds)
return page.screenshot()
Det finns en tredje, ofta förbisedd väg: anförtro omdömet till modellen själv. Den ser snurraren eller halvfärdigt innehåll och förstår att det är bättre att begära en ytterligare skärmdump än att agera blindt.
task = """
Navigera till https://example.com/dashboard.
Om sidan fortfarande verkar ladda
(snurrare synlig, delvis innehåll),
vänta på en ytterligare skärmdump innan du agerar.
"""
Att guida en lång resa
Över en sekvens av flera sidor faller en uppgift formulerad i en enda mening sönder längs vägen: agenten glömmer hälften av instruktionerna vid tredje skärmen. Bryt ner den i explicita steg – tack vare svarskedjning via previous_response_id håller modellen koll på de steg den redan har slutfört och vet alltid var den står.
task = """
Steg 1: Gå till https://shop.example.com
Steg 2: Sök efter "mechanical keyboard" i sökfältet
Steg 3: Sortera resultaten efter stigande pris
Steg 4: Öppna den första produkten
Steg 5: Notera pris och tillgänglighet
"""
Flikar hanteras inte av AI:n
Computer Use fungerar bara på en vyport. Om en länk öppnas i en ny flik fortsätter agenten att fotografera den gamla och förstår inte varför inget har hänt – en klassisk situation med target="_blank"-länkar, som finns på nästan varje nyhetssajt. Fixa detta uppströms i Playwright, så att modellen inte behöver bekymra sig om det.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Håll navigeringen i fliken som agenten fotograferar."""
# Vid varje laddad sida öppnar ett klick på en target="_blank"-länk
# den i den aktuella fliken...
context.add_init_script(REMOVE_BLANK)
# ... och alla fönster som öppnas av skript stängs omedelbart
page.on("popup", lambda popup: popup.close())
Initieringsskriptet körs i varje sida innan dess egna skript: lyssnaren, inställd under fångstfasen, tar bort attributet target innan webbläsaren följer länken. Sidans händelse popup täcker det som återstår: fönster som öppnas av window.open.
Bildkvalitet avgör allt annat
En suddig eller beskuren skärmdump producerar en agent som klickar på fel knapp, och du kommer att spendera mer tid på att felsöka dess fel än att fixa skärmdumpen. Fånga den synliga vyporten snarare än hela sidan: en fångst med full_page producerar en överdimensionerad bild, och värre än så, dess koordinater matchar inte längre skärmen där page.mouse klickar.
import base64
def optimized_screenshot(page) -> str:
"""Fånga synlig vyport som PNG, i base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Endast den synliga vyporten
)
return base64.b64encode(screenshot).decode("utf-8")
På API-sidan rekommenderar OpenAI att skicka fångster med detail: "original", vilket bevarar upplösningen och förbättrar klickprecisionen, och avråder från high och low för Computer Use. En stor fångst konsumerar fler tokens, och API:t kan storleksändra den, eller till och med neka den om den överskrider gränser. Om du måste reducera dina fångster, gör det innan sändning och konvertera modellens koordinater till det ursprungliga bildutrymmet; OpenAI rapporterar goda resultat med skrivbord vid 1440×900 och 1600×900. Vyporten 1280×720 som används i denna kurs behöver inte reduceras.
Viktiga punkter
- Kombinera direkt navigering (kända URL:er) och visuell navigering (dynamiska länkar) baserat på kontext
- Hantera GDPR-popups i agentens
instructions, återsända med varje begäran - Vänta på fullständig laddning innan du fångar en skärmdump
- Fånga den synliga vyporten och skicka den med
detail: "original"; om du storleksändrar bilden, konvertera koordinaterna - Hantera nya flikar i Playwright, inte i AI:n