Navegação na Web
Nesta página
Lição atualizada a 3 de novembro de 2026 com base no guia Computer use da OpenAI, nas suas Integration recipes e na referência da API Responses: as instruções devem ser passadas através do parâmetro
instructionse reenviadas em cada pedido, uma vez que não são mantidas peloprevious_response_id; o script que removiatarget="_blank"continha um erro de sintaxe JavaScript e apenas cobria links já presentes; as recomendações de imagem seguem agora as diretrizes da OpenAI (detail: "original", redimensionamento com conversão de coordenadas). Fontes: Integration recipes · Computer use.
Para Além do Clique Simples
Para um agente, navegar na web não é apenas abrir um URL. É navegar numa web real, cheia de redirecionamentos, páginas que demoram quatro segundos a renderizar, banners de consentimento que cobrem tudo e conteúdo que só aparece após múltiplas rolagens. Um agente que ignora estas fricções falha na segunda página; um que as antecipa encadeia uma jornada de dez ecrãs sem qualquer intervenção.
Duas Formas de Chegar a Algum Lado
Quando conhece o endereço exato, não peça à IA para o encontrar: envie o navegador diretamente para lá.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Por outro lado, quando o endereço depende do que está exibido — o terceiro produto numa lista ordenada por preço, um link “Ver Fatura” gerado dinamicamente — deixe o modelo observar e clicar.
# A IA vê a captura de ecrã e decide clicar num link
# Isto acontece automaticamente no loop do Computer Use
A abordagem correta é combinar ambas num único fluxo de trabalho: navegação direta para marcos conhecidos na sua jornada e navegação visual para qualquer coisa descoberta pelo caminho. Isto poupa-lhe iterações dispendiosas que não acrescentam valor.
O Banner de Cookies: O Primeiro Obstáculo
Na Europa, quase todos os sites exibem um banner de consentimento no primeiro carregamento. Enquanto estiver presente, ele captura cliques e o seu agente gira em falso sem perceber porque é que a página não reage. Não improvise uma correção site a site: integre-a de uma vez por todas nas instruções do agente — o parâmetro instructions da API Responses, que atua como prompt do sistema — com uma diretiva clara sobre o que recusar.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Passe isto para TODOS os pedidos no loop: com previous_response_id,
# as instruções da resposta anterior não são mantidas.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
A ordem das duas primeiras regras importa: o agente recusa por predefinição, e aceitar permanece uma decisão da pessoa que atribui a tarefa, não do modelo. Note também o comentário no código: a documentação da API Responses afirma que as instructions de uma resposta não são transmitidas para a seguinte ao encadear via previous_response_id. Um loop que as envia apenas na primeira volta perdê-las-á na segunda.
Três Formas de Esperar
As páginas modernas carregam conteúdo de forma assíncrona e o seu agente pode clicar onde um botão ainda não chegou. A correção mais fiável continua a ser a espera de rede do Playwright, que devolve o controlo assim que todos os pedidos terminam.
page.goto(url)
page.wait_for_load_state("networkidle")
# Todos os pedidos de rede estão completos
Isto não é suficiente em toda a parte: numa aplicação que mantém uma ligação persistente — websocket, polling, chat ao vivo — a rede nunca fica inativa e a espera acaba por expirar. Recorra a um simples atraso antes de capturar.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Espera e, em seguida, captura uma imagem do ecrã."""
time.sleep(wait_seconds)
return page.screenshot()
Existe uma terceira via, muitas vezes negligenciada: confiar o julgamento ao próprio modelo. Ele vê o indicador de carregamento ou o conteúdo parcialmente renderizado e compreende que é melhor solicitar uma captura de ecrã adicional do que agir cegamente.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Guiar uma Longa Jornada
Ao longo de uma sequência de várias páginas, uma tarefa formulada numa única frase desmorona-se pelo caminho: o agente esquece metade das instruções no terceiro ecrã. Divida-a em passos explícitos — graças ao encadeamento de respostas via previous_response_id, o modelo mantém o registo dos que já concluiu e sabe sempre onde está.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Os Separadores Não São Geridos pela IA
O Computer Use funciona apenas num único viewport. Se um link abrir num novo separador, o agente continua a fotografar o antigo e não percebe porque é que nada mudou — uma situação clássica com links target="_blank", encontrados em quase todos os sites de notícias. Corrija isto a montante no Playwright, para que o modelo não tenha de se preocupar com isso.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Mantém a navegação no separador que o agente fotografa."""
# Em cada página carregada, um clique num link target="_blank"
# abre-o no separador atual...
context.add_init_script(REMOVE_BLANK)
# ... e qualquer janela aberta por script é fechada imediatamente
page.on("popup", lambda popup: popup.close())
O script de inicialização é executado em cada página antes dos seus próprios scripts: o listener, definido durante a fase de captura, remove o atributo target antes de o navegador seguir o link. O evento popup da página cobre o que resta: janelas abertas por window.open.
A Qualidade da Imagem Condiciona Todo o Resto
Uma captura de ecrã desfocada ou cortada produz um agente que clica no botão errado, e você passará mais tempo a depurar os seus erros do que a corrigir a captura. Capture o viewport visível em vez da página completa: uma captura full_page produz uma imagem de tamanho excessivo e, pior, as suas coordenadas já não correspondem ao ecrã onde o page.mouse clica.
import base64
def optimized_screenshot(page) -> str:
"""Captura o viewport visível como PNG, em base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Apenas o viewport visível
)
return base64.b64encode(screenshot).decode("utf-8")
Do lado da API, a OpenAI recomenda enviar capturas com detail: "original", o que preserva a resolução e melhora a precisão do clique, e desaconselha high e low para o Computer Use. Uma captura grande consome mais tokens e a API pode redimensioná-la, ou mesmo rejeitá-la se exceder os limites. Se precisar de reduzir as suas capturas, faça-o antes de enviar e converta as coordenadas do modelo para o espaço da imagem original; a OpenAI reporta bons resultados com ambientes de trabalho a 1440×900 e 1600×900. O viewport de 1280×720 utilizado neste curso não necessita de redução.
Pontos-chave
- Combine navegação direta (URLs conhecidos) e navegação visual (links dinâmicos) com base no contexto
- Trate os popups de GDPR nas
instructionsdo agente, reenviadas em cada pedido - Aguarde o carregamento completo antes de capturar uma imagem do ecrã
- Capture o viewport visível e envie-o com
detail: "original"; se redimensionar a imagem, converta as coordenadas - Trate os novos separadores no Playwright, não na IA