Esimene töövoog: navigeerimine ja suhtlemine
Sellel lehel
Õppetund kirjutati ümber 3. novembril 2026, tuginedes OpenAI Computer use juhendile ja Computer use integration recipes-ile: agent kasutab Responses API tööriista
computer, tegevuste käitlejat, mis on modelleeritud dokumentatsiooni järgi (gruppeeritud tegevused,keypress,scroll_x/scroll_y,dragrajad), ja aheldamistprevious_response_idkaudu, asendades Anthropicu API jaoks kirjutatud koodi. Allikad: Computer use · Integration recipes.
Tükkide kokkupanek
Sul on tsükkel mõttes ja keskkond seadistatud. Nüüd tuleb need kokku viia toimivaks programmiks: agent, mis avab veebientsüklopeedia, otsib termini, avab esimese tulemuse ja teatab tagasi lehe pealkirja, millele ta jõudis. Stsenaarium tundub tagasihoidlik, kuid see haarab põhilisi žeste – navigeerimine, trükkimine, klõpsamine, info lugemine – ja kõik, mida edaspidi ehidad, on lihtalt selle pikem variatsioon.
Tegevuste käitleja
Mudel otsustab, kuid ei täida ise midagi: see tagastab tegevuste loendi ja sinu kood tõlgib need järjest Playwrighti žestideks. See funktsioon järgib OpenAI poolt oma integratsiooniretseptides avaldatud käitlejat, lihtsustatuna brauseri jaoks.
import time
KEYS = {
"ENTER": "Enter", "RETURN": "Enter", "ESC": "Escape", "ESCAPE": "Escape",
"TAB": "Tab", "SPACE": "Space", "BACKSPACE": "Backspace", "DELETE": "Delete",
"UP": "ArrowUp", "DOWN": "ArrowDown", "LEFT": "ArrowLeft", "RIGHT": "ArrowRight",
"CTRL": "Control", "CONTROL": "Control", "SHIFT": "Shift", "ALT": "Alt",
"CMD": "Meta", "META": "Meta",
}
BUTTONS = {"left": "left", "right": "right", "wheel": "middle"}
def execute_actions(page, actions):
"""Executes the actions from a computer_call in order."""
for action in actions:
if action.type in ("click", "double_click", "drag", "move", "scroll") and getattr(action, "keys", None):
raise ValueError("Mouse action with modifier key: not handled here")
match action.type:
case "click":
button = getattr(action, "button", "left")
if button not in BUTTONS: # back and forward don't exist in Playwright
raise ValueError(f"Unsupported button: {button}")
page.mouse.click(action.x, action.y, button=BUTTONS[button])
case "double_click":
page.mouse.dblclick(action.x, action.y)
case "drag":
points = [(p.x, p.y) for p in action.path]
page.mouse.move(*points[0])
page.mouse.down()
for x, y in points[1:]:
page.mouse.move(x, y)
page.mouse.up()
case "move":
page.mouse.move(action.x, action.y)
case "scroll":
page.mouse.move(action.x, action.y)
page.mouse.wheel(action.scroll_x, action.scroll_y)
case "keypress":
page.keyboard.press("+".join(KEYS.get(k, k) for k in action.keys))
case "type":
page.keyboard.type(action.text)
case "wait":
time.sleep(2)
case "screenshot":
continue # screenshot is taken after each batch of actions
case _:
raise ValueError(f"Unsupported action: {action.type}")
Kaks valikut väärivad selgitust. Mudeli tagastatud klahvi ja nupu nimed (ENTER, CTRL, wheel…) ei ole need, mida Playwright ootab (Enter, Control, middle…): kaardistamistabelid, mis on võetud dokumentatsioonist, ületavad selle lõhe, ning nupud back ja forward, mida API samuti küsida võib, lükatakse tagasi nagu OpenAI käitlejas. Tundmatu tegevus tõstab vea, selle asemel et seda vaikselt ignoreerida: kõva peatus on parem kui agent, mis arvab end tegutsenud olevat, kuigi ta seda ei teinud.
Täielik tsükkel
Seejärel orkestreerib agent tsükli. Esimene väljakutse saadab ülesande; kui see sisaldab ainult ekraanipildi taotlust, tagastad lihtsalt ekraani. Iga ekraanipilt naaseb mudelile selle väljakutse tulemusena, mis seda taotles, viidates oma call_id-le, ja previous_response_id seob pöörded omavahel.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
client = OpenAI()
MODEL = "gpt-6.1-sol"
MAX_TURNS = 15
def launch_agent(task: str, start_url: str = "https://en.wikipedia.org"):
"""Launches a Computer Use agent on a given task."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=False) # False to observe
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto(start_url)
page.wait_for_load_state("networkidle")
try:
response = client.responses.create(
model=MODEL, tools=[{"type": "computer"}], input=task,
)
for turn in range(MAX_TURNS):
call = next((i for i in response.output if i.type == "computer_call"), None)
if call is None:
print(f"Task complete: {response.output_text}")
return response.output_text
if call.pending_safety_checks: # see lesson 12
raise RuntimeError("Pending safety checks: human intervention required")
for action in call.actions:
print(f" Action: {action.type}")
execute_actions(page, call.actions)
screenshot = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model=MODEL,
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
raise RuntimeError("Maximum number of turns reached: check the page state")
finally:
browser.close()
pw.stop()
Kolm kaitsemehhanismi on juba paigas. MAX_TURNS piiritleb tsükli: ilma selle piiranguta tarbiks eksinud agent sinu eelarvet kuni ammendumiseni. Väljakutse, millel on ootel ohutuskontrollid (pending_safety_checks), peatab kõik, nagu OpenAI ametlikus näites: 12. õppetund näitab, kuidas need inimese poolt valideerida lasta. Normaalne lõpetamine annab märku computer_call puudumisega: mudel on tegutsemise lõpetanud ja vastab sulle ning sa saad lehe pealkirja kätte output_text-ist.
Töövoo käivitamine
if __name__ == "__main__":
launch_agent(
"Search for 'Computer Use' in Wikipedia's search engine, "
"open the first result, and give me the title of the page. "
"Use the computer tool to act on the interface."
)
Sättega headless=False on etendus õpetlik: aken avaneb, klõps maandub otsinguväljale, tekst ilmub, esimene link avaneb ja pealkiri jõuab sinu konsooli. Vaata, kuidas see jookseb kaks või kolm korda enne ambitsioonikamate ülesannete juurde liikumist; näed täpselt, kus agent kõhkleb ja mida sinu juhised peaksid käsitlema.
Korduvkasutatav funktsioon ülejäänud kursuse jaoks
Järgmised tunnid töötavad juba avatud lehel – pärast sisselogimist, töövoogu keskel. Need tuginevad funktsioonile run_agent(task, page=page): sama tsükkel, eraldatud launch_agent-ist, koos valikuliste instructions-ega, mis tagastatakse igal pöördel (5. õppetund selgitab, miks).
def run_agent(task: str, page, instructions: str | None = None, max_turns: int = MAX_TURNS) -> str:
"""Computer Use loop on an already-open page; returns the final message."""
request = {"model": MODEL, "tools": [{"type": "computer"}]}
if instructions:
request["instructions"] = instructions # to be returned on each request
response = client.responses.create(**request, input=task)
for turn in range(max_turns):
call = next((i for i in response.output if i.type == "computer_call"), None)
if call is None:
return response.output_text
if call.pending_safety_checks:
raise RuntimeError("Pending safety checks: human intervention required")
execute_actions(page, call.actions)
screenshot = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
**request,
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
raise RuntimeError("Maximum number of turns reached: check the page state")
Kolm ebaõnnestumist, millega kohtud
Kas agent klõpsab süstemaatiliselt oma sihtmärgist mööda? Süüdlane on peaaegu alati skaala lahknevus saadetud ekraanipildi ja lehe vahel, millel klõpsad: muudetud suurusega ekraanipilt, brauseri suum, suure tihedusega ekraan. Mudeli koordinaadid viitavad pildile, mille ta sai; kui sa seda vähendad, teisenda selle koordinaadid vastupidises suunas.
Kas agent käib ringe ja kordab sama žesti? Pöörete piirang peatab ta lõpuks, kuid parem on tsükkel varem avastada: kui sama ekraanipilt naaseb mitu korda järjest, ei tee agent edu ja selle katkestamine säästab sind tarbetutest väljakutsetest.
Kas agent tegutseb lehel, mis on veel tühi? Raske saidi puhul tagastab page.goto() enne renderdamise lõppu ja esimene ekraanipilt näitab ainult valget tausta. Oota võrgutegevuse vaibumist enne pildi tegemist:
page.goto(url)
page.wait_for_load_state("networkidle")
Peamised punktid
- Computer Use agent ühendab tegevuste käitleja, juhtimistsükli ja vastuste aheldamise
- Esimene väljakutse saadab ülesande; iga ekraanipilt naaseb
computer_call_output-is samacall_id-ga - Käitleja täidab tegevused järjest ja lükkab tagasi selle, mida ta teha ei oska
- Piira alati pöörete arvu, peatu
pending_safety_checkskorral ja kasuta arenduse ajalheadless=False run_agent(task, page=page)kasutab seda tsüklit juba avatud lehe jaoks; seda kasutavad järgmised tunnid