An chéad shreabhad oibre: nascleanúint agus idirghníomhú
Ar an leathanach seo
An ceacht athscríofa an 3 Samhain, 2026 bunaithe ar threoir Computer use ó OpenAI agus ar Computer use integration recipes: úsáideann an gníomhaire an uirlis
computerón Responses API, láimhseálaí gníomhaíochta samhaltaithe ar an doiciméadú (gníomhaíochtaí grúpáilte,keypress,scroll_x/scroll_y, conairídrag), agus slabhrú tríprevious_response_id, ag cur in ionad cóid a scríobhadh d’API Anthropic. Foinse: Computer use · Integration recipes.
Na píosaí a chur le chéile
Tá an lúb agat ina cheann agus an timpeallacht cumraithe. Anois, ní mór duit iad a thabhairt le chéile i gclár atá ag obair: gníomhaire a osclaíonn ciclipéid ar líne, a chuardaigh téarma, a osclaíonn an chéad toradh, agus a thugann ar ais teideal an leathanaigh ar shroich sé é. Is cosúil go bhfuil an cás simplí, ach baineann sé úsáid as na gothaí bunúsacha—nascleanúint, clóscríobh, cliceáil, léamh faisnéise—agus is éard atá i ngach rud a thógfaidh tú amach anseo ach leagan níos faide den rud céanna.
An láimhseálaí gníomhaíochta
Déanann an tsamhail an cinneadh, ach ní dhéanann sí aon rud a fhorghníomhú léi féin: filleann sí liosta gníomhaíochtaí, agus aistríonn do chód iad go gothaí Playwright, in ord. Leanann an fheidhm seo an láimhseálaí a d’fhoilsigh OpenAI ina chuid oidis chomhtháthaithe, simplithe do bhrabhsálaí.
import time
KEYS = {
"ENTER": "Enter", "RETURN": "Enter", "ESC": "Escape", "ESCAPE": "Escape",
"TAB": "Tab", "SPACE": "Space", "BACKSPACE": "Backspace", "DELETE": "Delete",
"UP": "ArrowUp", "DOWN": "ArrowDown", "LEFT": "ArrowLeft", "RIGHT": "ArrowRight",
"CTRL": "Control", "CONTROL": "Control", "SHIFT": "Shift", "ALT": "Alt",
"CMD": "Meta", "META": "Meta",
}
BUTTONS = {"left": "left", "right": "right", "wheel": "middle"}
def execute_actions(page, actions):
"""Executes the actions from a computer_call in order."""
for action in actions:
if action.type in ("click", "double_click", "drag", "move", "scroll") and getattr(action, "keys", None):
raise ValueError("Mouse action with modifier key: not handled here")
match action.type:
case "click":
button = getattr(action, "button", "left")
if button not in BUTTONS: # back and forward don't exist in Playwright
raise ValueError(f"Unsupported button: {button}")
page.mouse.click(action.x, action.y, button=BUTTONS[button])
case "double_click":
page.mouse.dblclick(action.x, action.y)
case "drag":
points = [(p.x, p.y) for p in action.path]
page.mouse.move(*points[0])
page.mouse.down()
for x, y in points[1:]:
page.mouse.move(x, y)
page.mouse.up()
case "move":
page.mouse.move(action.x, action.y)
case "scroll":
page.mouse.move(action.x, action.y)
page.mouse.wheel(action.scroll_x, action.scroll_y)
case "keypress":
page.keyboard.press("+".join(KEYS.get(k, k) for k in action.keys))
case "type":
page.keyboard.type(action.text)
case "wait":
time.sleep(2)
case "screenshot":
continue # screenshot is taken after each batch of actions
case _:
raise ValueError(f"Unsupported action: {action.type}")
Tá dhá rogha ann a tuilltear míniú. Ní hionann na hainmneacha eochracha agus cnaipe a fhilltear ag an tsamhail (ENTER, CTRL, wheel…) agus na cinn a bhfuil súil ag Playwright leo (Enter, Control, middle…): líonann na táblaí mapála, a tógadh ón doiciméadú, an bhearna, agus diúltaítear do na cnaipí back agus forward, ar féidir leis an API iad a iarraidh freisin, díreach mar a dhéantar i láimhseálaí OpenAI. Agus ardaíonn gníomh anaithnid earráid seachas a bheith neamhaird déanta air go ciúin: is fearr stop crua ná gníomhaire a shíleann gur ghníomhaigh sé nuair nár ghníomhaigh.
An lúb iomlán
Ansin déanann an gníomhaire ceannaireacht ar an timthriall. Seolann an chéad ghlao an tasc; mura bhfuil ann ach iarratas ar scáileanghabháil, filleann tú an scáileán amháin. Tagann gach scáileanghabháil ar ais chuig an tsamhail mar thoradh an ghlao a d’iarr é, tagairt déanta dá call_id, agus ceanglaíonn previous_response_id na casanna le chéile.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
client = OpenAI()
MODEL = "gpt-6.1-sol"
MAX_TURNS = 15
def launch_agent(task: str, start_url: str = "https://en.wikipedia.org"):
"""Launches a Computer Use agent on a given task."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=False) # False to observe
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto(start_url)
page.wait_for_load_state("networkidle")
try:
response = client.responses.create(
model=MODEL, tools=[{"type": "computer"}], input=task,
)
for turn in range(MAX_TURNS):
call = next((i for i in response.output if i.type == "computer_call"), None)
if call is None:
print(f"Task complete: {response.output_text}")
return response.output_text
if call.pending_safety_checks: # see lesson 12
raise RuntimeError("Pending safety checks: human intervention required")
for action in call.actions:
print(f" Action: {action.type}")
execute_actions(page, call.actions)
screenshot = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model=MODEL,
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
raise RuntimeError("Maximum number of turns reached: check the page state")
finally:
browser.close()
pw.stop()
Tá trí shábháilcheart i bhfeidhm cheana féin. Cuireann MAX_TURNS teorainn leis an lúb: gan an teorainn seo, chaithfeadh gníomhaire atá ar strae do bhuiséad go dtí go mbeadh sé ídithe. Stopann glao le seiceálacha sábháilteachta ar feitheamh (pending_safety_checks) gach rud, díreach mar atá i sampla oifigiúil OpenAI: taispeánann ceacht 12 conas iad a bhailíochtú ag duine. Agus léirítear críochnú gnáth le heaspa computer_call: tá an tsamhail tar éis stopadh ag gníomhú agus tá sí ag freagairt duit, agus faigheann tú teideal an leathanaigh ó output_text.
An sreabhad oibre a sheoladh
if __name__ == "__main__":
launch_agent(
"Search for 'Computer Use' in Wikipedia's search engine, "
"open the first result, and give me the title of the page. "
"Use the computer tool to act on the interface."
)
Le headless=False, tá an taispeántas tairbheach: osclaíonn an fhuinneog, buaileann an chliceáil sa réimse cuardaigh, feictear an téacs, osclaítear an chéad nasc, agus tagann an teideal ar ais i do chonsól. Féach air ag rith dhá nó trí huaire sula mbogann tú ar aghaidh chuig tascanna nua-aimseartha; feicfidh tú go beacht cá bhfuil an gníomhaire leathbhealach agus cad ar chóir do chuid treoracha díriú orthu.
Feidhm in-athúsáidte don chuid eile den chúrsa
Oibríonn na ceachtaí seo a leanas ar leathanach atá oscailte cheana—tar éis logáil isteach, i lár sreabha oibre. Braitheann siad ar run_agent(task, page=page): an lúb céanna, eastósctha ó launch_agent, le instructions roghnacha arna bhfilleadh ar gach cas (míníonn ceacht 5 cén fáth).
def run_agent(task: str, page, instructions: str | None = None, max_turns: int = MAX_TURNS) -> str:
"""Computer Use loop on an already-open page; returns the final message."""
request = {"model": MODEL, "tools": [{"type": "computer"}]}
if instructions:
request["instructions"] = instructions # to be returned on each request
response = client.responses.create(**request, input=task)
for turn in range(max_turns):
call = next((i for i in response.output if i.type == "computer_call"), None)
if call is None:
return response.output_text
if call.pending_safety_checks:
raise RuntimeError("Pending safety checks: human intervention required")
execute_actions(page, call.actions)
screenshot = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
**request,
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
raise RuntimeError("Maximum number of turns reached: check the page state")
Trí theip a bhuailfidh ort
An gcliceálann an gníomhaire go córasach in aice lena sprioc? Is é an lochtach beagnach i gcónaí mí-oiriúnú scála idir an scáileanghabháil a seoladh agus an leathanach a bhfuil tú ag cliceáil air: scáileanghabháil athmhéadaithe, súmáil brabhsálaí, scáileán ard-dlúis. Tagraíonn comhordanáidí na samhla don íomhá a fuair sí; má laghdaíonn tú í, tiontaigh a comhordanáidí sa treo contrártha.
An bhfuil an gníomhaire ag dul i gciorcail agus ag déanamh an ghotha chéanna arís agus arís eile? Cuirfidh an teorainn casanna stop leis faoi dheireadh, ach is fearr an lúb a bhrath níos luaithe: má thagann an scáileanghabháil chéanna ar ais roinnt uaireanta as a chéile, ní dhéanann an gníomhaire dul chun cinn, agus sábhálann tú glaonna nach gá trí é a chur ar ceal.
An bhfuil an gníomhaire ag gníomhú ar leathanach atá fós folamh? Ar shuíomh trom, filleann page.goto() sula gcríochnaíonn an renderáil, agus ní thaispeánann an chéad scáileanghabháil ach cúlra bán. Fan go mbeidh an líonra neamhghníomhach sula dtógann tú an phictiúr:
page.goto(url)
page.wait_for_load_state("networkidle")
Príomhphointí
- Comhcheanglaíonn gníomhaire Computer Use láimhseálaí gníomhaíochta, lúb rialaithe, agus slabhrú freagartha
- Seolann an chéad ghlao an tasc; tagann gach scáileanghabháil ar ais i
computer_call_outputleis ancall_idcéanna - Forghníomhaíonn an láimhseálaí gníomhaíochtaí in ord agus diúltaíonn sé do rud nach bhfuil a fhios aige conas a dhéanamh
- Cuir teorainn i gcónaí le líon na gcasanna, stop ar
pending_safety_checks, agus úsáidheadless=Falsele linn forbartha - Athúsáideann
run_agent(task, page=page)an lúb seo do leathanach atá oscailte cheana; is é seo a úsáideann na ceachtaí seo a leanas