Ailtireacht: Scáileáin, Gníomhartha, agus an Lúb Idirghníomhaíochta
Ar an leathanach seo
Cúrsa athscríofa an 3 Samhain, 2026 bunaithe ar threoir Computer use ó OpenAI agus ar Computer use integration recipes: Bhraitheann an cúrsa seo roimhe seo ar API Anthropic (
import anthropic, uirliscomputer_20241022). Úsáideann sé anois uirliscomputeró API Responses OpenAI, le gníomhartha grúpáilte icomputer_callagus scáileáin ar ais trícomputer_call_output. Baineadh na comhairimh tocain gan fhoinse agus na meastacháin faid ón leagan roimhe seo. Foinse: Computer use · Integration recipes.
An lúb braite-gníomhaíochta
Tagann ailtireacht iomlán Computer Use anuas ar thimthriall amháin: breathnaigh → cinntigh → gníomhaigh → breathnaigh. Mura bhfuil an timthriall seo soiléir i d’intinn, fanfaidh d’uathoibriúcháin neamhchobhsaí; nuair a bheidh sé deimhnithe agat, ní bheidh sa chuid eile ach píobaireacht.
Is é an difríocht idir é seo agus script Selenium ná cá bhfuil an t-eolas. Déanann Selenium seicheamh réamhchinntithe a chur i gcrích go dall: cliceáil anseo, ansin ansin, ansin clóscríobh é seo. Ní roghnaíonn Computer Use an chéad chéim ach tar éis toradh na céime roimhe a fheiceáil. Tagann preabfhuinneog chun cinn, tógann leathanach níos mó ama le lódáil, nó athraíonn lipéad cnaipe thar oíche: sna trí chás sin, feiceann an tsamhail an staid iarbhír agus déanann sí coigeartú, ach leanann an script ag aithris isteach sa bhfolús.
Le huirlis computer ó OpenAI, tarlaíonn an malartú i dtrí chéim: seolann tú an tasc, déanann tú na gníomhartha a thugann an tsamhail ar ais a chur i gcrích, agus ansin seolann tú scáileán ar ais. Is i d’fheidhmchlár féin atá an luch agus an méarchlár; ní dhéanann an tsamhail ach na cinntí.
An pointe tosaigh: an scáileán
Braitheann gach casadh ar íomhá de staid reatha na scáileine. Tagann an scáileán seo ó bhrabhsálaí atá faoi smacht ag Playwright—an cás is coitianta d’uathoibriú gréasáin—ó dheasc fhíorúil agus feidhmchlár deisce á uathoibriú, nó ó choimeádán Docker a aonraíonn an gníomhaire. Molann OpenAI brabhsálaí aonraithe nó meaisín fíorúil a úsáid i ngach cás.
import base64
def capture_screen(page) -> str:
"""Glac scáileán le Playwright agus fill an íomhá PNG mar base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Seoltar an scáileán ar ais chuig an tsamhail mar URL sonraí PNG. Meastar mar ionchur íomhá é, mar sin bíonn tionchar aige ar chostas gach casaidh: is paraiméadar dearaidh fíor é méid na fuinneoige a ghlacann tú.
Anailís agus cinneadh
Faigheann an tsamhail an tasc, stair an chomhrá, agus an scáileán is déanaí. Ní habairt é a freagra ach mír computer_call, a iompraíonn liosta ordaithe de ghníomhartha le cur i gcrích. Seo sampla ó dhoiciméadú OpenAI a roghnaíonn réimse cuardaigh agus ansin a chlóscríobhann focal:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Tá dhá mhionsonra tábhachtach ann. D’fhéadfadh nach mbeadh sa chéad ghlao ach gníomh screenshot: tá an tsamhail ag iarraidh an scáileán a fheiceáil sula ngníomhaíonn sí, agus filleann tú scáileán gan aon rud a athrú. Chomh maith leis sin, ciallaíonn status: "completed" go bhfuil an tsamhail tar éis an glao a ghiniúint, ní go ndearnadh na gníomhartha: is ortsa atá sé iad a chur i gcrích.
An stór gníomhaíochta
Tá an foclóir atá ar fáil don tsamhail teoranta d’aon ghnó; nuair a chuirtear le chéile iad, clúdaíonn na bunphrionsabail seo an chuid is mó de na rudaí a dhéanann duine le luch agus méarchlár.
| Gníomh | Cur síos | Réimsí |
|---|---|---|
click | Cliceáil ag suíomh | x, y, button (left, right, wheel, back, forward) |
double_click | Dúbailt-chliceáil | x, y |
drag | Tarraing feadh conaire | path (liosta pointí) |
move | Bog an táscaire | x, y |
scroll | Scrollaigh | x, y, scroll_x, scroll_y |
keypress | Eochair nó comhcheangal | keys (m.sh. ["CTRL", "A"]) |
type | Clóscríobh téacs | text |
wait | Lig don leathanach lódáil | — |
screenshot | Iarr scáileán nua | — |
An sreabhadh iomlán
Nuair a chuirtear na heilimintí seo le chéile, cruthaíonn siad an lúb seo a leanas, bunaithe ar dhoiciméadú OpenAI. Fad is a bhíonn computer_call sa fhreagra, déanann tú a gníomhartha a chur i gcrích, glacann tú an scáileán, agus filleann tú an scáileán i computer_call_output a athúsáideann an call_id céanna; nascann previous_response_id gach casadh leis an gceann roimhe.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Lúb Computer Use leis an uirlis computer ón API Responses."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # níl aon ghníomhartha eile iarrtha: tá an tasc déanta
execute_actions(page, call.actions) # do láimhseálaí gníomhaíochta (Ceacht 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Níl aon chosaintí sa lúb seo fós: i dtáirgeadh, teorainn líon na gcasadh, an fad, agus an costas; stop má áirítear seiceálacha sábháilteachta ar feitheamh i nglao (pending_safety_checks); agus fíoraigh an toradh iarbhír seachas muinín a bheith agat as teachtaireacht dheiridh na samhail amháin. Is iad seo treoracha sábháilteachta OpenAI, a chlúdaítear i gCeacht 12.
Costas casadh lúibe
Gearrtar táille as tocain ionchuir agus aschuir ar gach iarratas ar an API Responses, agus meastar gach scáileán mar ionchur íomhá; d’fhéadfadh timpeallacht óstáilte a bheith billeáilte ar leith. Braitheann costas tasc, mar sin, ar líon na gcasadh, ar mhéid an scáileáin, agus ar an tsamhail—agus fásann sé níos tapúla ná líon na gcasadh, toisc go ngearrtar táille arís as gach tocán ionchuir ó fhreagraí roimhe seo sa slabhra mar ionchur ar gach iarratas, fiú le previous_response_id. Soláthraíonn OpenAI áireamhán costais íomhá agus nochtann sé úsáid do gach iarratas: déan tomhas ar do shreafaí oibre féin sula ndéanann tú buiséadú. Déanfaidh script Selenium an rud céanna i gcónaí níos tapúla agus níos saoire—ach beidh ort í a athscríobh an chéad uair eile a athraíonn an fhoirm, rud nach éilíonn an gníomhaire.
Príomhphointí
- Is é an lúb tasc → gníomhartha → scáileán croílár Computer Use; is é d’fheidhmchlár féin a chuireann na gníomhartha i gcrích
- Le OpenAI, dearbhaigh an uirlis le
tools=[{"type": "computer"}]san API Responses - Iompraíonn
computer_callliosta ordaithe de ghníomhartha (click,type,scroll,keypress, srl.) le cur i gcrích i seicheamh - Filleann an scáileán chuig an tsamhail i
computer_call_outputleis ancall_idcéanna, slabhraithe leprevious_response_id - Costálann gach casadh tocain agus íomhá: teorainn na casadh agus déan tomhas sula ndéanann tú buiséadú