Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Ailtireacht: Scáileáin, Gníomhartha, agus an Lúb Idirghníomhaíochta

Ceacht 2 as 14 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. An lúb braite-gníomhaíochta
  2. An pointe tosaigh: an scáileán
  3. Anailís agus cinneadh
  4. An stór gníomhaíochta
  5. An sreabhadh iomlán
  6. Costas casadh lúibe
  7. Príomhphointí

Cúrsa athscríofa an 3 Samhain, 2026 bunaithe ar threoir Computer use ó OpenAI agus ar Computer use integration recipes: Bhraitheann an cúrsa seo roimhe seo ar API Anthropic (import anthropic, uirlis computer_20241022). Úsáideann sé anois uirlis computer ó API Responses OpenAI, le gníomhartha grúpáilte i computer_call agus scáileáin ar ais trí computer_call_output. Baineadh na comhairimh tocain gan fhoinse agus na meastacháin faid ón leagan roimhe seo. Foinse: Computer use · Integration recipes.

An lúb braite-gníomhaíochta

Tagann ailtireacht iomlán Computer Use anuas ar thimthriall amháin: breathnaigh → cinntigh → gníomhaigh → breathnaigh. Mura bhfuil an timthriall seo soiléir i d’intinn, fanfaidh d’uathoibriúcháin neamhchobhsaí; nuair a bheidh sé deimhnithe agat, ní bheidh sa chuid eile ach píobaireacht.

Is é an difríocht idir é seo agus script Selenium ná cá bhfuil an t-eolas. Déanann Selenium seicheamh réamhchinntithe a chur i gcrích go dall: cliceáil anseo, ansin ansin, ansin clóscríobh é seo. Ní roghnaíonn Computer Use an chéad chéim ach tar éis toradh na céime roimhe a fheiceáil. Tagann preabfhuinneog chun cinn, tógann leathanach níos mó ama le lódáil, nó athraíonn lipéad cnaipe thar oíche: sna trí chás sin, feiceann an tsamhail an staid iarbhír agus déanann sí coigeartú, ach leanann an script ag aithris isteach sa bhfolús.

Le huirlis computer ó OpenAI, tarlaíonn an malartú i dtrí chéim: seolann tú an tasc, déanann tú na gníomhartha a thugann an tsamhail ar ais a chur i gcrích, agus ansin seolann tú scáileán ar ais. Is i d’fheidhmchlár féin atá an luch agus an méarchlár; ní dhéanann an tsamhail ach na cinntí.

An pointe tosaigh: an scáileán

Braitheann gach casadh ar íomhá de staid reatha na scáileine. Tagann an scáileán seo ó bhrabhsálaí atá faoi smacht ag Playwright—an cás is coitianta d’uathoibriú gréasáin—ó dheasc fhíorúil agus feidhmchlár deisce á uathoibriú, nó ó choimeádán Docker a aonraíonn an gníomhaire. Molann OpenAI brabhsálaí aonraithe nó meaisín fíorúil a úsáid i ngach cás.

import base64

def capture_screen(page) -> str:
    """Glac scáileán le Playwright agus fill an íomhá PNG mar base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Seoltar an scáileán ar ais chuig an tsamhail mar URL sonraí PNG. Meastar mar ionchur íomhá é, mar sin bíonn tionchar aige ar chostas gach casaidh: is paraiméadar dearaidh fíor é méid na fuinneoige a ghlacann tú.

Anailís agus cinneadh

Faigheann an tsamhail an tasc, stair an chomhrá, agus an scáileán is déanaí. Ní habairt é a freagra ach mír computer_call, a iompraíonn liosta ordaithe de ghníomhartha le cur i gcrích. Seo sampla ó dhoiciméadú OpenAI a roghnaíonn réimse cuardaigh agus ansin a chlóscríobhann focal:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Tá dhá mhionsonra tábhachtach ann. D’fhéadfadh nach mbeadh sa chéad ghlao ach gníomh screenshot: tá an tsamhail ag iarraidh an scáileán a fheiceáil sula ngníomhaíonn sí, agus filleann tú scáileán gan aon rud a athrú. Chomh maith leis sin, ciallaíonn status: "completed" go bhfuil an tsamhail tar éis an glao a ghiniúint, ní go ndearnadh na gníomhartha: is ortsa atá sé iad a chur i gcrích.

An stór gníomhaíochta

Tá an foclóir atá ar fáil don tsamhail teoranta d’aon ghnó; nuair a chuirtear le chéile iad, clúdaíonn na bunphrionsabail seo an chuid is mó de na rudaí a dhéanann duine le luch agus méarchlár.

GníomhCur síosRéimsí
clickCliceáil ag suíomhx, y, button (left, right, wheel, back, forward)
double_clickDúbailt-chliceáilx, y
dragTarraing feadh conairepath (liosta pointí)
moveBog an táscairex, y
scrollScrollaighx, y, scroll_x, scroll_y
keypressEochair nó comhcheangalkeys (m.sh. ["CTRL", "A"])
typeClóscríobh téacstext
waitLig don leathanach lódáil—
screenshotIarr scáileán nua—

An sreabhadh iomlán

Nuair a chuirtear na heilimintí seo le chéile, cruthaíonn siad an lúb seo a leanas, bunaithe ar dhoiciméadú OpenAI. Fad is a bhíonn computer_call sa fhreagra, déanann tú a gníomhartha a chur i gcrích, glacann tú an scáileán, agus filleann tú an scáileán i computer_call_output a athúsáideann an call_id céanna; nascann previous_response_id gach casadh leis an gceann roimhe.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Lúb Computer Use leis an uirlis computer ón API Responses."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # níl aon ghníomhartha eile iarrtha: tá an tasc déanta

        execute_actions(page, call.actions)  # do láimhseálaí gníomhaíochta (Ceacht 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Níl aon chosaintí sa lúb seo fós: i dtáirgeadh, teorainn líon na gcasadh, an fad, agus an costas; stop má áirítear seiceálacha sábháilteachta ar feitheamh i nglao (pending_safety_checks); agus fíoraigh an toradh iarbhír seachas muinín a bheith agat as teachtaireacht dheiridh na samhail amháin. Is iad seo treoracha sábháilteachta OpenAI, a chlúdaítear i gCeacht 12.

Costas casadh lúibe

Gearrtar táille as tocain ionchuir agus aschuir ar gach iarratas ar an API Responses, agus meastar gach scáileán mar ionchur íomhá; d’fhéadfadh timpeallacht óstáilte a bheith billeáilte ar leith. Braitheann costas tasc, mar sin, ar líon na gcasadh, ar mhéid an scáileáin, agus ar an tsamhail—agus fásann sé níos tapúla ná líon na gcasadh, toisc go ngearrtar táille arís as gach tocán ionchuir ó fhreagraí roimhe seo sa slabhra mar ionchur ar gach iarratas, fiú le previous_response_id. Soláthraíonn OpenAI áireamhán costais íomhá agus nochtann sé úsáid do gach iarratas: déan tomhas ar do shreafaí oibre féin sula ndéanann tú buiséadú. Déanfaidh script Selenium an rud céanna i gcónaí níos tapúla agus níos saoire—ach beidh ort í a athscríobh an chéad uair eile a athraíonn an fhoirm, rud nach éilíonn an gníomhaire.

Príomhphointí

  • Is é an lúb tasc → gníomhartha → scáileán croílár Computer Use; is é d’fheidhmchlár féin a chuireann na gníomhartha i gcrích
  • Le OpenAI, dearbhaigh an uirlis le tools=[{"type": "computer"}] san API Responses
  • Iompraíonn computer_call liosta ordaithe de ghníomhartha (click, type, scroll, keypress, srl.) le cur i gcrích i seicheamh
  • Filleann an scáileán chuig an tsamhail i computer_call_output leis an call_id céanna, slabhraithe le previous_response_id
  • Costálann gach casadh tocain agus íomhá: teorainn na casadh agus déan tomhas sula ndéanann tú buiséadú