Konfigūravimas: kompiuterio valdymas per API
Šiame puslapyje
Pamoka perrašyta 2026 m. lapkričio 3 d. remiantis „OpenAI“ Computer use gairėmis ir Computer use integration recipes: konfigūracija dabar naudoja
openaiSDK,OPENAI_API_KEYaplinkos kintamąjį ir{"type": "computer"}įrankį „Responses“ API. Ji nebereikalauja „Anthropic“ SDK ar senojocomputer_20241022įrankio. „OpenAI“ įrankiui nereikia ekrano matmenų; koordinatės nurodo jūsų pateiktą ekrano kopiją. Šaltiniai: Computer use · Integration recipes.
Būtinos sąlygos
Prieš rašydami vieną kodo eilutę, jūsų darbo stoties reikia keturių dalykų: naujausios „Python 3“ versijos, „OpenAI“ paskyros su aktyviu API raktu ir prieiga prie modelio, palaikančio computer įrankį, „Chromium“ naršyklės, valdomos „Playwright“ svetainių sąveikai, ir „Docker“, jei planuojate izoliuoti agentą. Mokymosi metu „Docker“ nėra būtinas, tačiau „OpenAI“ rekomenduoja izoliuotą naršyklę arba virtualią mašiną, kai tik agentas sąveikauja su чем nors daugiau nei demonstracine svetaine.
Modeliui „OpenAI“ dokumentacijoje computer įrankio pavyzdžiuose naudojamas gpt-6.1-sol. Patikrinkite modelio kortelę (skiltyje Tools), ar nurodytas kompiuterio valdymas ir ar jūsų projektas turi prieigą.
Priklausomybių diegimas
Dirbkite atskiroje virtualioje aplinkoje. Kompiuterio valdymo agentas fiksuoja specifines „Playwright“ ir jos naršyklių versijas. Maišant jas su kitais „Python“ projektais, kils sunkiai diagnozuojamų konfliktų.
# Sukurkite ir aktyvuokite aplinką
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Įdiekite priklausomybes
pip install openai playwright pillow
# Įdiekite „Playwright“ naršyklę
playwright install chromium
Kiekvienas paketas atlieka skirtingą vaidmenį: openai suteikia klientą, bendraujantį su modeliu, playwright valdo naršyklę ir vykdo veiksmus, o pillow prireikus tvarko vaizdų manipuliavimą. Paskutinė komanda yra ta, kurią žmonės pamiršta dažniausiai. Be playwright install chromium, paketas įdiegiamas, bet naršyklė neatsisiunčiama, todėl pirmasis paleidimas nepavyks.
API rakto nustatymas
Savo raktą saugokite aplinkos kintamajame, niekada nekoduokite jo tiesiai skripte. Kode įrašyta paslaptis galiausiai atsidurs „Git“ saugykloje.
export OPENAI_API_KEY="your-key"
Gamybinėje aplinkoje naudokite paslapčių valdyklę. Klientas kintamąjį nuskaitys automatiškai:
from openai import OpenAI
client = OpenAI() # nuskaitys OPENAI_API_KEY
Kompiuterio įrankio deklaravimas
Modelis pagal nutylėjimą nevaldo ekrano. Turite įjungti computer įrankį užklausoje ir aprašyti laukiamą rezultatą.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Patikrink, ar atidarytas filtrų skydelis. Jei ne, "
"spustelėk „Show Filters“, tada paieškos laukelyje įvesk penguin. "
"Sąsajai valdyti naudok kompiuterio įrankį."
),
)
print(response.output)
Deklaracija yra tiesiog {"type": "computer"}. Skirtingai nei ankstyvojoje peržiūros versijoje (computer_use_preview, jai nereikia nei ekrano matmenų, nei aplinkos tipo, ir automatinis sutrumpinimas nebėra būtinas. Modelio grąžinamos koordinatės nurodo jūsų siunčiamą ekrano kopiją. Fiksuokite tiksliai tą sritį, kurioje ketinate spustelėti, tuo pačiu masteliu. Jei prieš siųsdami keičiate ekrano kopijos dydį, prieš imdamiesi veiksmų konvertuokite koordinates atgal.
Naršyklės konfigūravimas
„Playwright“ pusėje įveskite paleidimo logiką į funkciją, kurią galėsite naudoti įvairioms užduotims.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Paleidžia izoliuotą naršyklę kompiuterio valdymui."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False, norint stebėti agentą
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() fiksuoja matomą sritį (viewport), todėl modelio koordinatės tiesiogiai taikomos page.mouse. Parinktis headless=True paleidžia naršyklę be vartotojo sąsajos, kas serveriuose yra būtina. Kurdami programą, nustatykite tai į False, kad stebėtumėte agento darbą. Tai greičiausias būdas suprasti, kodėl jis klysta.
Projekto organizavimas
Nuo pat pradžių atskirkite naršyklės logiką, agento ciklą ir veiksmų vykdymą.
computer-use-project/
├── .env # OPENAI_API_KEY (niekada neįkelkite į saugyklą)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Paleidimas ir fiksavimas
│ ├── agent.py # Kompiuterio valdymo ciklas
│ └── actions.py # Veiksmų vykdymas
└── tasks/
└── example.py # Užduočių skriptai
Diegimo patikrinimas
Nekurkite sudėtingos darbo eigos nepatvirtinę konfigūracijos. Jei pirmasis paleidimas nepavyks, nežinosite, ar problema kilo dėl rakto, naršyklės, ar jūsų užuominos (prompt). Šis minimalus skriptas išbando visą grandinę: klientą, naršyklę, fiksavimą ir vaizdo siuntimą modeliui.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Patikrina, ar raktas, naršyklė ir vaizdo įkėlimas veikia."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Aprašyk, ką matai."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Atsakymas:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Jei konsolėje matysite „example.com“ puslapio aprašymą, jūsų konfigūracija paruošta ir galite kurti visavertį agentą.
Svarbiausi punktai
- Įdiekite
openai,playwrightirpillowatskiroje virtualioje aplinkoje, tada paleiskiteplaywright install chromium - Laikykite
OPENAI_API_KEYaplinkos kintamajame, niekada nekoduokite jo tiesiai kode - Deklaruokite įrankį naudodami
tools=[{"type": "computer"}]su palaikomu modeliu („OpenAI“ pavyzdžiuose naudojamasgpt-6.1-sol) - Modelio koordinatės nurodo siunčiamą ekrano kopiją: fiksuokite veiksmo sritį tuo pačiu masteliu
- Prieš kuriant sudėtingas darbo eigas, visada išbandykite minimaliu skriptu