Konfigurēšana datora lietošanai API
Šajā lapā
Nodarbība pārrakstīta 2026. gada 3. novembrī, balstoties uz OpenAI Computer use rokasgrāmatu un Computer use integration recipes: konfigurācija tagad izmanto
openaiSDK,OPENAI_API_KEYvides mainīgo un{"type": "computer"}rīku Responses API. Tā vairs nepaļaujas uz Anthropic SDK vai vecocomputer_20241022rīku. OpenAI rīkam nav nepieciešami ekrāna izmēri; koordinātas attiecas uz tavu nosūtīto ekrānuzņēmumu. Avoti: Computer use · Integration recipes.
Priekšnosacījumi
Pirms uzraksti pirmo koda rindiņu, tavai darbstacijai ir vajadzīgas četras lietas: jaunākā Python 3 versija, OpenAI konts ar aktīvu API atslēgu un piekļuvi modelim, kas atbalsta computer rīku, Chromium pārlūks, ko vada Playwright tīmekļa mijiedarbībām, un Docker, ja plāno izolēt aģentu. Mācību laikā Docker ir opcionāls, taču OpenAI iesaka izolētu pārlūku vai virtuālo mašīnu tiklīdz aģents mijiedarbojas ar ko citu, ne tikai demonstrācijas vietni.
Modelim OpenAI dokumentācija savos computer rīka piemēros izmanto gpt-6.1-sol. Pārbaudi modeļa karti (sadaļā Tools), lai pārliecinātos, ka datora lietošana ir norādīta un tavam projektam ir piekļuve tai.
Atkarību instalēšana
Strādā speciāli izveidotā virtuālajā vidē. Datora lietošanas aģents piesaista specifiskas Playwright un tā pārlūku versijas. To sajaukšana ar citiem Python projektiem radīs konfliktus, kurus ir sāpīgi diagnosticēt.
# Izveido un aktivizē vidi
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Instalē atkarības
pip install openai playwright pillow
# Instalē Playwright pārlūku
playwright install chromium
Katrai pakotnei ir sava loma: openai nodrošina klientu, kas sazinās ar modeli, playwright vada pārlūku un izpilda darbības, bet pillow apstrādā attēlu manipulācijas, ja tās ir nepieciešamas. Pēdējā komanda ir tā, ko cilvēki visbiežāk aizmirst. Bez playwright install chromium pakotne tiek instalēta, bet pārlūks netiek lejupielādēts, tāpēc pirmā palaišana neizdosies.
API atslēgas iestatīšana
Glabā savu atslēgu vides mainīgajā, nekad neiekodē to tieši skriptā. Kods ierakstīts noslēpums galu galā nonāks Git repozitorijā.
export OPENAI_API_KEY="your-key"
Produkcijas vidē izmanto noslēpumu pārvaldnieku. Klients automātiski nolasīs mainīgo:
from openai import OpenAI
client = OpenAI() # nolasīs OPENAI_API_KEY
Datora rīka deklarēšana
Pēc noklusējuma modelis nekontrolē ekrānu. Tev ir jāaktivizē computer rīks pieprasījumā un jāapraksta sagaidāmais rezultāts.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Pārbaudi, vai ir atvērts filtru panelis. Ja nē, "
"noklikšķini uz 'Show Filters', tad ieraksti penguin meklēšanas "
"laukā. Izmanto datora rīku, lai mijiedarbotos ar saskarni."
),
)
print(response.output)
Deklarācija ir vienkārši {"type": "computer"}. Atšķirībā no agrīnās priekšskatījuma versijas (computer_use_preview), tai nav nepieciešami ne ekrāna izmēri, ne vides tips, un automātiska saīsināšana vairs nav vajadzīga. Modeļa atgrieztās koordinātas attiecas uz tavu nosūtīto ekrānuzņēmumu. Uztver tieši to apgabalu, uz kuru plāno noklikšķināt, tajā pašā mērogā. Ja pirms nosūtīšanas maini ekrānuzņēmuma izmēru, pirms darbības veikšanas konvertē koordinātas atpakaļ.
Pārlūka konfigurēšana
Playwright pusē ietver palaišanas loģiku funkcijā, ko vari atkārtoti izmantot dažādos uzdevumos.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Palaiž izolētu pārlūku datora lietošanai."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False, lai vērotu aģentu
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() uzņem skata logu (viewport), tāpēc modeļa koordinātas attiecas tieši uz page.mouse. Opcija headless=True palaiž pārlūku bez lietotāja saskarnes, kas serverī ir būtiski. Izstrādes laikā iestati to uz False, lai vērotu aģenta darbu. Tas ir ātrākais veids, kā saprast, kāpēc tas pieļauj kļūdas.
Projekta organizēšana
No paša sākuma atdali pārlūka loģiku, aģenta ciklu un darbību izpildi.
computer-use-project/
├── .env # OPENAI_API_KEY (nekad nekomitē)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Palaišana un uztveršana
│ ├── agent.py # Datora lietošanas cikls
│ └── actions.py # Darbību izpilde
└── tasks/
└── example.py # Uzdevumu skripti
Instalācijas pārbaude
Neveido sarežģītu darbplūsmu uz nepārbaudītas konfigurācijas. Ja pirmā palaišana neizdodas, tu nezināsi, vai problēma ir atslēgā, pārlūkā vai tavā promptā. Šis minimālais skripts pārbauda visu ķēdi: klientu, pārlūku, uztveršanu un attēla nosūtīšanu modelim.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Pārbauda, vai atslēga, pārlūks un attēla augšupielāde darbojas."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Apraksti to, ko redzi."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Atbilde:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Ja konsolē tiek parādīts example.com lapas apraksts, tava konfigurācija ir gatava, un vari turpināt pilna aģenta izveidi.
Galvenās atziņas
- Instalē
openai,playwrightunpillowspeciālā virtuālajā vidē, tad palaidplaywright install chromium - Glabā
OPENAI_API_KEYvides mainīgajā, nekad kodā - Deklarē rīku ar
tools=[{"type": "computer"}], izmantojot atbalstītu modeli (OpenAI piemēros izmantotsgpt-6.1-sol) - Modeļa koordinātas attiecas uz nosūtīto ekrānuzņēmumu: uztver darbības apgabalu tajā pašā mērogā
- Vienmēr testē ar minimālu skriptu pirms sarežģītu darbplūsmu veidošanas