Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Konfigurēšana datora lietošanai API

Nodarbība 3 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Priekšnosacījumi
  2. Atkarību instalēšana
  3. API atslēgas iestatīšana
  4. Datora rīka deklarēšana
  5. Pārlūka konfigurēšana
  6. Projekta organizēšana
  7. Instalācijas pārbaude
  8. Galvenās atziņas

Nodarbība pārrakstīta 2026. gada 3. novembrī, balstoties uz OpenAI Computer use rokasgrāmatu un Computer use integration recipes: konfigurācija tagad izmanto openai SDK, OPENAI_API_KEY vides mainīgo un {"type": "computer"} rīku Responses API. Tā vairs nepaļaujas uz Anthropic SDK vai veco computer_20241022 rīku. OpenAI rīkam nav nepieciešami ekrāna izmēri; koordinātas attiecas uz tavu nosūtīto ekrānuzņēmumu. Avoti: Computer use · Integration recipes.

Priekšnosacījumi

Pirms uzraksti pirmo koda rindiņu, tavai darbstacijai ir vajadzīgas četras lietas: jaunākā Python 3 versija, OpenAI konts ar aktīvu API atslēgu un piekļuvi modelim, kas atbalsta computer rīku, Chromium pārlūks, ko vada Playwright tīmekļa mijiedarbībām, un Docker, ja plāno izolēt aģentu. Mācību laikā Docker ir opcionāls, taču OpenAI iesaka izolētu pārlūku vai virtuālo mašīnu tiklīdz aģents mijiedarbojas ar ko citu, ne tikai demonstrācijas vietni.

Modelim OpenAI dokumentācija savos computer rīka piemēros izmanto gpt-6.1-sol. Pārbaudi modeļa karti (sadaļā Tools), lai pārliecinātos, ka datora lietošana ir norādīta un tavam projektam ir piekļuve tai.

Atkarību instalēšana

Strādā speciāli izveidotā virtuālajā vidē. Datora lietošanas aģents piesaista specifiskas Playwright un tā pārlūku versijas. To sajaukšana ar citiem Python projektiem radīs konfliktus, kurus ir sāpīgi diagnosticēt.

# Izveido un aktivizē vidi
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Instalē atkarības
pip install openai playwright pillow

# Instalē Playwright pārlūku
playwright install chromium

Katrai pakotnei ir sava loma: openai nodrošina klientu, kas sazinās ar modeli, playwright vada pārlūku un izpilda darbības, bet pillow apstrādā attēlu manipulācijas, ja tās ir nepieciešamas. Pēdējā komanda ir tā, ko cilvēki visbiežāk aizmirst. Bez playwright install chromium pakotne tiek instalēta, bet pārlūks netiek lejupielādēts, tāpēc pirmā palaišana neizdosies.

API atslēgas iestatīšana

Glabā savu atslēgu vides mainīgajā, nekad neiekodē to tieši skriptā. Kods ierakstīts noslēpums galu galā nonāks Git repozitorijā.

export OPENAI_API_KEY="your-key"

Produkcijas vidē izmanto noslēpumu pārvaldnieku. Klients automātiski nolasīs mainīgo:

from openai import OpenAI

client = OpenAI()  # nolasīs OPENAI_API_KEY

Datora rīka deklarēšana

Pēc noklusējuma modelis nekontrolē ekrānu. Tev ir jāaktivizē computer rīks pieprasījumā un jāapraksta sagaidāmais rezultāts.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Pārbaudi, vai ir atvērts filtru panelis. Ja nē, "
        "noklikšķini uz 'Show Filters', tad ieraksti penguin meklēšanas "
        "laukā. Izmanto datora rīku, lai mijiedarbotos ar saskarni."
    ),
)
print(response.output)

Deklarācija ir vienkārši {"type": "computer"}. Atšķirībā no agrīnās priekšskatījuma versijas (computer_use_preview), tai nav nepieciešami ne ekrāna izmēri, ne vides tips, un automātiska saīsināšana vairs nav vajadzīga. Modeļa atgrieztās koordinātas attiecas uz tavu nosūtīto ekrānuzņēmumu. Uztver tieši to apgabalu, uz kuru plāno noklikšķināt, tajā pašā mērogā. Ja pirms nosūtīšanas maini ekrānuzņēmuma izmēru, pirms darbības veikšanas konvertē koordinātas atpakaļ.

Pārlūka konfigurēšana

Playwright pusē ietver palaišanas loģiku funkcijā, ko vari atkārtoti izmantot dažādos uzdevumos.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Palaiž izolētu pārlūku datora lietošanai."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False, lai vērotu aģentu
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() uzņem skata logu (viewport), tāpēc modeļa koordinātas attiecas tieši uz page.mouse. Opcija headless=True palaiž pārlūku bez lietotāja saskarnes, kas serverī ir būtiski. Izstrādes laikā iestati to uz False, lai vērotu aģenta darbu. Tas ir ātrākais veids, kā saprast, kāpēc tas pieļauj kļūdas.

Projekta organizēšana

No paša sākuma atdali pārlūka loģiku, aģenta ciklu un darbību izpildi.

computer-use-project/
├── .env                  # OPENAI_API_KEY (nekad nekomitē)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Palaišana un uztveršana
│   ├── agent.py          # Datora lietošanas cikls
│   └── actions.py        # Darbību izpilde
└── tasks/
    └── example.py        # Uzdevumu skripti

Instalācijas pārbaude

Neveido sarežģītu darbplūsmu uz nepārbaudītas konfigurācijas. Ja pirmā palaišana neizdodas, tu nezināsi, vai problēma ir atslēgā, pārlūkā vai tavā promptā. Šis minimālais skripts pārbauda visu ķēdi: klientu, pārlūku, uztveršanu un attēla nosūtīšanu modelim.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Pārbauda, vai atslēga, pārlūks un attēla augšupielāde darbojas."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Apraksti to, ko redzi."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Atbilde:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Ja konsolē tiek parādīts example.com lapas apraksts, tava konfigurācija ir gatava, un vari turpināt pilna aģenta izveidi.

Galvenās atziņas

  • Instalē openai, playwright un pillow speciālā virtuālajā vidē, tad palaid playwright install chromium
  • Glabā OPENAI_API_KEY vides mainīgajā, nekad kodā
  • Deklarē rīku ar tools=[{"type": "computer"}], izmantojot atbalstītu modeli (OpenAI piemēros izmantots gpt-6.1-sol)
  • Modeļa koordinātas attiecas uz nosūtīto ekrānuzņēmumu: uztver darbības apgabalu tajā pašā mērogā
  • Vienmēr testē ar minimālu skriptu pirms sarežģītu darbplūsmu veidošanas