Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Konfigurering af Computer Use i API'en

Lektion 3 af 14 Opdateret 3. november 2026 Udvikler
På denne side
  1. Forudsætninger
  2. Installation af afhængigheder
  3. Indstilling af API-nøglen
  4. Deklaration af computer-værktøjet
  5. Konfigurering af browseren
  6. Organisering af projektet
  7. Verifikation af installationen
  8. Vigtige pointer

Lektionen er omskrevet den 3. november 2026 baseret på OpenAIs guide til Computer use og Computer use integration recipes: Konfigurationen bruger nu openai SDK’et, miljøvariablen OPENAI_API_KEY og værktøjet {"type": "computer"} i Responses API. Den er ikke længere afhængig af Anthropic SDK eller det forældede værktøj computer_20241022. OpenAIs værktøj kræver ingen skærmstørrelser; koordinaterne refererer til det skærmbillede, du sender. Kilder: Computer use · Integration recipes.

Forudsætninger

Før du skriver en eneste linje kode, har din arbejdsstation brug for fire ting: en nyere version af Python 3, en OpenAI-konto med en aktiv API-nøgle og adgang til en model, der understøtter værktøjet computer, en Chromium-browser styret af Playwright til web-interaktioner og Docker, hvis du planlægger at isolere agenten. Docker er valgfrit, mens du lærer, men OpenAI anbefaler en isoleret browser eller virtuel maskine, så snart agenten interagerer med noget andet end en demoside.

Til modellen bruger OpenAIs dokumentation gpt-6.1-sol i sine eksempler på værktøjet computer. Tjek modelkortet (under Tools) for at bekræfte, at computer-brug er listet, og at dit projekt har adgang.

Installation af afhængigheder

Arbejd i et dedikeret virtuelt miljø. En Computer Use-agent fastlåser specifikke versioner af Playwright og dets browsere. Hvis du blander disse med dine andre Python-projekter, får du konflikter, der er smertefulde at diagnosticere.

# Opret og aktiver miljøet
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Installer afhængigheder
pip install openai playwright pillow

# Installer Playwright-browseren
playwright install chromium

Hver pakke spiller en distinkt rolle: openai leverer klienten, der taler med modellen, playwright styrer browseren og udfører handlinger, og pillow håndterer billedmanipulation, når det er nødvendigt. Den sidste kommando er den, folk oftest glemmer. Uden playwright install chromium er pakken installeret, men ingen browser er downloadet, hvilket får første kørsel til at fejle.

Indstilling af API-nøglen

Gem din nøgle i en miljøvariabel, aldrig hardcodet i et script. En hemmelighed skrevet ind i koden ender før eller siden i et Git-repository.

export OPENAI_API_KEY="your-key"

I produktion skal du bruge en secrets manager. Klienten læser variablen automatisk:

from openai import OpenAI

client = OpenAI()  # læser OPENAI_API_KEY

Deklaration af computer-værktøjet

En model styrer ikke en skærm som standard. Du skal aktivere værktøjet computer i anmodningen og beskrive det forventede resultat.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Tjek om panelet Filters er åbent. Hvis ikke, "
        "klik på Show Filters, og skriv derefter penguin i søgefeltet. "
        "Brug computer-værktøjet til at interagere med grænsefladen."
    ),
)
print(response.output)

Deklarationen er simpelthen {"type": "computer"}. I modsætning til den tidlige preview-version (computer_use_preview) kræver den hverken skærmstørrelser eller en miljøtype, og automatisk beskæring er ikke længere nødvendig. De koordinater, modellen returnerer, refererer til det skærmbillede, du sender. Optag præcis det område, du har til hensigt at klikke på, i samme skala. Hvis du ændrer størrelsen på et skærmbillede, før du sender det, skal du konvertere koordinaterne tilbage, før du handler.

Konfigurering af browseren

På Playwright-siden skal du pakke startlogikken ind i en funktion, du kan genbruge på tværs af opgaver.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Starter en isoleret browser til Computer Use."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # Sæt til False for at se agenten
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() optager viewporten, så modellens koordinater gælder direkte for page.mouse. Indstillingen headless=True kører browseren uden en brugergrænseflade, hvilket er afgørende på en server. Under udvikling skal du sætte denne til False for at se agenten arbejde. Det er den hurtigste måde at forstå, hvorfor den laver fejl.

Organisering af projektet

Adskil browserlogik, agent-løkken og udførelse af handlinger helt fra starten.

computer-use-project/
├── .env                  # OPENAI_API_KEY (commit aldrig denne)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Start og optagelse
│   ├── agent.py          # Computer Use-løkke
│   └── actions.py        # Udførelse af handlinger
└── tasks/
    └── example.py        # Opgavescripts

Verifikation af installationen

Byg ikke et komplekst workflow på en konfiguration, der ikke er valideret. Hvis den første kørsel fejler, ved du ikke, om problemet ligger hos nøglen, browseren eller dit prompt. Dette minimale script tester hele kæden: klient, browser, optagelse og billedoverførsel til modellen.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Verificerer, at nøgle, browser og billedupload fungerer."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Beskriv hvad du ser."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Svar:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Hvis konsollen viser en beskrivelse af siden example.com, er din konfiguration klar, og du kan fortsætte med at bygge en fuld agent.

Vigtige pointer

  • Installer openai, playwright og pillow i et dedikeret virtuelt miljø, og kør derefter playwright install chromium
  • Gem OPENAI_API_KEY i en miljøvariabel, aldrig i koden
  • Deklarér værktøjet med tools=[{"type": "computer"}] ved hjælp af en understøttet model (OpenAIs eksempler bruger gpt-6.1-sol)
  • Modellens koordinater refererer til det sendte skærmbillede: optag det område, du handler på, i samme skala
  • Test altid med et minimalt script, før du bygger komplekse workflows