Премини към основното съдържание
Български— Изберете език
Меню

Конфигуриране на Computer Use в API

Урок 3 от 14 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Предпоставки
  2. Инсталиране на зависимостите
  3. Задаване на API ключа
  4. Деклариране на computer инструмента
  5. Конфигуриране на браузъра
  6. Организиране на проекта
  7. Проверка на инсталацията
  8. Ключови изводи

Урокът е пренаписан на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Computer use и рецептите за интеграция на Computer use: конфигурацията вече използва SDK openai, променливата на средата OPENAI_API_KEY и инструмента {"type": "computer"} в Responses API. Вече не разчита на Anthropic SDK или наследения инструмент computer_20241022. Инструментът на OpenAI не изисква размери на екрана; координатите се отнасят до предоставената от Вас снимка на екрана. Източници: Computer use · Integration recipes.

Предпоставки

Преди да напишете и ред код, работната Ви станция се нуждае от четири неща: последна версия на Python 3, акаунт в OpenAI с активен API ключ и достъп до модел, поддържащ инструмента computer, браузър Chromium, управляван от Playwright за уеб взаимодействия, и Docker, ако планирате да изолирате агента. Docker е по избор, докато се обучавате, но OpenAI препоръчва изолиран браузър или виртуална машина веднага щом агентът взаимодейства с каквото и да е друго освен демо сайт.

За модела документацията на OpenAI използва gpt-6.1-sol в своите примери за инструмента computer. Проверете картата на модела (под Tools), за да потвърдите, че computer use е изброен и че Вашият проект има достъп до него.

Инсталиране на зависимостите

Работете в отделна виртуална среда. Агентът за Computer Use фиксира конкретни версии на Playwright и неговите браузъри. Смесването им с другите Ви Python проекти ще доведе до конфликти, които са болезнени за диагностициране.

# Създаване и активиране на средата
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Инсталиране на зависимостите
pip install openai playwright pillow

# Инсталиране на браузъра на Playwright
playwright install chromium

Всеки пакет играе различна роля: openai предоставя клиента, който комуникира с модела, playwright управлява браузъра и изпълнява действия, а pillow обработва манипулацията на изображения, когато е необходимо. Последната команда е тази, която хората най-често забравят. Без playwright install chromium пакетът се инсталира, но няма изтеглен браузър, което води до неуспех при първото стартиране.

Задаване на API ключа

Съхранявайте ключа си в променлива на средата, никога не го вграждайте директно в скрипт. Тайна, записана в кода, в крайна сметка попада в Git хранилище.

export OPENAI_API_KEY="your-key"

В производствена среда използвайте мениджър на тайни. Клиентът чете променливата автоматично:

from openai import OpenAI

client = OpenAI()  # чете OPENAI_API_KEY

Деклариране на computer инструмента

По подразбиране моделът не контролира екран. Трябва да активирате инструмента computer в заявката и да опишете очаквания резултат.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Check if the Filters panel is open. If not, "
        "click Show Filters, then type penguin in the search "
        "field. Use the computer tool to interact with the interface."
    ),
)
print(response.output)

Декларацията е просто {"type": "computer"}. За разлика от ранната предварителна версия (computer_use_preview), тя не изисква нито размери на екрана, нито тип среда, и автоматичното съкращаване вече не е необходимо. Координатите, които моделът връща, се отнасят до изпратената от Вас снимка на екрана. Заснемете точно областта, в която възнамерявате да кликнете, в същия мащаб. Ако преоразмерите снимка на екрана преди изпращането ѝ, конвертирайте координатите обратно преди изпълнението на действието.

Конфигуриране на браузъра

От страна на Playwright, обвийте логиката за стартиране във функция, която можете да използвате повторно за различни задачи.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Стартира изолиран браузър за Computer Use."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False, за да наблюдавате агента
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() заснема видимата област (viewport), така че координатите на модела се прилагат директно към page.mouse. Опцията headless=True стартира браузъра без потребителски интерфейс, което е от съществено значение на сървър. По време на разработка задайте това на False, за да наблюдавате работата на агента. Това е най-бързият начин да разберете защо той прави грешки.

Организиране на проекта

Разделете логиката на браузъра, цикъла на агента и изпълнението на действията още от самото начало.

computer-use-project/
├── .env                  # OPENAI_API_KEY (никога не комитвайте)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Стартиране и заснемане
│   ├── agent.py          # Цикъл на Computer Use
│   └── actions.py        # Изпълнение на действия
└── tasks/
    └── example.py        # Скриптове за задачи

Проверка на инсталацията

Не изграждайте сложен работен поток върху невалидирана конфигурация. Ако първото стартиране се провали, няма да знаете дали проблемът е в ключа, браузъра или Вашата подсказка (prompt). Този минимален скрипт тества цялата верига: клиент, браузър, заснемане и предаване на изображението на модела.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Проверява дали ключът, браузърът и качването на изображения работят."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Describe what you see."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Response:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Ако конзолата покаже описание на страницата example.com, Вашата конфигурация е готова и можете да продължите с изграждането на пълен агент.

Ключови изводи

  • Инсталирайте openai, playwright и pillow в отделна виртуална среда, след което изпълнете playwright install chromium
  • Пазете OPENAI_API_KEY в променлива на средата, никога в кода
  • Декларирайте инструмента с tools=[{"type": "computer"}], използвайки поддържан модел (примерите на OpenAI използват gpt-6.1-sol)
  • Координатите на модела се отнасят до изпратената снимка на екрана: заснемете областта, върху която действате, в същия мащаб
  • Винаги тествайте с минимален скрипт, преди да изграждате сложни работни потоци