Архитектура: Екранни снимки, действия и цикъл на взаимодействие
На тази страница
Урокът е пренаписан на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Computer use и рецептите за интеграция на Computer use: Този курс преди това разчиташе на API на Anthropic (
import anthropic, инструментcomputer_20241022). Сега той използва инструментаcomputerот Responses API на OpenAI, като действията са групирани вcomputer_call, а екранните снимки се връщат чрезcomputer_call_output. Премахнахме несъответстващите на източници бройки токени и оценки за продължителност от предишната версия. Източници: Computer use · Integration recipes.
Цикълът възприятие-действие
Цялата архитектура на Computer Use се свежда до един единствен цикъл: наблюдавай → реши → действай → наблюдавай. Докато този цикъл не стане ясен за Вас, Вашите автоматизации ще останат нестабилни; щом го осъзнаете, останалото е просто техническа инфраструктура.
Разликата спрямо скрипт на Selenium е в това къде се намира знанието. Selenium сляпо изпълнява предварително определена последователност: кликни тук, после там, после напиши това. Computer Use избира следващата стъпка едва след като види резултата от предишната. Появи се изскачащ прозорец, страницата се зарежда по-бавно или етикетът на бутон се промени overnight: и в трите случая моделът вижда действителната ситуация и се адаптира, докато скриптът продължава да рецитира в празнотата.
С инструмента computer на OpenAI обменът протича в три стъпки: Вие изпращате задачата, изпълнявате действията, върнати от модела, и след това изпращате обратно екранна снимка. Вашето приложение държи мишката и клавиатурата; моделът само взема решенията.
Началната точка: екранната снимка
Всяка стъпка разчита на изображение на текущото състояние на екрана. Тази екранна снимка идва от браузър, контролиран от Playwright – най-честият случай за уеб автоматизация – виртуален работен плот при автоматизиране на десктоп приложение или Docker контейнер, който изолира агента. OpenAI препоръчва използването на изолиран браузър или виртуална машина във всички случаи.
import base64
def capture_screen(page) -> str:
"""Capture the screen with Playwright and return the PNG image as base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Екранната снимка се връща на модела като PNG data URL. Тя се брои като входно изображение, така че влияе върху цената на всяка стъпка: размерът на прозореца, който заснемате, е реален параметър на дизайна.
Анализ и решение
Моделът получава задачата, историята на разговора и последната екранна снимка. Неговият отговор не е изречение, а елемент computer_call, който носи подреден списък с действия за изпълнение. Ето един пример от документацията на OpenAI, който избира поле за търсене и след това въвежда дума:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Два детайла са важни. Първото обаждане може да съдържа само действие screenshot: моделът иска да види екрана, преди да действа, и Вие връщате екранна снимка, без да променяте нищо. Освен това, status: "completed" означава, че моделът е приключил генерирането на обаждането, а не че действията са изпълнени: изпълнението им зависи от Вас.
Репертоар от действия
Речникът, достъпен за модела, е умишлено ограничен; в комбинация тези примитиви покриват повечето неща, които човек прави с мишка и клавиатура.
| Действие | Описание | Полета |
|---|---|---|
click | Клик на позиция | x, y, button (left, right, wheel, back, forward) |
double_click | Двоен клик | x, y |
drag | Влачене по път | path (списък от точки) |
move | Преместване на показалеца | x, y |
scroll | Превъртане | x, y, scroll_x, scroll_y |
keypress | Клавиш или комбинация | keys (напр. ["CTRL", "A"]) |
type | Въвеждане на текст | text |
wait | Изчакване за зареждане на страницата | — |
screenshot | Заявка за нова екранна снимка | — |
Пълният поток
Събрани заедно, тези елементи създават следния цикъл, моделиран по документацията на OpenAI. Докато отговорът съдържа computer_call, Вие изпълнявате неговите действия, заснемате екрана и връщате екранната снимка в computer_call_output, което използва същия call_id; previous_response_id свързва всяка стъпка с предишната.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computer Use loop with the computer tool from the Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # no more actions requested: task is done
execute_actions(page, call.actions) # your action handler (Lesson 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Този цикъл все още няма предпазни механизми: в производствена среда ограничете броя на стъпките, продължителността и разходите; спрете, ако обаждане включва чакащи проверки за сигурност (pending_safety_checks); и проверявайте действителния резултат, вместо да се доверявате само на крайното съобщение на модела. Това са указанията за сигурност на OpenAI, разгледани в Урок 12.
Каква е цената на една стъпка от цикъла
Всяка заявка към Responses API таксува входни и изходни токени, а всяка екранна снимка се брои като входно изображение; хоствана среда може да се фактурира отделно. Следователно цената на една задача зависи от броя на стъпките, размера на екранната снимка и модела – и тя нараства по-бързо от броя на стъпките, защото дори с previous_response_id, всички входни токени от предишни отговори във веригата се таксуват отново като вход при всяка заявка. OpenAI предоставя калкулатор за цената на изображенията и излага използването за всяка заявка: измервайте във Вашите собствени работни потоци, преди да планирате бюджет. Скрипт на Selenium винаги ще прави едно и също нещо по-бързо и по-евтино – но ще трябва да го пренапишете следващия път, когато формата се промени, което агентът не изисква.
Ключови изводи
- Цикълът задача → действия → екранна снимка е сърцето на Computer Use; Вашето приложение изпълнява действията
- С OpenAI, декларирайте инструмента с
tools=[{"type": "computer"}]в Responses API - Едно
computer_callноси подреден списък с действия (click,type,scroll,keypressи др.) за последователно изпълнение - Екранната снимка се връща на модела в
computer_call_outputсъс същияcall_id, свързани чрезprevious_response_id - Всяка стъпка струва токени и едно изображение: ограничете стъпките и измервайте, преди да планирате бюджет