Премини към основното съдържание
Български— Изберете език
Меню

RPM и TPM за всеки модел

Урок 2 от 14 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Двете ограничаващи метрики
  2. RPM ограничава броя на извикванията
  3. TPM ограничава обработвания обем
  4. Ограничения, специфични за всеки модел
  5. Мониторинг на потреблението без специализирани хедъри
  6. Ключови изводи

Актуализация от 2 ноември 2026 г. — Imagine. На 2 ноември 2026 г. моделът grok-imagine-image-quality беше премахнат: заявките към него вече се обслужват от Imagine Image 2.0 (grok-imagine-image-2.0, $0.04 на изображение) в качество low. Заменете идентификатора в примерите си и задайте желаното качество; grok-imagine-image (версия 1.0) не е засегнат. Imagine Image 2.0 приема до пет референтни изображения и качеството auto, което вече е по подразбиране.

Двете ограничаващи метрики

Ограничения на честотата в конзолата на xAI

API на Grok не измерва употребата Ви с един единствен брояч, а с два, които се активират независимо: RPM (заявки в минута) и TPM (токъни в минута). Можете да бъдете блокирани от едното ограничение, докато все още сте далеч под тавана на другото. Критично важно за следващото: тези два брояча се следят за всеки модел поотделно, така че Вашите лимити за grok-4.5 нямат никакъв ефект върху тези за grok-4.3.

Това разграничение не е просто детайл от документацията. То определя как оразмерявате инфраструктурата си, как разпределяте натоварването и точно къде Вашият сервис ще започне да връща грешки при пикови натоварвания.

RPM ограничава броя на извикванията

RPM брои извикванията, независимо от техния размер: заявка от десет токъна и заявка от сто хиляди токъна тежат точно толкова. Официалните спецификации на моделите изразяват това в заявки в секунда: 150 за grok-4.7 и grok-4.5 (9000 в минута), 37 за grok-4.3 (2220 в минута). Това е достатъчно за стандартно конферсационно приложение.

RPM се превръща в тясно място веднага щом заявките Ви са многобройни и кратки. Пайплайн, който класифицира тикети за поддръжка един по един, или извлича три ентитета от изречение в корпус от документи, ще изчерпи квотата си за извиквания много преди да се доближи до квотата си за токъни. В този случай решението не е да искате повече RPM, а да групирате няколко елемента в едно единствено извикване.

TPM ограничава обработвания обем

TPM сумира входните и изходните токъни в рамките на плъзгаща се минута, като според официалните спецификации това са 50 милиона токъна в минута за grok-4.7 и grok-4.5, и 10 милиона за grok-4.3. Поведението тук е точно обратното на предишния случай: малко на брой извиквания, но много тежки.

Вземете например сервис за анализ на документи, който изпраща папки от по 50 000 токъна всяка. При grok-4.3 таванът на заявките би позволил 2220 подавания в минута, но TPM спира на 200 документа: 200 × 50 000 = 10 милиона. Следователно Вие насищате капацитета си на около една единадесета от теоретичния си капацитет по брой извиквания и никаква настройка на паралелизма няма да Ви позволи да преодолеете тази стена.

Ограничения, специфични за всеки модел

Таваните не са еднакви в зависимост от природата на извиквания модел и трябва да познавате тази скала, преди да обещаете пропускателна способност на клиент.

КатегорияМоделиЛимит (официална спецификация)
Текстgrok-4.7, grok-4.5150 заявки/сек, 50M TPM
Текстgrok-4.337 заявки/сек, 10M TPM
Изображениеgrok-imagine-image, grok-imagine-image-2.06 заявки/сек
Видеоgrok-imagine-video, -1.5, -1.5-lite10 заявки/сек

Тези стойности са взети от официалните спецификации на моделите към 2 ноември 2026 г.; ефективните лимити на Вашия екип се показват в конзолата на xAI.

Тъй като броячите са независими, насищането на един модел не блокира другите. Ако grok-4.5 връща грешки 429, grok-4.3 продължава да приема Вашите заявки, сякаш нищо не се е случило. Това е често пренебрегван лост за пропускателна способност: вместо да чакате увеличение на квотата, пренасочете простите задачи – класификация, извличане, кратко обобщение – към по-малко натоварен модел, запазете grok-4.5 за наистина сложни разсъждения, а оставете на flux да оркестрира няколко под-агента чрез grok-4.20-multi-agent-0309. Общата пропускателна способност на Вашата платформа тогава става сбор от няколко квоти, вместо само от една.

Мониторинг на потреблението без специализирани хедъри

API на Grok не връща хедъри в отговорите си, които да показват колко RPM или TPM Ви остават. С други думи, нищо няма да Ви предупреди за приближаване до тавана: единственият начин да разберете къде се намирате, е да водите собствена отчетност на клиентската страна.

Това проследяване разчита на три елемента: брояч на заявките в минута за всеки модел, брояч на токъните, захранван от обекта usage, който всеки отговор съдържа, и праг за предупреждение, задействан около 80% от лимитите. Тази последна точка е най-важната: предупреждение при 80% Ви оставя време да се адаптирате – да разпределите натоварването, да изгладите подаванията, да задействате надграждане на тарифния план – докато предупреждение при 100% само потвърждава инцидента, който вече е в ход.

Ключови изводи

  • Лимитите се измерват в RPM (заявки/минута) и TPM (токъни/минута)
  • Текстовите модели предлагат стандартно 1800 RPM и 10M TPM
  • Всеки модел има свои собствени независими лимити
  • Разпределението на натоварването между моделите позволява умножаване на ефективната пропускателна способност
  • Внедрете проследяване на клиентската страна, за да предвидите лимитите