Оптимизиране на кеша
На тази страница
Кеш: Ключов фактор за производителността
Попаданията в кеша са основният двигател на скоростта на извод за grok-build-0.1. Когато началото на вашата заявка (префиксът) съвпада с предишна заявка, моделът извлича вече изчислените резултати от кеша. Резултат: отговорът пристига много по-бързо.
Разбирането на този механизъм ви позволява да оптимизирате взаимодействията си за почти мигновени отговори.
Как работи кешът
Кешът функционира на принципа на общия префикс:
- Изпращате подкана с история на разговора
- Моделът изчислява токените от началото (системна подкана + история)
- Ако този префикс е бил изчислен наскоро, той се извлича от кеша
- Само новите токени (вашето последно съобщение) изискват пълно изчисление
Колкото по-дълъг е общият префикс, толкова по-голяма е печалбата. В сценарий за двойно програмиране, където обмените няколко съобщения, всяка заявка повторно използва цялата предишна история.
Златното правило: Не променяйте историята
Това е най-важният момент в този урок. Избягвайте промяна на историята на подканите между две заявки. Всяка промяна в началото на разговора анулира кеша.
Какво нарушава кеша
- Пренареждане на съобщения в историята
- Промяна на предишно съобщение (дори на един единствен символ)
- Изтриване на съобщения от историята
- Вмъкване на съобщение по средата на разговора
- Промяна на системната подкана по време на разговора
Какво запазва кеша
- Добавяне на ново съобщение в края на разговора (нормално поведение)
- Поддържане на системната подкана идентична през цялата сесия
- Поддържане на историята непокътната без промени
Стабилният префикс
За да максимизирате попаданията в кеша, структурирайте заявките си със стабилен префикс:
[Системна подкана (фиксирана)]
[Потребителско съобщение 1 (фиксирано)]
[Отговор на модела 1 (фиксиран)]
[Потребителско съобщение 2 (фиксирано)]
[Отговор на модела 2 (фиксиран)]
...
[Ново потребителско съобщение] ← изчислява се само тази част
Системната подкана е особено важна. Дефинирайте я веднъж в началото на сесията и не я променяйте. Ако разработвате API агент с grok-build-0.1, напишете пълна и стабилна системна подкана.
Реално въздействие
В типичен сценарий за двойно програмиране с 10 размени:
- Без оптимизация на кеша: всяка заявка преизчислява цялата история. Латентността се увеличава с всяка размяна
- С оптимизиран кеш: изчислява се само последното съобщение. Латентността остава постоянна, независимо от дължината на разговора
Разликата може да бъде от порядъка на няколко секунди на взаимодействие. През едначасова сесия за разработка със стотици размени, кумулативната печалба е значителна.
За разработчиците на агенти
Ако изграждате API агент, който използва grok-build-0.1 в сценарии за последователно използване на инструменти:
- Префиксът остава идентичен между всяко извикване на инструмент, което се извлича автоматично от кеша
- Не преформатирайте резултатите от инструментите, преди да ги изпратите обратно на модела
- Избягвайте трансформации на историята (обобщаване, компресиране), които биха нарушили кеша
- Поддържайте един и същи ред на съобщенията при всяко извикване
Ключови изводи
- Попаданията в кеша са основният фактор за скоростта на grok-build-0.1
- Никога не променяйте историята на подканите между две заявки
- Системната подкана трябва да остане стабилна през цялата сесия
- Добавяйте в края, никога не променяйте началото
- При последователните агенти кешът работи естествено, ако историята се запази