Omejitve in najboljši načini
Na tej strani
Tehnične omejitve klicanja funkcij
Preden začneš z implementacijo, moraš razumeti omejitve sistema. Klicanje funkcij v modelu Grok je zmogljivo, vendar deluje znotraj določenih okvirov, ki jih moraš obvladati za gradnjo robustnih aplikacij.
Največ 200 orodij na zahtevo
API Grok sprejme do 200 definicij orodij v eni sami zahtevi. Ta omejitev je velikodušna – večina aplikacij uporablja le od 5 do 20 orodij. Če pa gradiš razširljiv sistem (vtičniki, tržnica orodij), moraš to upoštevati.
Vsaka definicija orodja zavzame prostor v kontekstnem oknu. Natančneje:
- Preprosto orodje (2–3 parametre) porabi približno 50–100 žetonov
- Kompleksno orodje (10+ parametrov, podrobni opisi) lahko preseže 300 žetonov
- 200 kompleksnih orodij = 60.000 žetonov samo za definicije
Zato moraš biti strateški: deklariraj le orodja, ki so relevantna za trenutno zahtevo.
Model ne zagotavlja veljavnosti argumentov
Grok se trudi ustvariti argumente, ki ustrezajo shemi, vendar ni nezmoten. Model lahko:
- Ustvari napačen format datuma
- Posreduje
string, kjer se pričakujeinteger - V redkih primerih izpusti zahtevano polje
- Halucinira vrednosti enum, ki ne obstajajo
Tvoja koda na strani odjemalca mora vedno preveriti prejete argumente pred izvajanjem funkcije.
import json
def handle_tool_call(tool_call):
args = json.loads(tool_call.function.arguments)
# Validate before execution
if "city" not in args:
return {"error": "The city parameter is required"}
if not isinstance(args["city"], str):
return {"error": "city must be a string"}
return get_weather(args["city"], args.get("unit", "celsius"))
Obravnava napak
Ko funkcija odpove, moraš napako vrniti modelu, namesto da bi tiho odpovedal. Model lahko nato:
- Ponovno oblikuje svojo zahtevo s popravljenimi parametri
- Obvesti uporabnika o težavi
- Poskusi alternativno orodje
try:
result = search_database(query=args["query"])
return json.dumps(result)
except ConnectionError:
return json.dumps({
"error": "Database unavailable",
"suggestion": "Retry in a few seconds"
})
Vedno vrni strukturiran JSON, tudi ob napaki. Model razume sporočila o napakah in temu prilagodi svoj odgovor.
Edinstvena in eksplicitna imena
Imena funkcij morajo biti v seznamu orodij edinstvena. Če si dve orodji delita isto ime, je vedenje nedefinirano – API lahko zahtevo zavrne ali eno od njiju ignorira.
Sprejmi dosledno konvencijo poimenovanja:
✅ Najboljše prakse:
get_weather → pridobivanje podatkov
search_products → iskanje
create_ticket → ustvarjanje
update_order_status → posodobitev
delete_draft → brisanje
❌ Izogibaj se:
fn1, fn2 → nerazumljivo
doStuff → preveč ohlapno
getWeatherData → camelCase (raje uporabi snake_case)
Opisi: dejavnik kakovosti št. 1
Kakovost opisov neposredno določa zanesljivost klicanja funkcij. Tu je primerjalna tabela:
| Šibek opis | Učinkovit opis |
|---|---|
| "Search" | "Search for products by name, category, or price range in the e-commerce catalog" |
| "Send message" | "Send an email to a recipient. Requires a subject and message body. Does not support attachments." |
| "Calculate" | "Calculate the total price including tax from a pre-tax price and a VAT rate. Returns the amount in euros with 2 decimal places." |
Optimizacija števila orodij
Namesto da bi ob vsaki zahtevi deklariral 200 orodij, dinamično izberi tista, ki so dejansko pomembna. Prvi filter je kontekst: če uporabnik govori o vremenu, nalaganje orodij za obračune le dodaja šum – dovolj je lahka usmeritev na višji ravni (po ključnih besedah ali prvem klicu razvrščanja), da se predstavijo le ustrezne družine orodij. Drugi filter je vloga: agent za podporo ne potrebuje skrbniških orodij in njihova odstranitev je vprašanje natančnosti tako kot varnosti. Tretji je korak: v večstopenjskem delovnem toku ima vsaka faza svoja orodja – njihovo nalaganje sproti ohranja model osredotočen na tisto, kar mora storiti zdaj.
Korist je dvojna in takojšnja: manj vhodnih žetonov na zahtevo (definicije orodij te stanejo pri vsakem klicu) in boljša natančnost izbire – model, ki izbira med šestimi dobro opisanimi orodji, redko naredi napako, medtem ko isti model soočen z dvesto definicijami na koncu zamenja podobne variante.
Varnost: modelu nikoli ne zaupaj
Klicanje funkcij je potencialen vektor za injiciranje. Zlonamerni uporabnik bi lahko oblikoval svojo zahtevo tako, da manipulira z argumenti, posredovanimi funkcijam. Varnostna pravila:
- Preveri vse argumente na strani strežnika
- Omeji dovoljenja: funkcija za branje ne sme imeti možnosti pisanja
- Beleži klice: sledi vsakemu klicu funkcije zaradi revizije
- Očisti vnose: ubeži posebne znake pred poizvedbami SQL/lupine
Ključne ugotovitve
- Največ 200 orodij na zahtevo – ciljaj na 5–20 za učinkovitost
- Pred izvajanjem vedno preveri argumente na strani odjemalca
- Napake modelu vrni v strukturiranem JSON-u
- Imena morajo biti edinstvena, v zapisu snake_case in eksplicitna
- Podrobni opisi drastično izboljšajo zanesljivost
- Za vsako zahtevo dinamično izberi relevantna orodja
- Brez preverjanja nikoli ne zaupaj argumentom