Arhitekture s više alata u proizvodnji
Na ovoj stranici
Ažurirano 2. studenoga 2026. na temelju OpenAI dokumentacije: alat Code Interpreter sada zahtijeva parametar
container(dodan svim primjerima), dijelovi tekstualnog unosa tipizirani su kaoinput_text, a web pretraživanje koristi alatweb_search(web_search_previewsada je zastarjeli alat bez filtara domena). Generirane datoteke dohvaćaju se pomoću funkcijafichiers_generesitelechargeriz Lekcije 10. Izvori: Code Interpreter · Web search.
Arhitekture s više alata u proizvodnji
Prototip s više alata funkcionira jer ga koristi jedna osoba, poznaje njegova ograničenja i ponovno ga pokreće kada zakaže. Proizvodnja uklanja sva tri uvjeta odjednom. Ono što postaje kritično nije kvaliteta odgovora – ona je već bila prisutna – već tri svojstva koja prototipu nedostaju: znati što se dogodilo kada poziv ne uspije, spriječiti beskonačnu petlju da isprazni tvoj budžet i moći modificirati ponašanje bez ponovnog uvođenja u proizvodnju.
Obrazci u nastavku rješavaju svaki od ovih zahtjeva. Nemoj ih sve usvojiti odjednom: kreni s opservabilnošću, jer bez nje nećeš ni znati koji od ostalih nedostaje.
Slojevita arhitektura
Razdvajanje odgovornosti u slojeve nije arhitektonska elegancija: to čini svaki dio zamjenjivim. Konkretna korist je ta da možeš promijeniti orkestraciju bez dodirivanja sučelja ili dodati alat bez prepisivanja poslovne logike. Četiri sloja u nastavku minimalan su rastav koji se održava u praksi.
# Sloj 1: Sučelje - prihvat zahtjeva
# Sloj 2: Orkestracija - upravljanje petljom i usmjeravanje
# Sloj 3: Izvršenje - pozivi alata i funkcija
# Sloj 4: Opservabilnost - zapisi, metrike, tragovi
from openai import OpenAI
from dataclasses import dataclass, field
from datetime import datetime
import json
import time
import logging
logger = logging.getLogger("multi-outils")
@dataclass
class TraceExecution:
"""Trag izvršenja za praćenje."""
requete_id: str
debut: float = field(default_factory=time.time)
tours: list = field(default_factory=list)
outils_utilises: list = field(default_factory=list)
tokens_total: int = 0
erreurs: list = field(default_factory=list)
duree_totale: float = 0.0
Produkcijski orkestrator
class OrchestreurProduction:
def __init__(self, config: dict):
self.client = OpenAI()
self.config = config
self.tools = self._construire_tools(config)
self.dispatcher = self._construire_dispatcher(config)
def _construire_tools(self, config: dict) -> list:
"""Gradi niz alata iz konfiguracije."""
tools = []
if config.get("file_search"):
tools.append({
"type": "file_search",
"vector_store_ids": config["file_search"]["vector_stores"],
"max_num_results": config["file_search"].get("max_results", 10)
})
if config.get("web_search"):
tools.append({
"type": "web_search",
"search_context_size": config["web_search"].get("context_size", "medium")
})
if config.get("code_interpreter"):
tools.append({"type": "code_interpreter", "container": {"type": "auto"}})
for func in config.get("fonctions", []):
tools.append(func)
return tools
def _construire_dispatcher(self, config: dict) -> dict:
"""Mapira imena funkcija na njihove implementacije."""
return config.get("implementations", {})
def executer(self, requete: str, fichiers: list = None,
max_tours: int = 10) -> dict:
"""Izvršava zahtjev s potpunim praćenjem."""
trace = TraceExecution(
requete_id=f"req_{int(time.time()*1000)}"
)
content = [{"type": "input_text", "text": requete}]
if fichiers:
for fid in fichiers:
content.append({"type": "input_file", "file_id": fid})
messages = [{"role": "user", "content": content}]
try:
for tour in range(max_tours):
debut_tour = time.time()
response = self.client.responses.create(
model=self.config.get("model", "gpt-5.6-terra"),
input=messages,
tools=self.tools,
instructions=self.config.get("instructions", "")
)
trace.tokens_total += response.usage.total_tokens
# Identificiraj pozive funkcija
appels = [
item for item in response.output
if item.type == "function_call"
]
# Zabilježi korištene alate
for item in response.output:
if hasattr(item, "type"):
trace.outils_utilises.append(item.type)
trace.tours.append({
"numero": tour + 1,
"appels_fonction": len(appels),
"duree": time.time() - debut_tour
})
if not appels:
trace.duree_totale = time.time() - trace.debut
return {
"reponse": response.output_text,
"trace": trace
}
# Izvrši prilagođene funkcije
resultats = self._executer_fonctions(appels, trace)
messages = response.output + resultats
except Exception as e:
trace.erreurs.append(str(e))
trace.duree_totale = time.time() - trace.debut
logger.error(f"Erreur requête {trace.requete_id}: {e}")
return {"reponse": None, "erreur": str(e), "trace": trace}
trace.duree_totale = time.time() - trace.debut
return {"reponse": "Limite de tours", "trace": trace}
def _executer_fonctions(self, appels: list, trace: TraceExecution) -> list:
"""Izvršava funkcije s rukovanjem greškama."""
resultats = []
for appel in appels:
try:
func = self.dispatcher.get(appel.name)
if not func:
raise ValueError(f"Fonction inconnue : {appel.name}")
args = json.loads(appel.arguments)
resultat = func(**args)
resultats.append({
"type": "function_call_output",
"call_id": appel.call_id,
"output": json.dumps(resultat)
})
except Exception as e:
trace.erreurs.append(f"{appel.name}: {str(e)}")
resultats.append({
"type": "function_call_output",
"call_id": appel.call_id,
"output": json.dumps({"error": str(e)})
})
return resultats
Deklarativna konfiguracija
Izvlačenje definicija sustava iz koda u konfiguraciju mijenja tko može intervenirati. Prilagodba sistemskog prompta, uklanjanje alata ili modificiranje gornje granice troškova postaje promjena datoteke – koja se može pregledati i poništiti – umjesto uvođenja u proizvodnju. Na sustavu koji evoluira tjedno, to je razlika između iteriranja i reagiranja.
config_assistant_commercial = {
"model": "gpt-5.6-terra",
"instructions": (
"You are a sales assistant. You have access to CRM data, "
"product documentation, the web, and data analysis. "
"Prioritize internal data, enrich with web data."
),
"file_search": {
"vector_stores": ["vs_fiches_produit", "vs_propositions"],
"max_results": 10
},
"web_search": {
"context_size": "medium"
},
"code_interpreter": True,
"fonctions": [
{
"type": "function",
"name": "creer_opportunite",
"description": "Create an opportunity in the CRM",
"parameters": {
"type": "object",
"properties": {
"client": {"type": "string"},
"montant": {"type": "number"},
"probabilite": {"type": "integer"}
},
"required": ["client", "montant", "probabilite"],
"additionalProperties": False
},
"strict": True
}
],
"implementations": {
"creer_opportunite": lambda client, montant, probabilite:
crm_service.creer_opportunite(client, montant, probabilite)
}
}
orchestreur = OrchestreurProduction(config_assistant_commercial)
resultat = orchestreur.executer("Prepare a proposal for Acme Corp")
Opservabilnost i praćenje
Nadzorna ploča metrika
Tri metrike dovoljne su za početak, a svaka odgovara na drugačije pitanje: latencija po alatu govori ti koji usporava sustav, stopa neuspjeha po alatu govori ti koji je krhak, a trošak po zahtjevu govori ti koji izmiče kontroli. Globalni prosjek kroz sve tri ne odgovara ni na jedno od ovih pitanja.
class MetriquesMultiOutils:
def __init__(self):
self.requetes = []
def enregistrer(self, trace: TraceExecution):
self.requetes.append({
"id": trace.requete_id,
"timestamp": datetime.now().isoformat(),
"duree": trace.duree_totale,
"tours": len(trace.tours),
"tokens": trace.tokens_total,
"outils": list(set(trace.outils_utilises)),
"erreurs": len(trace.erreurs),
"cout_estime": self._estimer_cout(trace)
})
def _estimer_cout(self, trace: TraceExecution) -> float:
"""Procjenjuje trošak izvršenja u dolarima."""
# Priblične stope za gpt-5.6-terra: $2 / $12 po milijunu
cout_input = trace.tokens_total * 0.6 * 0.000002
cout_output = trace.tokens_total * 0.4 * 0.000012
return round(cout_input + cout_output, 4)
def rapport(self) -> dict:
if not self.requetes:
return {}
durees = [r["duree"] for r in self.requetes]
tokens = [r["tokens"] for r in self.requetes]
couts = [r["cout_estime"] for r in self.requetes]
return {
"total_requetes": len(self.requetes),
"duree_moyenne": sum(durees) / len(durees),
"tokens_moyen": sum(tokens) / len(tokens),
"cout_total": sum(couts),
"taux_erreur": sum(1 for r in self.requetes if r["erreurs"] > 0) / len(self.requetes),
"outils_les_plus_utilises": self._outils_frequents()
}
def _outils_frequents(self) -> dict:
compteur = {}
for r in self.requetes:
for outil in r["outils"]:
compteur[outil] = compteur.get(outil, 0) + 1
return dict(sorted(compteur.items(), key=lambda x: -x[1]))
Upravljanje troškovima
class GestionnaireCouts:
def __init__(self, budget_quotidien: float = 50.0):
self.budget = budget_quotidien
self.depenses_jour = 0.0
self.date_reset = datetime.now().date()
def peut_executer(self, cout_estime: float) -> bool:
"""Provjerava dopušta li budžet izvršenje."""
aujourdhui = datetime.now().date()
if aujourdhui > self.date_reset:
self.depenses_jour = 0.0
self.date_reset = aujourdhui
return (self.depenses_jour + cout_estime) <= self.budget
def enregistrer_depense(self, cout: float):
self.depenses_jour += cout
def budget_restant(self) -> float:
return self.budget - self.depenses_jour
# Integracija u orkestrator
gestionnaire_couts = GestionnaireCouts(budget_quotidien=100.0)
def executer_avec_budget(orchestreur, requete, **kwargs):
cout_estime = 0.05 # Konzervativna procjena
if not gestionnaire_couts.peut_executer(cout_estime):
return {"erreur": "Daily budget reached", "restant": 0}
resultat = orchestreur.executer(requete, **kwargs)
cout_reel = resultat["trace"].tokens_total * 0.000002
gestionnaire_couts.enregistrer_depense(cout_reel)
return resultat
Obrazac: inteligentni usmjerivač
Kako se slučajevi uporabe množe, napast je sve prepustiti jednom sustavu opremljenim svakim alatom. To je najskuplji izbor: svaki zahtjev, čak i trivijalni, nosi puni skup definicija alata. Usmjerivač koji prvo klasificira zahtjev, a zatim poziva specijaliziranog orkestratora, održava kontekste kratkima i čini svaki tok zasebno mjerljivim.
class RouteurIntelligent:
def __init__(self):
self.client = OpenAI()
self.orchestreurs = {}
def enregistrer(self, domaine: str, orchestreur: OrchestreurProduction):
self.orchestreurs[domaine] = orchestreur
def router(self, requete: str) -> dict:
"""Određuje domenu i usmjerava na ispravan orkestrator."""
# Brza klasifikacija s laganim modelom
response = self.client.responses.create(
model="gpt-5.6-terra",
input=f"Classify this request into a domain: {requete}\n"
f"Available domains: {list(self.orchestreurs.keys())}\n"
f"Respond only with the domain name.",
)
domaine = response.output_text.strip().lower()
if domaine not in self.orchestreurs:
domaine = "general" # Rezerva
logger.info(f"Requête routee vers : {domaine}")
return self.orchestreurs[domaine].executer(requete)
# Konfiguracija
routeur = RouteurIntelligent()
routeur.enregistrer("commercial", OrchestreurProduction(config_assistant_commercial))
routeur.enregistrer("support", OrchestreurProduction(config_support))
routeur.enregistrer("rh", OrchestreurProduction(config_rh))
# Uporaba
resultat = routeur.router("How many vacation days do I have left?")
# -> Automatski usmjerava na HR orkestrator
Kontrolni popis za proizvodnju
Ovaj kontrolni popis namjerno je kratak. Ne teži iscrpnosti, već pokriva točke čija odsutnost košta u incidentima, a ne u nelagodi – i koje ne možeš dodati u žurbi onog dana kada je sustav već u rukama korisnika.
checklist = {
"securite": [
"Validate arguments for each function",
"Rate limiting per user",
"Sanitize inputs and outputs",
"No sensitive data in logs"
],
"fiabilite": [
"Retry with backoff on transient errors",
"Circuit breaker per external service",
"Timeout per tool and per global request",
"Fallback when a tool is unavailable"
],
"performance": [
"Parallel execution of independent calls",
"Cache frequent search results",
"Limit the number of loop iterations",
"Choose the model adapted to complexity (gpt-5.6-terra vs gpt-5.6-terra)"
],
"observabilite": [
"Structured logging for each call",
"Latency and cost metrics",
"Alerts on error rate",
"Complete trace of each request"
],
"couts": [
"Daily budget with circuit breaker",
"Cost estimation before execution",
"Weekly spending report",
"Model choice optimization by complexity"
]
}
Ključne točke
- Razdvoji u slojeve: sučelje, orkestracija, izvršenje, opservabilnost
- Koristi deklarativnu konfiguraciju za definiranje sustava
- Prati svako izvršenje radi praćenja i otklanjanja grešaka
- Implementiraj upravitelja troškovima s dnevnim budžetom
- Inteligentni usmjerivač distribuira zahtjeve pravim orkestratorima
Provjeri svoje znanje
Pozivanje funkcija, pretraživanje, izvršenje: puni arsenal u pet pitanja.
1. Što dobra shema funkcije mora sadržavati?
Odgovor: Stroge tipove i operativne opise po parametru – to je ugovor koji model koristi za odluku kada pozvati i kako popuniti; validacija odbija ostalo.
2. Web Search ili File Search: kako odabrati?
Odgovor: Web Search za javne, nedavne informacije; File Search za tvoje indeksirane dokumente (chunking + ugrađeno rangiranje) – a hibridno pretraživanje kombinira oboje kada odgovor obuhvaća oba svijeta.
3. Što Code Interpreter omogućuje u API-ju?
Odgovor: Izvršavanje koda u sandboxu: obrada CSV/Excel/slika, precizno izračunavanje, izrada grafikona – model rasuđuje, kod izračunava, sandbox izolira.
4. Čemu služi Tool Search?
Odgovor: Za dinamično izlaganje velikog kataloga alata: model traži relevantni alat umjesto da odjednom primi stotinu shema – kontekst ostaje lagan, mogućnosti ostaju goleme.
5. Koja se pravila primjenjuju na arhitekturu s više alata u proizvodnji?
Odgovor: Alati s jasnim opsegom, rukovanje greškama i rezerve po alatu, paralelni pozivi kada su neovisni i opservabilnost za svaki poziv – robusnost se dizajnira alat po alat.
Svaki alat ima svoj teren; proizvodnja ih kombinira – gornja konačna arhitektura tvoj je referentni plan.