Codestral API u Pythonu
Na ovoj stranici
Pozivanje Codestrala iz Pythona
Ova lekcija prelazi s teorije na izvršni kod. Koristit ćeš Mistral AI Python SDK za upite Codestralu na njegove dvije krajnje točke, prilagoditi napredne parametre koji razlikuju korisni prijedlog od opširnog te implementirati obrasce pronađene u većini integracija iz stvarnog svijeta.
Instalacija i konfiguracija
Instaliraj SDK jednom naredbom:
pip install mistralai
Dohvati svoj API ključ s console.mistral.ai i učitaj ga iz okruženja umjesto da ga tvrdokodiraš u datoteku:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Dvije platforme pružaju uslugu Codestrala, a biraš između njih prilikom izrade ključa. api.mistral.ai radi po načelu plaćanja prema korištenju s obračunom temeljenim na potrošnji: ovo je standardni put kada je Codestral jedna od mnogih komponenti u aplikaciji. codestral.mistral.ai namjenska je krajnja točka, dostupna besplatno ili putem pretplate, dizajnirana za izravnu uporabu od strane programera unutar njihovog uređivača.
Potpuni FIM poziv
Evo detaljnog FIM poziva sa svim važnim parametrima:
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.fim.complete(
model="codestral-latest",
prompt="def calculate_vat(price_excl: float, rate: float = 0.20) -> float:",
suffix="price = float(input('Price excl. VAT: '))\nprint(f'Price incl. VAT: {calculate_vat(price):.2f} EUR')",
temperature=0,
max_tokens=150,
stop=["\n\n"],
)
completion = response.choices[0].message.content
print(completion)
Raščlanjivanje odgovora
Vraćeni objekt sadrži više od samo generiranog teksta. U proizvodnji bi trebao sustavno provjeriti tri podatka: samo dovršavanje, potrošnju tokena koja određuje tvoj račun i razlog zaustavljanja, koji ti govori je li model završio prirodno ili je dosegnuo tvoje ograničenje.
# Pristup generiranom dovršavanju
text = response.choices[0].message.content
# Provjera broja korištenih tokena
tokens_prompt = response.usage.prompt_tokens
tokens_completion = response.usage.completion_tokens
tokens_total = response.usage.total_tokens
# Provjera razloga zaustavljanja
reason = response.choices[0].finish_reason # "stop", "length", itd.
finish_reason vrijednosti "length" na polovici tvojih poziva jasan je signal: tvoj max_tokens prenizak je i isporučuješ skraćeni kod svojim korisnicima.
Chat poziv za generiranje koda
Kada nema kursora usred datoteke—kao što je slučaj kod potpunog generiranja, objašnjavanja ili refaktoriranja—preuzima chat krajnja točka. Sistemska poruka tada okviruje format izlaza, čime se izbjegava potreba za naknadnim čišćenjem odgovora:
response = client.chat.complete(
model="codestral-latest",
messages=[
{
"role": "system",
"content": "You are an expert Python development assistant. Respond with code only, no explanations."
},
{
"role": "user",
"content": "Write a Python function that validates an email address using regex."
}
],
temperature=0.2,
max_tokens=500,
)
code = response.choices[0].message.content
print(code)
Napredni parametri
Par min_tokens / max_tokens okviruje duljinu izlaza. Donja granica korisna je pri generiranju bloka za koji znaš da ne može biti kraći od određenog volumena, poput funkcije s njezinom obradom pogrešaka.
# min_tokens: nameće minimalnu duljinu izlaza
# max_tokens: ograničava maksimalnu duljinu
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
min_tokens=20,
max_tokens=300,
)
Tokeni za zaustavljanje imaju drugačiju ulogu: oni zaustavljaju generiranje na specifičnom uzorku, držeći dovršavanje unutar opsega trenutne funkcije umjesto da dopuste modelu lančano prijeći na sljedeću.
# Zaustavi generiranje na specifičnim uzorcima
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
stop=["\n\n", "\nclass ", "\ndef "], # Zaustavi prije nove funkcije/klase
)
Konačno, temperatura upravlja varijabilnošću. Pri 0, isti ulaz uvijek daje isti izlaz, što automatsko dovršavanje zahtijeva. Oko 0.3, model predlaže varijante, što je zanimljivo pri prikazivanju više prijedloga. Pri 0.7, nalaziš se u načinu brainstorminga koda, korisnom za istraživanje pristupa, ali neprikladnom za tijek uređivanja.
# temperature=0: deterministički (automatsko dovršavanje)
# temperature=0.3: blago kreativno (više prijedloga)
# temperature=0.7: kreativno (brainstorming koda)
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0.3,
top_p=0.95,
)
Dva obrasca za kopiranje i lijepljenje
Prvi reproducira ponašanje IDE-a: dijeliš sadržaj datoteke na poziciji kursora, a te dvije polovice postaju prompt i suffix.
def autocomplete_ide(file_content: str, cursor_position: int) -> str:
"""Simulira automatsko dovršavanje IDE-a s Codestral FIM-om."""
prompt = file_content[:cursor_position]
suffix = file_content[cursor_position:]
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
temperature=0,
max_tokens=100,
stop=["\n\n", "\ndef ", "\nclass "],
)
return response.choices[0].message.content
Drugi automatizira dokumentaciju za postojeći projekt: prosljeđuješ funkciju, dohvaćaš njezin docstring, a sistemska instrukcija nameće jedan format kako bi se rezultat mogao umetnuti bez daljnjeg uređivanja.
def generate_docstring(function_code: str) -> str:
"""Generira docstring za Python funkciju."""
response = client.chat.complete(
model="codestral-latest",
messages=[
{
"role": "system",
"content": "Generate a Google-style docstring for the following function. Return ONLY the docstring between triple quotes."
},
{
"role": "user",
"content": function_code
}
],
temperature=0,
max_tokens=300,
)
return response.choices[0].message.content
Rukovanje pogreškama
Mrežni poziv prije ili kasnije će neuspjeti, a proširenje uređivača koje se ruši zbog pogreške validacije gore je od proširenja bez dovršavanja. Stoga uvijek omotaj svoje pozive:
from mistralai.client import Mistral
from mistralai.client.errors import HTTPValidationError
try:
response = client.fim.complete(
model="codestral-latest",
prompt=prompt,
suffix=suffix,
)
except HTTPValidationError as e:
print(f"Validation error: {e}")
except Exception as e:
print(f"Unexpected error: {e}")
Ključne točke
mistralaiSDK izlažeclient.fim.complete()za FIM iclient.chat.complete()za chat- Parametri
promptisuffixspecifični su za FIM krajnju točku - Koristi
temperature=0za automatsko dovršavanje,0.2-0.7za kreativno generiranje stopograničava generiranje na koherentan blok kodamin_tokensimax_tokenskontroliraju duljinu izlaza- Uvijek rukuj HTTP pogreškama u proizvodnom kodu