Teocht agus Barr P go Mion
Ar an leathanach seo
Saineolas ar Randamú Aschuir
Chumhdaigh tú bunús na temperature agus na top_p i gCeacht 3. Anois, tá sé in am dul níos doimhne: conas a théann an dá pharaiméadar seo i bhfeidhm go matamaiticiúil ar ghiniúint, conas iad a chalabrú do chásanna úsáide ar leith, agus cén fáth gur foinse clasaiceach fadhbanna táirgeachta iad a chur le chéile.
Conas a Oibríonn Teocht
Ag gach céim den ghiniúint, ríomhann an tsamhail dáileadh dóchúlachta thar an stór focal iomlán: cé acu token a thiocfaidh ina dhiaidh, agus cén dóchúlacht atá leis. Tagann an teocht isteach ar an dáileadh seo roimh sampláil, ag athrú a crutha.
Idir 0.0 agus 0.3, éiríonn an dáileadh “biorach”: bíonn an token is dóichí i bhfad níos láidre ná cinn eile, rud a fhágann go bhfuil an tsamhail beagnach cinntitheach. Sin é an rud atá uait le haghaidh eastóscadh nó aicmiú, áit ar chóir do dhá ghlao chomhionanna torthaí comhionanna a tháirgeadh. Idir 0.4 agus 0.8, tagann cothromaíocht chun cinn idir comhleanúnachas agus éagsúlacht—is é seo an raon is coitianta sa táirgeadh, a úsáidtear do chatbotaí agus do scríbhneoireacht fháiltithe. Thairis sin, ó 0.9 go 1.5, cothaíonn an dáileadh: tá seans réadach ag tokenaí i bhfad níos lú dóichí anois go roghnófar iad. Méadaíonn an chruthaitheacht, ach méadaíonn an riosca neamhchomhleanúnais freisin, agus éiríonn an dá rud níos measa le chéile.
Déanann an turgnamh seo a leanas an feiniméan seo inbhraite trí úsáid a bhaint as abairt bhalbh d’aon ghnothach.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Tá soiléiriú amháin riachtanach maidir le temperature=0: fiú ag an luach seo, is féidir le hathruithe beaga teacht chun cinn idir dhá ghlao. Ní sa tsamhail atá an chúis, ach sa chrua-earraí—ní thugann oibríochtaí snámhphointe ar GPU ráthaíocht ar ord meastóireachta comhionann ar gach feidhmiú, agus uaireanta is leor difríocht shlánaithe chun an rogha a chlaonadh idir dhá token atá beagnach comhdhóchúil. Má éilíonn do chás úsáide an in-atáirgeadh is airde, comhcheangail temperature=0 le random_seed nuair a thacaíonn an tsamhail leis.
Conas a Oibríonn Barr P (Sampláil Núicléis)
Feidhmíonn Barr P tar éis na teochta, ar an dáileadh a d’athchruthaigh sé cheana féin. Ní hé is prionsabal dó dóchúlachtaí a shaobhadh, ach an liosta iarrthóirí a ghearradh, ag coinneáil ach na tokenaí a shroicheann an tairseach P lena suim dhóchúlachta carnach. Tarlaíonn an seicheamh iomlán i gceithre chéim:
- Ríomhann an tsamhail na dóchúlachtaí do gach token
- Athraíonn an teocht na dóchúlachtaí seo
- Déantar na tokenaí a shórtáil de réir dóchúlachta laghdaithe
- Coinníonn Barr P na tokenaí go dtí go sroichtear an tairseach carnach
Go praiticiúil, fágann top_p de 0.1 ach dornán beag iarrthóirí beo—úsáideach nuair a bhíonn an freagra a bhfuiltear ag súil leis fíorasach agus beagnach uathúil. Ag 0.95, fanann beagnach an stór focal inchreidte iomlán san iomaíocht, rud a oireann d’iarratas ar chumadóireacht.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
An Riail Órga: Paraiméadar Amháin ag an Am
Molann Mistral go sonrach gan teocht agus top_p a choigeartú ag an am céanna. Tagann an chúis as an méid a tháinig roimhe: feidhmíonn an dá cheann ar an dáileadh céanna, ceann amháin trí é a shaobhadh, agus an ceann eile trí é a ghearradh. Iolraítear a n-éifeachtaí ar bhealaí dofheicthe, agus caillfidh tú aon chumas athrú iompraíochta a chur síos ar cheann amháin nó ar an gceann eile le linn tástála. Roghnaigh do ghiaráil, agus fág an ceann eile ag a luach réamhshocraithe.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Calabrú de réir Cás Úsáide
In ionad teocht a roghnú ad hoc, ainmnigh do chumraíochtaí agus déan réasúnú de réir cuspóra. Is é 0.0 an luach d’eastóscadh agus d’aicmiú a dhíríonn ar fhreagra cruinn, in-atáirgthe. Fanann achoimriú dílis don téacs foinseach le beagán sreabhachta, mar sin 0.3. Lorgaíonn scríbhneoireacht fháiltithe nádúrthacht gan chruthaitheacht bhreise, ag 0.5; teastaíonn freagraí éagsúla ó chatbotaí comhrá, ag 0.7; éilíonn brainstoirmeáil an chruthaitheacht uasta, ag 1.2. I ngach cás, fanann top_p ag 1.0, de réir na riala roimhe seo.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Turgnamh a Dhéanamh go Modhúil
Is pointí tosaigh iad na luachanna seo, ní fírinneacha absalóideacha. Chun an socrú ceart a aimsiú do do thasc féin, ní mór duit tomhas a dhéanamh, agus ní thomhaiseann triail amháin in aghaidh na teochta aon rud. Rithann an fheidhm thíos cúig ghiniúint do gach luach a ndéantar tástáil air agus déanann sí comhaireamh ar na freagraí uathúla: seo do tháscaire éagsúlachta. Má thugann tasc 5/5 freagra uathúil ag T=0.3, is comhartha é go bhfuil an leid ró-oscailte, i bhfad níos mó ná teocht míroghnaithe.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Príomhphointí
- Athraíonn an teocht cruth dháileadh dóchúlachta na dtoken
- Gearrann Barr P an dáileadh trí na tokenaí is dóichí a choinneáil
- Ná coigeartaigh an dá cheann ag an am céanna riamh—modhnaigh paraiméadar amháin, agus fág an ceann eile ag an luach réamhshocraithe
- Níl
temperature=0go hiomlán cinntitheach mar gheall ar shlánú GPU - Déan calabrú le tástáil mhodhúil: 5+ triail in aghaidh na cumraíochta, tomhais an éagsúlacht