An API Leabaithe: Múnlaí agus Toisí
Ar an leathanach seo
Cuspóirí
- Máistreacht a dhéanamh ar an nglao
client.embeddings.create() - Tuiscint a fháil ar na difríochtaí idir múnlaí leabaithe
- Laghdú toiseachta a úsáid
An Glao Bunúsach
Tá API Leabaithe iomlán OpenAI oiriúnach d’aon mhodh amháin: client.embeddings.create(). Cuirtear teaghrán téacs agus ainm múnla ar fáil dó:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Ní hé an veicteoir féin an oibiacht a fhilltear, ach clúdach ina bhfuil veicteoirí iolracha, toisc go bhfuil an API deartha chun baisc a láimhseáil. Laistigh, gheobhaidh tú data, liosta d’oibiachtaí ina bhfuil réimse embedding (an veicteoir) agus réimse index (a shuíomh sa bhaisc a seoladh) ag gach ceann; model, an múnla iarbhír a úsáideadh; agus usage.prompt_tokens, líon na dtócan a gearradh. Ba chóir duit an réimse deireanach seo a logáil ón gcéad lá: is é an t-aon tomhas iontaofa ar do chostais innéacsaithe.
An Dá Mhúnla atá Ar Fáil
Is é text-embedding-3-large an múnla ardfheidhmíochta. Gabhann a 3,072 toise na nuansaí seimeantacha is mín, rud a fhágann go bhfuil sé idéalach chun corpais mhóra a chuardach, píblínte RAG éilitheacha, agus go ginearálta aon chás ina bhfuil tábhacht níos mó le cruinneas ná le costas. Má chuireann úsáideoir ceisteanna go hindíreach nó má chlúdaíonn do dhoiciméid fearann teicniúil dlúth, feicfidh tú an difríocht sa chaoi a ndéantar na torthaí a rangú.
Tá text-embedding-3-small níos dlúithe le 1,536 toise agus tairgeann sé cóimheas den scoth idir praghas agus feidhmíocht. Is é an rogha cheart é le haghaidh aicmiú téacs, moltaí, protaitíopáil thapa, agus feidhmchláir ardtoirte nach bhfuil mar aidhm acu idirdhealú a dhéanamh idir dhá dhoiciméad atá beagnach comhionann ach téamaí atá go hiomlán difriúil a scaradh. Deimhníonn lúb shimplí cad a fhillann gach ceann:
# Compare the two models
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Leabaithe Baisce
Ní dhéanann tú innéacsú ar chorpas fíor téacs ar théacs: costálann gach glao HTTP turas líonra, agus míle doiciméad a phróiseáil go hindibhidiúil ciallaíonn míle moill a charnadh. Glacann an API le suas le 2,048 téacs i nglao amháin, agus ligeann an réimse index duit gach veicteoir a mhapáil ar ais chuig an doiciméad ceart.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
Go praiticiúil, grúpáil do chuid téacsanna i mbaisc de 100 go 2,048 ag brath ar do thoirt: déanann baisc níos lú aisghabháil tar éis teipeanna níos fusa, cé go laghdaíonn cinn níos mó líon na nglao. Déan monatóireacht ar usage.prompt_tokens ag gach atriall chun costais a mheas de réir mar a théann tú ar aghaidh seachas iad a fháil amach ar an mbille, agus cuir athriail chúltaca easpónantúil i bhfeidhm: is earráid thréimhseach é sárú teorann ráta, ní cúis le post innéacsaithe trí huaire an chloig a chur ar ceal.
Laghdú Toiseachta
Glacann na múnlaí text-embedding-3-* le paraiméadar dimensions a fhillíonn veicteoirí níos giorra ná a méid dúchais:
# Full vector: 3072 dimensions
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Reduced vector: 256 dimensions
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Tá an mheicníocht simplí: gearrtar an veicteoir agus ath-normáltaítear é ansin. Ós rud é go n-iompraíonn na chéad toisí an chuid is mó den eolas, fanann an díghrádú an-mhall. Soláthraíonn an tábla thíos tagarmharcanna caighdeánacha chun cáilíocht a mhalartú in aghaidh stórála.
| Dimensions | Relative Quality | Storage | Use Case |
|---|---|---|---|
| 3,072 | 100% | ~24 KB | High-precision search |
| 1,536 | ~98% | ~12 KB | Good general compromise |
| 512 | ~93% | ~4 KB | High volume, reduced cost |
| 256 | ~88% | ~2 KB | Prototyping, simple classification |
Cuimhnigh go gcuireann do rogha toise faoi ghlas tú: caithfidh gach veicteoir in innéacs ar leith an méid céanna a bheith acu, agus éilíonn athrú intinne gach rud a ríomh arís.
Bainistíocht Tócan
Tá teorainn 8,191 tócan in aghaidh an téacs ag múnlaí leabaithe, agus fillfidh an API earráid má sháraíonn tú é seo. Is fearr tomhas a dhéanamh sula seolann tú ná eisceacht a ghabháil i lár baisce:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Truncate
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Is líon sábháilteachta é gearradh, ní straitéis: cailleann doiciméad fada gearrtha a dheireadh, agus is minic gurb é an deireadh an freagra atá uait. Baineann láimhseáil cheart do dhoiciméid mhóra le míreáil, rud a phléfaimid níos déanaí sa chúrsa.
Príomhphointí
- Glacann
client.embeddings.create()le téacs amháin nó le liosta téacsanna - Úsáid
text-embedding-3-large(3,072 toise) le haghaidh cruinnis,text-embedding-3-small(1,536 toise) le haghaidh cost-éifeachtúlachta - Ligeann an paraiméadar
dimensionsduit méid an veicteora a laghdú - Tá baisciú téacsanna níos éifeachtaí ná glaonna aonair
- Teorainn 8,191 tócan in aghaidh an téacs