API Embeddings: modeļi un dimensijas
Šajā lapā
Mērķi
- Apgūt
client.embeddings.create()izsaukumu - Saprast atšķirības starp iegulšanas (embedding) modeļiem
- Izmantot dimensionalitātes samazināšanu
Pamata izsaukums
Visa OpenAI Embeddings API ietilpst vienā metodē: client.embeddings.create(). Tu tai nodod teksta virkni un modeļa nosaukumu:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Atgrieztais objekts nav pats vektors, bet gan aptverošs konteiners, kas satur vairākus vektorus, jo API ir paredzēts darbam ar kopām (batches). Tajā tu atradīsi data – sarakstu ar objektiem, kur katram ir lauks embedding (vektors) un lauks index (tā pozīcija nosūtītajā kopā); model – faktiski izmantoto modeli; un usage.prompt_tokens – apmaksājamo token skaits. Šo pēdējo lauku tev vajadzētu reģistrēt jau no pirmās dienas: tas ir vienīgais uzticamais rādītājs, cik maksā tava indeksēšana.
Divi pieejamie modeļi
text-embedding-3-large ir augstas veiktspējas modelis. Tā 3072 dimensijas fiksē smalkākās semantiskās nianses, padarot to ideālu lielu korpusu meklēšanai, prasīgām RAG cauruļvadu sistēmām un vispārīgi jebkuram gadījumam, kur precizitāte ir svarīgāka par izmaksām. Ja lietotājs uzdod jautājumus netieši vai tavi dokumenti aptver blīvu tehnisku jomu, tu redzēsi atšķirību rezultātu rangā.
text-embedding-3-small ir kompaktāks ar 1536 dimensijām un piedāvā lielisku cenas un veiktspējas attiecību. Tas ir pareizais izvēles variants teksta klasifikācijai, ieteikumu sistēmām, ātrai prototipēšanai un liela apjoma lietojumprogrammām, kur mērķis nav atšķirt divus gandrīz identiskus dokumentus, bet gan nodalīt skaidri atšķirīgas tēmas. Vienkāršs cikls pārbauda, ko katrs atgriež:
# Compare the two models
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Iegulšanas kopās (Batch Embeddings)
Tu neindeksē reālu korpusu pa vienam tekstam: katrs HTTP izsaukums prasa tīkla apriti, un tūkstoš dokumentu apstrāde individuāli nozīmē tūkstoš kavējumu uzkrāšanos. API pieņem līdz 2048 tekstiem vienā izsaukumā, un lauks index ļauj kartēt katru vektoru atpakaļ uz pareizo dokumentu.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
Praksē sagrupē savus tekstus kopās no 100 līdz 2048 atkarībā no apjoma: mazākas kopas atvieglo atjaunošanos pēc kļūdām, savukārt lielākas samazina izsaukumu skaitu. Uzraugi usage.prompt_tokens katrā iterācijā, lai novērtētu izmaksas procesa gaitā, nevis uzzinātu tās no rēķina, un ievies eksponenciālu paužu stratēģiju atkārtotiem mēģinājumiem: ātruma limita pārsniegšana ir pārejoša kļūda, nevis iemesls pārtraukt trīs stundas ilgu indeksēšanas darbu.
Dimensionalitātes samazināšana
Modeļi text-embedding-3-* pieņem parametru dimensions, kas atgriež vektorus, kas ir īsāki par to dabisko izmēru:
# Full vector: 3072 dimensions
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Reduced vector: 256 dimensions
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Mehānisms ir vienkāršs: samazināšana saīsina vektoru un pēc tam to normalizē no jauna. Tā kā pirmās dimensijas nes visvairāk informācijas, kvalitātes pasliktināšanās notiek ļoti pakāpeniski. Zemāk esošajā tabulā sniegti standarta etaloni, lai samērotu kvalitāti pret krātuves izmantošanu.
| Dimensions | Relative Quality | Storage | Use Case |
|---|---|---|---|
| 3,072 | 100% | ~24 KB | High-precision search |
| 1,536 | ~98% | ~12 KB | Good general compromise |
| 512 | ~93% | ~4 KB | High volume, reduced cost |
| 256 | ~88% | ~2 KB | Prototyping, simple classification |
Atceries, ka dimensiju izvēle tevi saista: visiem vektoriem konkrētā indeksā ir jābūt vienāda izmēra, un domas maiņa prasīs visu datu pārrēķināšanu.
Tokenu pārvaldība
Iegulšanas modeļiem ir limits – 8191 tokens uz vienu tekstu, un API atgriež kļūdu, ja to pārsniedz. Labāk ir izmērīt pirms nosūtīšanas, nevis ķert izņēmumu kopas vidū:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Truncate
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Saīsināšana ir drošības tīkls, nevis stratēģija: saīsināts garš dokuments zaudē savu beigudaļu, un bieži vien tieši beigās slēpjas meklētā atbilde. Pareiza lielu dokumentu apstrāde ietver sadalīšanu fragmentos (chunking), ko aplūkosim vēlāk kursa gaitā.
Galvenās atziņas
client.embeddings.create()pieņem vienu tekstu vai tekstu sarakstu- Izmanto
text-embedding-3-large(3072 dim) precizitātei,text-embedding-3-small(1536 dim) izmaksu efektivitātei - Parametrs
dimensionsļauj samazināt vektora izmēru - Tekstu grupēšana kopās ir efektīvāka par individuāliem izsaukumiem
- Limits ir 8191 tokens uz vienu tekstu