Embeddings API: mudelid ja dimensioonid
Sellel lehel
Eesmärgid
- Omanda
client.embeddings.create()väljakutse - Mõista erinevusi embedding-mudelite vahel
- Kasuta dimensionaalsuse vähendamist
Põhiväljakutse
Kogu OpenAI Embeddings API mahub ühte meetodisse: client.embeddings.create(). Sa annad sellele tekstistringi ja mudeli nime:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Tagastatud objekt pole mitte vektor ise, vaid pakett, mis sisaldab mitut vektorit, kuna API on loodud partide töötlemiseks. Seest leiad data – loendi objektidest, millest ühel on väli embedding (vektor) ja väli index (selle positsioon saadetud partis); model – tegelikult kasutatud mudel; ja usage.prompt_tokens – arvutatud tokenite arv. Logi seda viimast välja esimesest päevast: see on ainus usaldusväärne mõõt selle kohta, mida sinu indekseerimine maksab.
Kaks saadaolevat mudelit
text-embedding-3-large on suure jõudlusega mudel. Selle 3072 dimensiooni püüavad kinni peenimad semantilised nüansid, muutes selle ideaalseks suurte korpuste otsinguks, nõudlike RAG-torustike jaoks ja üldiselt iga juhu puhul, kus täpsus kaalub üles kulud. Kui kasutaja sõnastab küsimusi kaudselt või sinu dokumendid katavad tihedat tehnilist valdkonda, näed tulemuste järjestuses erinevust.
text-embedding-3-small on kompaktsem 1536 dimensiooniga ja pakub suurepärast hinna ja jõudluse suhet. See on õige valik teksti klassifitseerimiseks, soovitussüsteemideks, kiireks prototüüpimiseks ja suure mahuga rakendusteks, kus eesmärk pole eristada kahte peaaegu identset dokumenti, vaid eraldada selgelt erinevaid teemasid. Lihtne tsükkel kontrollib, mida kumb tagastab:
# Compare the two models
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Embeddingute partiid
Sa ei indekseeri päris korpust tekst kaupa: iga HTTP-väljakutse maksab võrguringkäigu ja tuhande dokumendi töötlemine individuaalselt tähendab tuhande latentsuse kuhjumist. API aktsepteerib ühes väljakutses kuni 2048 teksti ja väli index võimaldab sul iga vektori tagasi sobivale dokumendile kaardistada.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
Praktikas rühmita oma tekstid partidesse suurusega 100 kuni 2048, sõltuvalt oma mahust: väiksemad partiid muudavad taastumise pärast tõrkeid lihtsamaks, suuremad vähendavad väljakutsete arvu. Jälgi usage.prompt_tokens igal iteratsioonil, et hinnata kulusid jooksvalt, mitte avastada neid alles arvelt, ja rakenda eksponentsiaalset tagasipöördumist (exponential backoff): kiirusepiirangu ületamine on mööduv viga, mitte põhjus katkestada kolmetunnist indekseerimistööd.
Dimensionaalsuse vähendamine
Mudelid text-embedding-3-* aktsepteerivad parameetrit dimensions, mis tagastab nende loomulikust suurusest lühemaid vektoreid:
# Full vector: 3072 dimensions
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Reduced vector: 256 dimensions
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Mehhanism on lihtne: vähendamine lühendab vektorit ja seejärel normaliseerib selle uuesti. Kuna esimesed dimensioonid kannavad kõige rohkem informatsiooni, on halvenemine väga järkjärguline. Allpool olev tabel annab standardsed võrdlusandmed kvaliteedi ja salvestusruumi vahelise kompromissi jaoks.
| Dimensioonid | Suhteline kvaliteet | Salvestusruum | Kasutusjuht |
|---|---|---|---|
| 3 072 | 100% | ~24 KB | Suure täpsusega otsing |
| 1 536 | ~98% | ~12 KB | Hea üldine kompromiss |
| 512 | ~93% | ~4 KB | Suur maht, vähenenud kulud |
| 256 | ~88% | ~2 KB | Prototüüpimine, lihtne klassifitseerimine |
Pea meeles, et dimensioonide valik seob sind: kõigil antud indeksis olevatel vektoritel peab olema sama suurus ja meele muutmine nõuab kõige uuesti arvutamist.
Tokenite haldamine
Embedding-mudelitel on piirang 8191 tokenit teksti kohta ja API tagastab vea, kui sellest ületad. Parem on mõõta enne saatmist, kui püüda erindit (exception) keset parti:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Truncate
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Lühendamine on ohutusvõrk, mitte strateegia: lühendatud pikk dokument kaotab oma lõpu ja lõpp sisaldab sageli vastust, mida otsid. Suurte dokumentide korrektne käitlemine hõlmab tükeldamist (chunking), mida käsitleme kursusel hiljem.
Peamised punktid
client.embeddings.create()aktsepteerib ühte teksti või tekstide loendit- Kasuta
text-embedding-3-large(3072 dim) täpsuse jaoks,text-embedding-3-small(1536 dim) kulutõhususe jaoks - Parameeter
dimensionsvõimaldab vähendada vektori suurust - Tekstide partidesse rühmitamine on efektiivsem kui individuaalsed väljakutsed
- Piirang 8191 tokenit teksti kohta