API za vdelave: modeli in dimenzije
Na tej strani
Cilji
- Osvoji klic
client.embeddings.create() - Razumi razlike med modeli za vdelave
- Uporabi zmanjšanje dimenzionalnosti
Osnovni klic
Celoten API za vdelave družbe OpenAI se skriva v eni sami metodi: client.embeddings.create(). Posreduješ ji besedilni niz in ime modela:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Vrnjeni objekt ni sam vektor, temveč ovojnica, ki vsebuje več vektorjev, saj je API zasnovan za obravnavo serij (batchev). Znotraj najdeš data, seznam objektov, kjer ima vsak polje embedding (vektor) in polje index (njegov položaj v poslani seriji); model, ki označuje dejansko uporabljen model; in usage.prompt_tokens, število zaračunanih žetonov. To zadnje polje beleži že od prvega dne: je edini zanesljiv pokazatelj stroškov tvojega indeksiranja.
Dva razpoložljiva modela
text-embedding-3-large je visokozmogljiv model. Njegovih 3.072 dimenzij zajame najfinejše semantične nianse, zaradi česar je idealen za iskanje po obsežnih korpusih, zahtevne cevovode RAG in na splošno za vse primere, kjer natančnost odtehta stroške. Če uporabnik zastavi vprašanja posredno ali tvoji dokumenti pokrivajo gosto tehnično področje, boš razliko opazil pri razvrščanju rezultatov.
text-embedding-3-small je bolj kompakten s 1.536 dimenzijami in ponuja odlično razmerje med ceno in zmogljivostjo. Je prava izbira za razvrščanje besedil, priporočila, hitro prototipiranje in aplikacije z velikim obsegom, kjer cilj ni razlikovati med dvema skoraj identičnima dokumentoma, temveč ločiti jasno različne teme. Preprost zank preveri, kaj vrne vsak od njih:
# Compare the two models
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Serijske vdelave (Batch Embeddings)
Resničnega korpusa ne indeksiraš besedilo za besedilom: vsak klic HTTP stane en omrežni povratni prehod, obdelava tisoč dokumentov posamično pa pomeni seštevanje tisočih zakasnitev. API sprejme do 2.048 besedil v enem samem klicu, polje index pa ti omogoča preslikavo vsakega vektorja nazaj na pravilen dokument.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
V praksi svoja besedila združi v serije od 100 do 2.048, odvisno od tvoje količine: manjše serije olajšajo obnovitev po napakah, večje pa zmanjšajo število klicev. Pri vsaki iteraciji spremljaj usage.prompt_tokens, da sproti oceniš stroške, namesto da jih odkriješ šele na računu, in uvedi poskuse ponovnega poskusa z eksponentnim zamikom: presežen omejitev hitrosti je prehodna napaka, ne razlog za prekinitev triurnega opravila indeksiranja.
Zmanjšanje dimenzionalnosti
Modeli text-embedding-3-* sprejemajo parameter dimensions, ki vrne vektorje, krajše od njihove izvorne velikosti:
# Full vector: 3072 dimensions
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Reduced vector: 256 dimensions
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Mehanizem je preprost: zmanjšanje okrajša vektor in ga nato ponovno normalizira. Ker prve dimenzije nosijo največ informacij, ostane poslabšanje zelo postopno. Spodnja tabela ponuja standardna merila za kompromis med kakovostjo in shranjevanjem.
| Dimensions | Relative Quality | Storage | Use Case |
|---|---|---|---|
| 3,072 | 100% | ~24 KB | High-precision search |
| 1,536 | ~98% | ~12 KB | Good general compromise |
| 512 | ~93% | ~4 KB | High volume, reduced cost |
| 256 | ~88% | ~2 KB | Prototyping, simple classification |
Ne pozabi, da te izbira dimenzij zavezuje: vsi vektorji v danem indeksu morajo imeti enako velikost, in če si premisliš, zahteva to ponovni izračun vsega.
Upravljanje žetonov
Modeli za vdelave imajo omejitev 8.191 žetonov na besedilo, API pa vrne napako, če to presežeš. Bolje je izmeriti pred pošiljanjem, kot da lovimo izjemo sredi serije:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Truncate
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Okrajšava je varnostna mreža, ne strategija: okrajšan dolg dokument izgubi svoj konec, konec pa pogosto vsebuje odgovor, ki ga iščeš. Pravilno ravnanje z velikimi dokumenti vključuje razdeljevanje na dele (chunking), kar bomo obravnavali kasneje v tečaju.
Ključne ugotovitve
client.embeddings.create()sprejme eno samo besedilo ali seznam besedil- Uporabi
text-embedding-3-large(3.072 dim) za natančnost,text-embedding-3-small(1.536 dim) za stroškovno učinkovitost - Parameter
dimensionsti omogoča zmanjšanje velikosti vektorja - Združevanje besedil v serije je učinkovitejše od posamičnih klicev
- Omejitev 8.191 žetonov na besedilo