API pre vektory: Modely a dimenzie
Na tejto strane
Ciele
- Zvládnuť volanie
client.embeddings.create() - Pochopiť rozdiely medzi modelmi pre vektory
- Využiť redukciu dimenzionality
Základné volanie
Celé API pre vektory od OpenAI sa zmestí do jednej metódy: client.embeddings.create(). Odovzdáš jej textový reťazec a názov modelu:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Vrátený objekt nie je priamo vektor, ale obálka obsahujúca viacero vektorov, pretože API je navrhnuté na spracovanie dávok. Vnútri nájdeš data, čo je zoznam objektov, kde každý má pole embedding (vektor) a pole index (jeho pozícia v odoslanej dávke); ďalej model, čo je skutočný použitý model, a usage.prompt_tokens, čo je počet zúčtovaných tokenov. Toto posledné pole by si mal logovať od prvého dňa: je to jediné spoľahlivé meradlo toho, koľko ťa indexovanie stojí.
Dva dostupné modely
text-embedding-3-large je výkonnostný model. Jeho 3 072 dimenzií zachytáva najjemnejšie sémantické nuansy, čo ho robí ideálnym pre vyhľadávanie vo veľkých korpusoch, náročné RAG pipeline a všeobecne pre všetky prípady, kde presnosť prevyšuje cenu. Ak používateľ formulujú otázky nepriamo alebo tvoje dokumenty pokrývajú hustú technickú oblasť, uvidíš rozdiel v tom, ako sú výsledky zoradené.
text-embedding-3-small je kompaktnejší s 1 536 dimenziami a ponúka vynikajúci pomer ceny a výkonu. Je správnou voľbou pre klasifikáciu textu, odporúčania, rýchle prototypovanie a aplikácie s vysokým objemom, kde cieľom nie je rozlíšiť dva takmer identické dokumenty, ale oddeliť jasne odlišné témy. Jednoduchá slučka overí, čo každý z nich vráti:
# Compare the two models
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Dávkové vytváranie vektorov
Reálny korpus neindexuješ text po texte: každé HTTP volanie stojí jeden sieťový round-trip a spracovanie tisíc dokumentov individuálne znamená nahromadenie tisíc oneskorení. API prijíma až 2 048 textov v jednom volaní a pole index ti umožňuje mapovať každý vektor späť na správny dokument.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
V praxi zoskupuj svoje texty do dávok od 100 do 2 048 v závislosti od objemu: menšie dávky uľahčujú obnovu po zlyhaniach, zatiaľ čo väčšie znižujú počet volaní. Sleduj usage.prompt_tokens pri každej iterácii, aby si odhadoval náklady priebežne, namiesto toho, aby si ich zistil až na faktúre, a implementuj exponenciálne oneskorenie pri opakovaných pokusoch: prekročenie limitu rýchlosti je prechodná chyba, nie dôvod na prerušenie trojhodinovej úlohy indexovania.
Redukcia dimenzionality
Modely text-embedding-3-* akceptujú parameter dimensions, ktorý vracia vektory kratšie ako ich natívna veľkosť:
# Full vector: 3072 dimensions
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Reduced vector: 256 dimensions
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Mechanizmus je jednoduchý: redukcia vektor oreže a následne ho znovu normalizuje. Keďže prvé dimenzie nesú najviac informácií, degradácia kvality je veľmi postupná. Nasledujúca tabuľka poskytuje štandardné referenčné hodnoty pre kompromis medzi kvalitou a úložiskom.
| Dimensions | Relative Quality | Storage | Use Case |
|---|---|---|---|
| 3,072 | 100% | ~24 KB | High-precision search |
| 1,536 | ~98% | ~12 KB | Good general compromise |
| 512 | ~93% | ~4 KB | High volume, reduced cost |
| 256 | ~88% | ~2 KB | Prototyping, simple classification |
Pamätaj, že výber dimenzií ťa viaže: všetky vektory v danom indexe musia mať rovnakú veľkosť a zmena názoru si vyžaduje prepočítanie všetkého odznova.
Správa tokenov
Modely pre vektory majú limit 8 191 tokenov na text a API vráti chybu, ak tento limit prekročíš. Je lepšie merať veľkosť pred odoslaním, než zachytávať výnimku uprostred dávky:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Truncate
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Orezanie je bezpečnostná sieť, nie stratégia: orezaný dlhý dokument stráca svoj koniec a koniec často obsahuje odpoveď, ktorú hľadáš. Správne zaobchádzanie s veľkými dokumentmi zahŕňa ich rozdelenie na časti (chunking), čo preberieme neskôr v kurze.
Kľúčové poznatky
client.embeddings.create()akceptuje jeden text alebo zoznam textov- Použi
text-embedding-3-large(3 072 dim) pre presnosť,text-embedding-3-small(1 536 dim) pre efektivitu nákladov - Parameter
dimensionsumožňuje zmenšiť veľkosť vektora - Dávkovanie textov je efektívnejšie ako individuálne volania
- Limit 8 191 tokenov na text