Embeddings API: modeliai ir dimensijos
Šiame puslapyje
Tikslai
- Įvaldyti
client.embeddings.create()kvietimą - Suprasti skirtumus tarp embedding modelių
- Naudoti dimensijų mažinimą
Pagrindinis kvietimas
Visa OpenAI Embeddings API telpa į vieną metodą: client.embeddings.create(). Jam perduodi teksto eilutę ir modelio pavadinimą:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Grąžinamas objektas nėra pats vektorius, o apvalkalas, kuriame yra keli vektoriai, nes API sukurtas darbui su grupėmis (batch). Viduje rasi data – sąrašą objektų, kurių kiekvienas turi lauką embedding (vektorius) ir lauką index (jo pozicija išsiųstoje grupėje); model – faktiškai panaudotą modelį; ir usage.prompt_tokens – apmokestintų tokenų skaičių. Šį paskutinį lauką turėtum registruoti nuo pat pirmos dienos: tai vienintelis patikimas būdas įvertinti indeksavimo kaštus.
Du galimi modeliai
text-embedding-3-large yra našus modelis. Jo 3072 dimensijos fiksuoja subtiliausius semantinius niuansus, todėl jis idealiai tinka didelėms tekstų kolekcijoms ieškoti, sudėtingoms RAG sistemoms ir bet kuriam atvejui, kai tikslumas svarbesnis už kainą. Jei vartotojas klausimus formuluoja netiesiogiai arba tavo dokumentai apima tankią techninę sritį, pastebėsi skirtumą rezultatų rikiavime.
text-embedding-3-small yra kompaktiškesnis, turi 1536 dimensijų ir siūlo puikų kainos ir našumo santykį. Tai tinkamas pasirinkimas tekstų klasifikavimui, rekomendacijoms, greitai prototipų kūrimui ir didelės apimties programoms, kur tikslas nėra atskirti dviejų beveik identiškų dokumentų, o atskirti aiškiai skirtingas temas. Paprastas ciklas patvirtina, ką grąžina kiekvienas modelis:
# Palyginkite du modelius
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Grupiniai embedding’ai
Realaus korpuso neindeksuoji po vieną tekstą: kiekvienas HTTP kvietimas kainuoja tinklo užklausą, o tūkstančio dokumentų apdorojimas individualiai reiškia tūkstančio delsų kaupimąsi. API vienu kvietimu priima iki 2048 tekstų, o laukas index leidžia kiekvieną vektorių susieti su tinkamu dokumentu.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=texts,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
Praktiškai tekstus grupuok į partijas nuo 100 iki 2048, priklausomai nuo tavo apimties: mažesnės partijos palengvina atkūrimą po klaidų, o didesnės sumažina kvietimų skaičių. Stebėk usage.prompt_tokens kiekvienoje iteracijoje, kad kaštus įvertintum eigos metu, o ne pamatytum juos sąskaitoje, ir įgyvendink eksponentinio laukimo (exponential backoff) kartojimus: ribos viršijimas yra laikina klaida, o ne priežastis nutraukti trijų valandų indeksavimo darbą.
Dimensijų mažinimas
text-embedding-3-* modeliai priima parametrą dimensions, kuris grąžina vektorius, trumpesnius už jų natūralų dydį:
# Pilnas vektorius: 3072 dimensijos
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Sumažintas vektorius: 256 dimensijos
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Mechanizmas paprastas: mažinimas nukerpa vektorių, o tada jį iš naujo normalizuoja. Kadangi pirmosios dimensijos neša daugiausia informacijos, kokybės praradimas vyksta labai palaipsniui. Toliau pateiktoje lentelėje pateikiami standartiniai etalonai, rodantys kokybės ir saugojimo vietos kompromisus.
| Dimensijos | Santykinė kokybė | Saugojimas | Naudojimo atvejis |
|---|---|---|---|
| 3 072 | 100 % | ~24 KB | Didelio tikslumo paieška |
| 1 536 | ~98 % | ~12 KB | Geras bendras kompromisas |
| 512 | ~93 % | ~4 KB | Didelė apimtis, mažesnė kaina |
| 256 | ~88 % | ~2 KB | Prototipų kūrimas, paprasta klasifikacija |
Atmink, kad dimensijų pasirinkimas tave įpareigoja: visi vektoriai tame pačiame indekse privalo būti vienodo dydžio, o persigalvojus reikės viską perskaičiuoti iš naujo.
Tokenų valdymas
Embedding modeliai turi 8191 tokeno vienam tekstui ribą, o API grąžins klaidą, jei ją viršysi. Geriau išmatuoti prieš siunčiant, nei gaudyti išimtį grupės viduryje:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Nukirpti
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Nukirpimas yra saugos tinklas, o ne strategija: nukirptas ilgas dokumentas praranda savo pabaigą, o pabaigoje dažnai slepiasi atsakymas, kurio ieškai. Tinkamas didelių dokumentų tvarkymas apima skaidymą į dalis (chunking), ką nagrinėsime vėliau kurse.
Svarbiausi punktai
client.embeddings.create()priima vieną tekstą arba tekstų sąrašą- Naudok
text-embedding-3-large(3072 dim.) tikslumui,text-embedding-3-small(1536 dim.) – kaštų efektyvumui - Parametras
dimensionsleidžia sumažinti vektoriaus dydį - Tekstų grupavimas yra efektyvesnis nei individualūs kvietimai
- Ribą sudaro 8191 tokenas vienam tekstui