API за вграждания: модели и измерения
На тази страница
Цели
- Да овладеете извикването на
client.embeddings.create() - Да разберете разликите между моделите за вграждания
- Да използвате намаляване на размерността
Основното извикване
Цялото API за вграждания на OpenAI се събира в един единствен метод: client.embeddings.create(). Предавате му текстов низ и име на модел:
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
input="Hello, how are you?",
model="text-embedding-3-large"
)
embedding = response.data[0].embedding
print(f"Type: {type(embedding)}") # list
print(f"Length: {len(embedding)}") # 3072
print(f"Snippet: {embedding[:3]}") # [0.023, -0.041, 0.012]
Върнатият обект не е самият вектор, а обвивка, съдържаща множество вектори, тъй като API е проектирано да обработва партиди. Вътре ще откриете data – списък от обекти, всеки от които има поле embedding (векторът) и поле index (позицията му в изпратената партида); model – действително използваният модел; и usage.prompt_tokens – броят на таксуваните токени. Трябва да записвате това последно поле още от първия ден: то е единствената надеждна мярка за това колко Ви струва индексирането.
Двата налични модела
text-embedding-3-large е високопроизводителният модел. Неговите 3072 измерения улавят най-фините семантични нюанси, което го прави идеален за търсене в големи корпуси, взискателни RAG конвейери и като цяло за всеки случай, при който точността надделява над разходите. Ако потребителят формулира въпросите си косвено или документите Ви обхващат плътна техническа област, ще видите разликата в начина, по който се класират резултатите.
text-embedding-3-small е по-компактен със 1536 измерения и предлага отлично съотношение цена/производителност. Това е правилният избор за класификация на текст, препоръки, бързо прототипиране и приложения с голям обем, при които целта не е да се прави разлика между два почти идентични документа, а да се разделят ясно различими теми. Един прост цикъл проверява какво връща всеки от тях:
# Compare the two models
for model_name in ["text-embedding-3-small", "text-embedding-3-large"]:
resp = client.embeddings.create(
input="Artificial intelligence",
model=model_name
)
vec = resp.data[0].embedding
print(f"{model_name}: {len(vec)} dimensions")
Партидни вграждания
Не индексирате реален корпус текст по текст: всяко HTTP извикване струва едно мрежово пътуване туда-обратно, а обработването на хиляда документа поотделно означава натрупване на хиляда забавяния. API приема до 2048 текста в едно извикване, а полето index Ви позволява да съпоставите всеки вектор с правилния документ.
texts = [
"Machine learning is advancing rapidly",
"Deep learning is revolutionizing computer vision",
"Vector databases store embeddings",
"Python is the preferred language for data scientists"
]
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
for item in response.data:
print(f"Text {item.index}: vector of {len(item.embedding)} dimensions")
print(f"Tokens consumed: {response.usage.prompt_tokens}")
На практика групирайте текстовете си в партиди от 100 до 2048 в зависимост от обема: по-малките партиди улесняват възстановяването след сривове, докато по-големите намаляват броя на извикванията. Следете usage.prompt_tokens при всяка итерация, за да оценявате разходите в реално време, вместо да ги откривате във фактурата, и внедрете повторни опити с експоненциално отстъпване: надхвърлянето на лимит на честотата е преходна грешка, а не причина за прекъсване на тричасова задача за индексиране.
Намаляване на размерността
Моделите text-embedding-3-* приемат параметър dimensions, който връща вектори, по-къси от техния естествен размер:
# Full vector: 3072 dimensions
full = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large"
)
# Reduced vector: 256 dimensions
reduced = client.embeddings.create(
input="Reduction test",
model="text-embedding-3-large",
dimensions=256
)
print(f"Full: {len(full.data[0].embedding)} dim") # 3072
print(f"Reduced: {len(reduced.data[0].embedding)} dim") # 256
Механизмът е прост: намаляването съкращава вектора и след това го нормализира отново. Тъй като първите измерения носят най-много информация, влошаването на качеството остава много постепенно. Таблицата по-долу предоставя стандартни сравнителни данни за компромиса между качество и съхранение.
| Dimensions | Relative Quality | Storage | Use Case |
|---|---|---|---|
| 3,072 | 100% | ~24 KB | High-precision search |
| 1,536 | ~98% | ~12 KB | Good general compromise |
| 512 | ~93% | ~4 KB | High volume, reduced cost |
| 256 | ~88% | ~2 KB | Prototyping, simple classification |
Имайте предвид, че изборът на размерност Ви обвързва: всички вектори в даден индекс трябва да имат един и същи размер и промяната на решението изисква преизчисляване на всичко.
Управление на токените
Моделите за вграждания имат лимит от 8191 токена на текст, а API връща грешка, ако го надхвърлите. По-добре е да измервате преди изпращане, отколкото да хващате изключение посред партида:
import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
text = "A potentially long text..."
tokens = encoder.encode(text)
if len(tokens) > 8191:
# Truncate
truncated_text = encoder.decode(tokens[:8191])
print(f"Text truncated from {len(tokens)} to 8191 tokens")
Съкращаването е предпазна мрежа, а не стратегия: съкратен дълъг документ губи края си, а краят често съдържа отговора, който търсите. Правилната обработка на големи документи включва разделяне на части, което ще разгледаме по-късно в курса.
Ключови изводи
client.embeddings.create()приема единичен текст или списък от текстове- Използвайте
text-embedding-3-large(3072 измерения) за точност,text-embedding-3-small(1536 измерения) за икономичност - Параметърът
dimensionsВи позволява да намалите размера на вектора - Групирането на текстове в партиди е по-ефективно от индивидуалните извиквания
- Лимит от 8191 токена на текст