Какво е вграждане (Embedding): Интуицията
На тази страница
Цели
- Да разберете какво представлява вграждането (embedding) и защо е важно
- Да усвоите геометричната интуиция зад векторите на думите
- Да откриете основните случаи на употреба
Проблемът: Машините не разбират текст
Езиковите модели работят с числа, а не с думи. Преди една машина да може да сравнява, търси или прави логически изводи върху текст, трябва да превърнете този текст в използваемо числово представяне. Ключовият въпрос е: кое представяне да изберете?
Наивният подход: „Торба с думи“ (Bag of Words)
Най-простият метод брои срещанията на всяка дума. Той е лесен за реализация, но напълно игнорира смисъла. Вземете изреченията „Котката изяжда мишката“ и „Мишката изяжда котката“: и двете съдържат точно същите думи в същите пропорции, затова генерират абсолютно еднакво представяне, въпреки че описват противоположни сцени. Обратният проблем също съществува: „Автомобил“ и „Кола“ се отнасят за едно и също нещо, но тъй като са две различни низове от символи, подходът „торба с думи“ ги третира като несвързани концепции. Редът на думите и синонимите – два стълба на езика – напълно убягват на този метод.
Вграждания: Улавяне на смисъла
Вграждането (embedding) е плътен вектор – списък от числа с плаваща запетая, – който улавя семантичния смисъл на даден текст. Два текста със сходен смисъл ще имат вектори, разположени близо един до друг в пространството, независимо от конкретните използвани думи. Ето как се генерира такъв вектор:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Този вектор от 3072 числа кодира смисъла на изречението, като всяко измерение улавя различен аспект на семантиката. Не е необходимо да знаете какво представлява измерение 417: важното е, че цялостната конфигурация остава стабилна и сравнима между различните текстове.
Геометричната интуиция
Представете си триизмерно пространство, в което всяка дума или фраза заема определена точка. „Крал“ и „Кралица“ се оказват един до друг, защото споделят голяма част от смисъла си. „Ябълка“ и „Портокал“ формират друг квартал, далеч от първия. „Куче“ и „Котка“ съставят още един клъстер. Тази пространствена организация прави сравнението възможно: измерването на разстоянието между две точки е еквивалентно на измерването на сходството между два смисъла.
В действителност съвременните вграждания използват хиляди измерения – 3072 за text-embedding-3-large, – което им позволява да улавят нюанси, много по-фини от нашия опростен мисловен модел с три оси.
Известната аналогия
Вгражданията улавят и регулярни семантични връзки дотолкова, че можете да ги манипулирате чрез аритметични операции. Класическият пример изглежда така:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
С други думи, изваждането на компонента „мъжки“ и добавянето на компонента „женски“ измества точката от „Крал“ към „Кралица“. Това свойство показва, че абстрактни концепции като пол, кралско достойнство или размер са кодирани по структуриран начин, а не разпръснати на случаен принцип.
За какво се използват вгражданията?
Първият случай на употреба е семантично търсене: вместо да търсите точни ключови думи, вие сравнявате смисъла на заявката със смисъла на документите. Посетител, който въведе „Как да храня кученцето си?“, ще намери статия с заглавие „Хранене на младото куче“, въпреки че двете фрази нямат общи думи.
Вторият случай е класификация: тъй като текстовете по една и съща тема естествено се групират заедно в пространството, можете автоматично да сортирате билети за поддръжка, имейли или статии, без да пишете нито едно ръчно правило. Препоръчването разчита на същия механизъм, разгледан от обратната страна: за да предложите съдържание на потребител, търсите вектори, най-близки до това, което вече е разглеждал.
Накрая, има RAG (Retrieval-Augmented Generation – Генериране, подпомогнато от извличане), което обогатява отговора на голям езиков модел (LLM) с релевантни документи, намерени чрез семантично сходство. Това е водещият случай на употреба в този курс и той комбинира всички останали: индексиране, сравнение и класиране.
Какво се промени през 2025–2026 г.
API за вграждания на OpenAI вече предлага два основни модела:
| Модел | Измерения | Препоръчителна употреба |
|---|---|---|
text-embedding-3-large | 3,072 | Висока точност, RAG, търсене |
text-embedding-3-small | 1,536 | По-ниска цена, класификация, препоръки |
Тези модели поддържат намаляване на размерността: можете да поискате по-къс вектор, например с 256 измерения, за да спестите място за съхранение с контролирана загуба на качество. Корпус от един милион чънка (chunks) така намалява от няколко десетки гигабайта до само няколко, което фундаментално променя изискванията към инфраструктурата.
Обобщение
- Вграждането превръща текста в плътен числов вектор
- Семантично сходните текстове имат вектори, разположени близо един до друг
- Основните случаи на употреба включват търсене, класификация, препоръки и RAG
- OpenAI предлага
text-embedding-3-large(3072 измерения) иtext-embedding-3-small(1536 измерения)