Co je to vnoření: Intuice
Na této stránce
Cíle
- Pochopit, co je to vnoření a proč na něm záleží
- Získat geometrickou intuici za vektory slov
- Objevit hlavní případy použití
Problém: Stroje nerozumí textu
Jazykové modely pracují s čísly, ne se slovy. Než bude stroj schopen porovnávat, vyhledávat nebo usuzovat na základě textu, musíš tento text převést do použitelné číselné reprezentace. Klíčovou otázkou je: jakou reprezentaci zvolit?
Naivní přístup: Pytel slov (Bag of Words)
Nejjednodušší metoda spočívá v počítání výskytů každého slova. Je sice přímočará, ale zcela ignoruje význam. Vezmi si věty „Kočka žere myš“ a „Myš žere kočku“: obě obsahují přesně stejná slova ve stejném poměru, takže vytvářejí úplně stejnou reprezentaci, přestože popisují opačné situace. Existuje i obrácený problém: „Automobil“ a „Auto“ označují totéž, ale protože jde o dva odlišné řetězce znaků, přístup typu pytel slov s nimi zachází jako s nesouvisejícími pojmy. Pořadí slov a synonyma – dva pilíře jazyka – této metodě zcela unikají.
Vnoření: Zachycení významu
Vnoření (embedding) je hustý vektor – seznam čísel s plovoucí řádovou čárkou – který zachycuje sémantický význam textu. Dva texty s podobným významem budou mít vektory, které leží v prostoru blízko u sebe, bez ohledu na konkrétní použitá slova. Zde je postup, jak jej vygenerovat:
from openai import OpenAI
client = OpenAI()
# Generate an embedding
response = client.embeddings.create(
input="Artificial intelligence is transforming the industry",
model="text-embedding-3-large"
)
vector = response.data[0].embedding
print(f"Vector dimension: {len(vector)}") # 3072
print(f"First elements: {vector[:5]}")
Tento vektor o 3 072 číslech kóduje význam věty, přičemž každá dimenze zachycuje jiný aspekt sémantiky. Nepotřebuješ vědět, co představuje dimenze 417: podstatné je, že celková konfigurace zůstává stabilní a porovnatelná napříč texty.
Geometrická intuice
Představ si trojrozměrný prostor, kde každé slovo nebo fráze zaujímá určitý bod. „Král“ a „Královna“ skončí vedle sebe, protože sdílejí většinu svého významu. „Jablko“ a „Pomeranč“ tvoří jinou čtvrť, vzdálenou od té první. „Pes“ a „Kočka“ vytvářejí další shluk. Právě toto prostorové uspořádání umožňuje porovnávání: změření vzdálenosti mezi dvěma body je ekvivalentní změření podobnosti mezi dvěma významy.
Ve skutečnosti moderní vnoření využívají tisíce dimenzí – 3 072 pro text-embedding-3-large – což jim umožňuje zachytit nuance mnohem jemněji než náš jednoduchý mentální model se třemi osami.
Slavná analogie
Vnoření také zachycují pravidelné sémantické vztahy do té míry, že s nimi můžeš manipulovat pomocí aritmetiky. Klasický příklad vypadá takto:
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
Jinými slovy, odečtení složky „mužský“ a přičtení složky „ženský“ posune bod od „Král“ směrem ke „Královna“. Tato vlastnost ukazuje, že abstraktní pojmy jako pohlaví, královský stav nebo velikost jsou zakódovány strukturovaným způsobem, nikoliv náhodně rozptýleny.
K čemu slouží vnoření?
Prvním případem použití je sémantické vyhledávání: místo hledání přesných klíčových slov porovnáváš význam dotazu s významem dokumentů. Návštěvník, který zadá „Jak mám krmit své štěně?“, najde článek s názvem „Krmení mladého psa“, přestože tyto dvě fráze nemají žádná společná slova.
Druhým případem je klasifikace: protože texty na stejné téma se v prostoru přirozeně shlukují dohromady, můžeš automaticky třídit požadavky na podporu, e-maily nebo články bez nutnosti psát jediné manuální pravidlo. Doporučování spoléhá na stejný mechanismus, jen pohledem z druhé strany: aby sis uživateli navrhl obsah, hledáš vektory nejblíže těm, které již zhlédl.
Nakonec tu máme RAG (Retrieval-Augmented Generation), které obohacuje odpověď velkého jazykového modelu (LLM) o relevantní dokumenty nalezené prostřednictvím sémantické podobnosti. Toto je vlajkovou lodí tohoto kurzu a kombinuje všechny ostatní přístupy: indexaci, porovnávání a řazení.
Co se změnilo v letech 2025–2026
API pro vnoření od OpenAI nyní nabízí dva hlavní modely:
| Model | Dimenze | Doporučené použití |
|---|---|---|
text-embedding-3-large | 3 072 | Vysoká přesnost, RAG, vyhledávání |
text-embedding-3-small | 1 536 | Nižší náklady, klasifikace, doporučení |
Tyto modely podporují redukci dimenzionality: můžeš si vyžádat kratší vektor, například o 256 dimenzích, abys ušetřil místo na úložišti s kontrolovanou ztrátou kvality. Korpus o jednom milionu částí tak klesne z několika desítek gigabajtů na pouhé jednotky, což zásadně mění požadavky na infrastrukturu.
Shrnutí
- Vnoření převádí text na hustý číselný vektor
- Sémanticky podobné texty mají vektory, které jsou blízko u sebe
- Mezi hlavní případy použití patří vyhledávání, klasifikace, doporučení a RAG
- OpenAI nabízí
text-embedding-3-large(3 072 dimenzí) atext-embedding-3-small(1 536 dimenzí)