Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Δημιουργία embeddings για τα δεδομένα σας

Μάθημα 3 / 22 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Στόχοι
  2. Προετοιμασία των δεδομένων σας
  3. Δημιουργία embeddings σε παρτίδες (batches)
  4. Αποθήκευση embeddings
  5. Πλήρης ροή εργασίας: από αρχεία κειμένου σε embeddings
  6. Εκτίμηση κόστους
  7. Βασικά σημεία

Στόχοι

  • Προετοιμάστε τα κειμενικά σας δεδομένα για δημιουργία embeddings
  • Δημιουργήστε embeddings αποδοτικά σε μεγάλη κλίμακα
  • Αποθηκεύστε τα διανύσματα για μελλοντική χρήση

Προετοιμασία των δεδομένων σας

Η ποιότητα των embeddings σας εξαρτάται άμεσα από την ποιότητα των δεδομένων σας. Κείμενο γεμάτο περιττά κενά, χαρακτήρες ελέγχου από λανθασμένη εξαγωγή ή ασυνεπείς αλλαγές γραμμής παράγει ένα ελαφρώς αποκλίνον διάνυσμα. Αυτή η απόκλιση συσσωρεύεται σε κάθε αναζήτηση. Ο καθαρισμός δεν είναι αισθητικός: είναι η πρώτη και πιο οικονομική βελτιστοποίηση συνάφειας.

import re

def nettoyer_texte(texte: str) -> str:
    """Prepares text for embedding."""
    # Remove multiple spaces
    texte = re.sub(r"\s+", " ", texte)
    # Remove control characters
    texte = re.sub(r"[\x00-\x08\x0b\x0c\x0e-\x1f]", "", texte)
    # Trim
    texte = texte.strip()
    return texte

# Example
brut = "  Texte   avec   des   espaces\n\n\nen trop  "
propre = nettoyer_texte(brut)
print(propre)  # "Texte avec des espaces en trop"

Εμπλουτισμός του συμφραζομένου

Ένα απομονωμένο απόσπασμα τεκμηρίωσης χάνει μέρος του νοήματός του χωρίς τον τίτλο του. Πάρτε μια παράγραφο που ξεκινά με «Κατεβάστε το πακέτο από την επίσημη ιστοσελίδα»: εκτός συμφραζομένων, τίποτα δεν υποδεικνύει ότι αναφέρεται στην PostgreSQL και το προκύπτον διάνυσμα δεν θα ταιριάξει ποτέ με ένα ερώτημα σχετικά με την PostgreSQL. Προσθέτοντας ως πρόθεμα τον τίτλο και την ενότητα στο περιεχόμενο, επανεισάγετε αυτές τις πληροφορίες στο κείμενο που βλέπει το μοντέλο.

def enrichir_document(titre: str, section: str, contenu: str) -> str:
    """Creates enriched text for better embedding."""
    return f"Titre : {titre}\nSection : {section}\n\n{contenu}"

texte_enrichi = enrichir_document(
    titre="Installation de PostgreSQL",
    section="Getting Started Guide",
    contenu="Download the package from the official site..."
)

Δημιουργία embeddings σε παρτίδες (batches)

Σε ένα πραγματικό σώμα κειμένων με εκατοντάδες ή χιλιάδες έγγραφα, η επεξεργασία πρέπει να γίνεται σε τμήματα και να είναι ανθεκτική σε προσωρινά προβλήματα δικτύου. Η παρακάτω συνάρτηση διατρέχει τα κείμενα σε τμήματα, ταξινομεί συστηματικά την απόκριση με βάση το index για να διασφαλίσει ότι το διάνυσμα #7 αντιστοιχεί στο έγγραφο #7, και επαναλαμβάνει τη διαδικασία μία φορά μετά από παύση σε περίπτωση σφάλματος.

from openai import OpenAI
import time
import json

client = OpenAI()

def generer_embeddings(
    textes: list[str],
    model: str = "text-embedding-3-large",
    batch_size: int = 100
) -> list[list[float]]:
    """Generates embeddings in batches with error handling."""
    tous_les_embeddings = []

    for i in range(0, len(textes), batch_size):
        batch = textes[i:i + batch_size]
        print(f"Processing batch {i // batch_size + 1}/"
              f"{(len(textes) - 1) // batch_size + 1}")

        try:
            response = client.embeddings.create(
                input=batch,
                model=model
            )
            # Sort by index to guarantee order
            batch_embeddings = sorted(
                response.data, key=lambda x: x.index
            )
            tous_les_embeddings.extend(
                [item.embedding for item in batch_embeddings]
            )
        except Exception as e:
            print(f"Error on batch {i}: {e}")
            # Retry after a pause
            time.sleep(5)
            response = client.embeddings.create(
                input=batch,
                model=model
            )
            batch_embeddings = sorted(
                response.data, key=lambda x: x.index
            )
            tous_les_embeddings.extend(
                [item.embedding for item in batch_embeddings]
            )

    return tous_les_embeddings

Η ταξινόμηση με βάση το index είναι μια προφύλαξη που δεν πρέπει ποτέ να παραλείπετε. Μια σιωπηρή μετατόπιση μίας γραμμής αρκεί για να συσχετίσει κάθε έγγραφο με το διάνυσμα του γείτονά του. Το σύμπτωμα που θα παρατηρήσετε είναι «η αναζήτηση επιστρέφει ασυναρτησίες», χωρίς κανένα τεχνικό σφάλμα να σας κατευθύνει προς τη σωστή λύση.

Αποθήκευση embeddings

Για ένα μικρό σώμα κειμένων με μερικές χιλιάδες έγγραφα, ένα απλό αρχείο JSON που περιέχει κείμενα, μεταδεδομένα και διανύσματα λειτουργεί άψογα. Έχει το πλεονέκτημα να είναι αναγνώσιμο από άνθρωπο όταν χρειάζεται να εντοπίσετε την αιτία ενός περίεργου αποτελέσματος.

import json

documents = [
    {"id": 1, "texte": "Premier document...", "metadata": {"source": "faq"}},
    {"id": 2, "texte": "Deuxième document...", "metadata": {"source": "docs"}},
]

# Generate embeddings
textes = [d["texte"] for d in documents]
embeddings = generer_embeddings(textes)

# Add vectors to documents
for doc, emb in zip(documents, embeddings):
    doc["embedding"] = emb

# Save
with open("corpus_embeddings.json", "w") as f:
    json.dump(documents, f)

Πέρα από αυτή την κλίμακα, το JSON γίνεται σημείο συμφόρησης: κάθε αριθμός γράφεται πλήρης, διογκώνοντας το αρχείο και επιβάλλοντας costly parsing σε κάθε φόρτωση. Το NumPy αποθηκεύει τις ίδιες τιμές σε δυαδική μορφή σε 4 bytes και φορτώνει ακαριαία.

import numpy as np

# Convert to NumPy matrix
matrice = np.array(embeddings, dtype=np.float32)
print(f"Shape : {matrice.shape}")  # (n_docs, 3072)

# Save in binary format
np.save("embeddings.npy", matrice)

# Load
matrice_chargee = np.load("embeddings.npy")

Πλήρης ροή εργασίας: από αρχεία κειμένου σε embeddings

Ας συνδυάσουμε αυτά τα στοιχεία σε μια συνάρτηση που διαβάζει έναν φάκελο, καθαρίζει κάθε αρχείο, δημιουργεί διανύσματα και χωρίζει την αποθήκευση σε δύο μέρη: μεταδεδομένα σε JSON (αναγνώσιμα και επεξεργάσιμα) και τον πίνακα σε NumPy (συμπαγής και γρήγορος).

from openai import OpenAI
from pathlib import Path
import json
import numpy as np

client = OpenAI()

def pipeline_embeddings(dossier: str, model: str = "text-embedding-3-large"):
    """Complete pipeline: files → embeddings → storage."""
    dossier_path = Path(dossier)

    # 1. Read files
    documents = []
    for fichier in sorted(dossier_path.glob("*.txt")):
        contenu = fichier.read_text(encoding="utf-8")
        contenu = nettoyer_texte(contenu)
        if contenu:
            documents.append({
                "id": fichier.stem,
                "fichier": fichier.name,
                "texte": contenu
            })

    print(f"{len(documents)} documents found")

    # 2. Generate embeddings
    textes = [d["texte"] for d in documents]
    embeddings = generer_embeddings(textes, model=model)

    # 3. Save
    # Metadata in JSON
    meta = [{"id": d["id"], "fichier": d["fichier"]} for d in documents]
    with open("metadata.json", "w") as f:
        json.dump(meta, f, ensure_ascii=False, indent=2)

    # Vectors in NumPy
    np.save("embeddings.npy", np.array(embeddings, dtype=np.float32))

    print(f"Embeddings saved: {len(embeddings)} vectors "
          f"of {len(embeddings[0])} dimensions")

    return documents, embeddings

# Usage
documents, embeddings = pipeline_embeddings("./mes_documents/")

Σημειώστε το sorted() στο glob: χωρίς αυτό, η σειρά των αρχείων εξαρτάται από το σύστημα αρχείων και τα δύο αρχεία εξόδου κινδυνεύουν να αποσυγχρονιστούν μετά από μια απλή αλλαγή μηχανήματος.

Εκτίμηση κόστους

Πριν ξεκινήσετε μια μαζική εργασία, μετρήστε τα tokens τοπικά με το tiktoken. Η διαδικασία διαρκεί λίγα δευτερόλεπτα και σας γλιτώνει από το να ανακαλύψετε πολύ αργά ότι ένα κακώς φιλτραρισμένο σώμα κειμένων περιείχε δεκαπλάσια ποσότητα από την αναμενόμενη.

import tiktoken

encoder = tiktoken.get_encoding("cl100k_base")

def estimer_cout(textes: list[str], model: str = "text-embedding-3-large"):
    """Estimates embedding cost for a list of texts."""
    total_tokens = sum(len(encoder.encode(t)) for t in textes)

    # Approximate prices per million tokens (check current rates)
    prix = {
        "text-embedding-3-large": 0.13,
        "text-embedding-3-small": 0.02,
    }

    cout = total_tokens / 1_000_000 * prix.get(model, 0.13)
    print(f"Estimated tokens: {total_tokens:,}")
    print(f"Estimated cost: ${cout:.4f}")
    return total_tokens, cout

Οι τιμές στο λεξικό είναι ενδεικτικές και παλαιώνουν γρήγορα: ελέγχετε πάντα τις τρέχουσες τιμές πριν παρουσιάσετε μια προσφορά σε έναν πελάτη.

Βασικά σημεία

  • Καθαρίστε και εμπλουτίστε τα κείμενά σας πριν δημιουργήσετε embeddings
  • Χρησιμοποιήστε επεξεργασία σε παρτίδες για μεγάλα σώματα κειμένων
  • Αποθηκεύστε τα μεταδεδομένα σε JSON και τα διανύσματα σε NumPy
  • Εκτιμήστε το κόστος σας πριν ξεκινήσετε μια μαζική εργασία