Премини към основното съдържание
Български— Изберете език
Меню

Разходи и оптимизация

Урок 15 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Разбиране на структурата на разходите
  2. Разходът за обучение
  3. Разходът за извеждане (Inference)
  4. Намаляване на входните токени
  5. Балансиране на размера на набора от данни и епохите
  6. Мониторинг на разходите в продукция
  7. Оправдаване на инвестицията
  8. Ключови изводи

Актуализация от 2 ноември 2026 г. — Наличност на фина настройка. Собствената услуга за фина настройка на OpenAI се прекратява: от 7 май 2026 г. организации, които никога не са я използвали, вече не могат да създават задачи; от 2 юли трябва да сте използвали фина настроен модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използваеми до оттеглянето на базовия им модел. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.

Разбиране на структурата на разходите

Фина настройката на OpenAI включва два вида разходи: еднократен разход за обучение и повтарящ се разход за извеждане (inference). Разбирането и оптимизирането на тези разходи е от съществено значение за печелившо внедряване. Разликата не е просто счетоводна: първият е еднократно решение, взето преди стартиране на задачата, и не се променя; вторият Ви следва всеки месец и расте с трафика Ви. Екип, който се пазари за разходите за обучение, докато позволява подкана от хиляда токена да се изпълнява при пет хиляди ежедневни заявки, води битката на грешното поле.

Разходът за обучение

Обучението се таксува на обработен токен и тази цифра зависи пряко от две променливи, които контролирате: размерът на Вашия набор от данни и броят на преминаванията през него.

Training cost = total_tokens × number_epochs × price_per_training_token

Тази формула Ви позволява да оцените сметката преди да стартирате каквото и да е. Следната функция сканира JSONL файла и приближава броя на токените въз основа на дължината на съобщението – оценката за един токен на всеки четири знака на френски е груба, но е достатъчна, за да разграничите задача за няколко долара от такава, струваща няколкостотин. Направете си навик да я стартирате систематично: грешка в подготовката, която утроява набора Ви от данни, ще се появи веднага в резултата.

import json

def estimate_training_cost(
    jsonl_file: str,
    n_epochs: int,
    price_per_million_tokens: float
) -> dict:
    """Estimates training cost before launching the job."""
    total_tokens = 0

    with open(jsonl_file, "r") as f:
        num_examples = 0
        for line in f:
            num_examples += 1
            obj = json.loads(line)
            for msg in obj["messages"]:
                # Rough estimate: 1 token ~ 4 characters in French
                total_tokens += len(msg["content"]) // 4

    training_tokens = total_tokens * n_epochs
    cost = training_tokens * price_per_million_tokens / 1_000_000

    return {
        "examples": num_examples,
        "tokens_per_pass": total_tokens,
        "epochs": n_epochs,
        "total_tokens": training_tokens,
        "estimated_cost": f"${cost:.2f}"
    }

result = estimate_training_cost(
    "training_data.jsonl",
    n_epochs=3,
    price_per_million_tokens=8.0  # check current pricing
)

for k, v in result.items():
    print(f"{k}: {v}")

Разходът за извеждане (Inference)

Извеждането се таксува на обаждане, въз основа на входните и изходните токени, а фина настроените модели обикновено имат малко по-висока тарифа от базовия модел. Тази единична надценка често предизвиква колебание, погрешно: тя се прилага върху много по-малко токени, тъй като поведението, описано преди това в дълга системна подкана, сега е вградено в модела. Изчислението по-долу поставя двата сценария един до друг за месец с идентичен трафик, като подканата намалява от 800 на 100 токена срещу удвоени тарифи. Коригирайте параметрите със собствените си числа, преди да правите изводи: за употреба, при която подканата вече е била кратка, балансът се обръща.

def monthly_cost(
    requests_per_day: int,
    avg_input_tokens: int,
    avg_output_tokens: int,
    price_input_per_million: float,
    price_output_per_million: float
) -> float:
    """Calculates monthly inference cost."""
    requests_month = requests_per_day * 30
    input_cost = requests_month * avg_input_tokens * price_input_per_million / 1_000_000
    output_cost = requests_month * avg_output_tokens * price_output_per_million / 1_000_000
    return input_cost + output_cost

# Scenario: base model with long prompt
base_cost = monthly_cost(
    requests_per_day=5000,
    avg_input_tokens=800,    # long system prompt + question
    avg_output_tokens=200,
    price_input_per_million=0.15,
    price_output_per_million=0.60
)

# Scenario: fine-tuned model with minimal prompt
ft_cost = monthly_cost(
    requests_per_day=5000,
    avg_input_tokens=100,    # short prompt, behavior integrated
    avg_output_tokens=200,
    price_input_per_million=0.30,  # higher FT rate
    price_output_per_million=1.20
)

print(f"Monthly base cost: ${base_cost:.2f}")
print(f"Monthly fine-tuned cost: ${ft_cost:.2f}")
print(f"Difference: ${ft_cost - base_cost:+.2f}")

Намаляване на входните токени

Основният лост за икономии при фина настроен модел е намаляването на подканата. Всяка инструкция, която успеете да премахнете, защото моделът я е интериоризирал, представлява печалба, повтаряща се при всяко обаждане, докато услугата достигне края на жизнения си цикъл. Таблицата по-долу дава наблюдаваните порядъци на величината в зависимост от степента на постигната интеграция.

Подход Входни токени Икономии
Базов модел + подробна подкана 500-1000 токена Референтна стойност
Фина настроен + минимална подкана 50-100 токена 80-90% на входа
Фина настроен + без системна подкана 20-50 токена 95% на входа

Не премахвайте тези инструкции наведнъж, надявайки се, че всичко ще се задържи. Премахвайте ги на групи, като преизпълнявате тестовия си набор след всяко премахване: ще откриете, че някои правила са усвоени перфектно, докато други, по-малко представени във Вашите примери, трябва да останат в подканата.

Балансиране на размера на набора от данни и епохите

Повече данни осигуряват по-добър модел, но също така и по-висок разход за обучение, като възвращаемостта намалява. Преминаването от сто на триста примера обикновено променя много неща; преминаването от хиляда на три хиляди променя малко, за три пъти по-висока цена. Обучете няколко размера, измерете постигнатото качество и го съпоставете с разхода, за да откриете точката си на равновесие.

def find_optimal(results_by_size: dict):
    """Identifies the optimal dataset size."""
    print("Dataset size | Quality score | Training cost")
    print("-" * 55)

    best_ratio = 0
    optimal_size = 0

    for size, data in sorted(results_by_size.items()):
        score = data["score"]
        cost = data["cost"]
        ratio = score / cost if cost > 0 else 0

        print(f"{size:>14} | {score:>13.2f} | {cost:>17.2f} $")

        if ratio > best_ratio:
            best_ratio = ratio
            optimal_size = size

    print(f"\nOptimal size: {optimal_size} examples")

Изборът на базов модел тежи на същата везна. Luna е по-евтин от Terra, както за обучение, така и за извеждане: винаги започвайте с най-евтиния модел и преминавайте нагоре само ако постигнатото качество е недостатъчно. Проверете кои модели са eligible за фина настройка в документацията на OpenAI – списъкът се променя с всяко поколение и никога не обхваща целия каталог. След това идва броят на епохите, тъй като всяко допълнително преминаване механично умножава разхода за обучение. Ако 2 епохи дават 95% от качеството на 4 епохи, изборът е бърз.

Мониторинг на разходите в продукция

Оценката, направена преди стартиране, важи само за обучението. В продукция действителният трафик движи разходите и често изненадва в по-лоша посока. Брояч, захранван при всяко обаждане, свързан с месечен бюджет, Ви предупреждава преди сметката. Прагът от 80% оставя време за реакция: намалете подкана, ограничете дължините на отговорите или прехвърлете част от трафика към по-евтин модел.

class CostTracker:
    """Real-time cost tracking."""

    def __init__(self, monthly_budget: float):
        self.budget = monthly_budget
        self.spending = 0.0
        self.calls = 0

    def record(self, input_tokens: int, output_tokens: int,
               input_price: float, output_price: float):
        """Records the cost of a call."""
        cost = (
            input_tokens * input_price / 1_000_000 +
            output_tokens * output_price / 1_000_000
        )
        self.spending += cost
        self.calls += 1

        # Alert if approaching budget
        utilization = self.spending / self.budget * 100
        if utilization > 80:
            print(f"ALERT: {utilization:.1f}% of monthly budget used")

    def report(self):
        """Consumption report."""
        print(f"Calls: {self.calls}")
        print(f"Spending: ${self.spending:.2f}")
        print(f"Remaining budget: ${self.budget - self.spending:.2f}")
        if self.calls > 0:
            print(f"Average cost per call: ${self.spending / self.calls:.4f}")

Оправдаване на инвестицията

Остава въпросът, който ръководството Ви ще зададе рано или късно: колко време ще отнеме обучението да се изплати? Изчислението свързва еднократен разход с месечна полза, която събира икономии от токени и стойността, която придавате на подобренията в качеството. Вторият член е най-трудният и е по-добре да го оставите на нула, отколкото да го измисляте: възвращаемост, демонстрирана само върху измерими икономии, носи повече убедителност от щедра прогноза.

def calculate_roi(
    training_cost: float,
    monthly_savings: float,
    quality_gain_value: float = 0
) -> dict:
    """Calculates the return on investment for fine-tuning."""
    monthly_benefit = monthly_savings + quality_gain_value
    payback_months = training_cost / monthly_benefit if monthly_benefit > 0 else float("inf")

    return {
        "training_cost": f"${training_cost:.2f}",
        "monthly_benefit": f"${monthly_benefit:.2f}",
        "payback": f"{payback_months:.1f} months",
        "annual_roi": f"{(monthly_benefit * 12 - training_cost) / training_cost * 100:.0f}%"
    }

Ключови изводи

  • Оценете разхода за обучение преди стартиране на задачата
  • Основният лост за икономии е намаляването на входните токени
  • Започнете с най-евтиния базов модел (Luna), преди да преминете към Terra
  • Следете разходите в продукция с предупреждения за бюджета
  • Изчислете възвращаемостта на инвестицията (ROI), включвайки подобренията в качеството и икономиите от токени