Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-API TTS: Iġġenera l-Kliem

Lezzjoni 10 / 18 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. L-API TTS: Iġġenera l-Kliem
  2. L-Ewwel Sejħa TTS Tiegħek
  3. Mudelli Disponibbli
  4. Formati tal-Output
  5. Il-Ġenerazzjoni tal-Awdjo f’Lotti
  6. Limitu tal-Karattri u Qsim
  7. Wara s-6 ta’ Jannar, 2027: Tagħmel Mudell Realtime Jitkellem
  8. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Mudelli tal-awdjo. Diversi mudelli f’dan il-kors huma deprekati: tts-1, tts-1-hd, u gpt-4o-mini-tts se jitgħalqu fis-6 ta’ Jannar, 2027 (sukċessur: gpt-realtime-2.1-mini, li l-gwida tal-API TTS ta’ OpenAI tiddikjara li mhix appoġġjata minn /v1/audio/speech: il-migrazzjoni tas-sinteżi tal-kliem timxi lejn l-API Realtime); gpt-realtime, gpt-4o-realtime, u mudelli tal-awdjo legacy fl-20 ta’ Jannar, 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe, u /v1/audio/translations fis-26 ta’ Frar, 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Għal-leħen full-duplex, GPT-Live 1 kien disponibbli fl-API mill-10 ta’ Settembru, 2026. Lezzjoni kkoreġuta fit-3 ta’ Novembru, 2026: response.stream_to_file() fuq ir-riżultat ta’ speech.create() huwa deprekat mill-SDK (“Minħabba bug, dan il-metodu fil-fatt ma jistrimjax”) → uża with_streaming_response, bħal fil-gwida uffiċjali; mudelli u vuċijiet aġġornati (gpt-4o-mini-tts u l-istruzzjonijiet tal-vuċi tiegħu, 13-il vuċi inkluż marin u cedar); taqsima ġdida dwar il-migrazzjoni lejn gpt-realtime-2.1-mini qabel is-6 ta’ Jannar, 2027, ibbażata fuq il-gwida Realtime conversations. Sorsi: Text to speech · Create speech · Realtime conversations · Deprecations.

L-API TTS: Iġġenera l-Kliem

L-API Text-to-Speech (TTS) ta’ OpenAI tikkonverti t-test f’awdjo ta’ kwalità għolja. Kuntrarjament għall-API Realtime, li timmaniġġja konversazzjonijiet sħaħ bil-leħen, l-API TTS hija servizz ta’ daqqa waħda: tibgħat test, u tirċievi fajl tal-awdjo. Hija l-għodda ideali biex tiġġenera announcements, notifiki bil-leħen, awdibooks, jew kontenut aċċessibbli.

L-Ewwel Sejħa TTS Tiegħek

Il-ġenerazzjoni tal-kliem hija sempliċi ħafna:

from openai import OpenAI
from pathlib import Path

client = OpenAI()

speech_file = Path("welcome.mp3")

with client.audio.speech.with_streaming_response.create(
    model="gpt-4o-mini-tts",
    voice="coral",
    input="Welcome to Corsen Academy. "
          "Your training on voice agents starts now.",
    instructions="Speak in a warm, measured tone.",
) as response:
    response.stream_to_file(speech_file)

L-API tirritorna fluss tal-awdjo li tista’ ssalva direttament jew tistrimja lejn plejer. Uża with_streaming_response, kif muri hawnhekk: is-sejħa ta’ stream_to_file() fuq ir-riżultat ta’ speech.create() sempliċi hija deprekata mill-SDK, li jinnota li fil-fatt ma tistrimjax l-awdjo.

Mudelli Disponibbli

It-tliet mudelli tal-API tal-Awdjo huma deprekati u se jitgħalqu fis-6 ta’ Jannar, 2027: dan huwa l-perjodu ta’ tranżizzjoni li matulu għadek se tużahom.

MudellSpeċifiċitàVuċijiet
gpt-4o-mini-ttsJaċċetta istruzzjonijiet: aċċent, emozzjoni, intonazzjoni, veloċità, ton, tgħajjib13-il vuċi, inkluż marin u cedar, rakkomandati għall-kwalità
tts-1Latenza aktar baxxa, kwalità aktar baxxa9 vuċijiet: alloy, ash, coral, echo, fable, onyx, nova, sage, shimmer
tts-1-hdKwalità ogħla minn tts-1, latenza ogħlaL-istess 9 vuċijiet

L-istruzzjonijiet ma jaħdmux ma’ tts-1 u tts-1-hd. Il-parametru speed, minn 0.25 sa 4.0, jaġġusta r-rata mal-mudelli kollha. Skont il-gwida, il-vuċijiet huma ottimizzati għall-Ingliż: ismagħhom bil-Franċiż fuq OpenAI.fm qabel ma tagħżel. Il-politiki ta’ użu ta’ OpenAI jirrikjedu wkoll li tinforma b’mod ċar lill-utenti tiegħek li l-vuċi li qed jisimgħu hija ġġenerata mill-AI.

Formati tal-Output

L-API tipproduċi sitt formati, magħżula b’response_format:

FormatUżu
mp3 (default)Użu ġenerali
opusStrimjar fuq l-internet u komunikazzjoni, latenza baxxa
aacKompressjoni diġitali, preferut minn YouTube, Android, u iOS
flacKompressjoni mingħajr telf, għall-arkivjar
wavMhux ikkumpressat, biex tevita overhead tad-decoding
pcmKampjuni raw f’24 kHz, 16-bit iffirmati, mingħajr header
for fmt in ("mp3", "opus", "aac", "flac", "wav", "pcm"):
    with client.audio.speech.with_streaming_response.create(
        model="gpt-4o-mini-tts",
        voice="marin",
        input="Text to convert",
        response_format=fmt,
    ) as response:
        response.stream_to_file(f"example.{fmt}")

Għal aġent bil-leħen mibni fuq l-API Realtime, il-format pcm huwa l-aktar konvenjenti: il-kampjuni tiegħu ta’ 24 kHz u 16-bit jaqblu mal-format audio/pcm tal-API Realtime f’24 kHz.

Il-Ġenerazzjoni tal-Awdjo f’Lotti

Għal volumi kbar ta’ test, ipproċessa s-segmenti parallelament:

import asyncio
from openai import AsyncOpenAI

async_client = AsyncOpenAI()

async def generate_speech_batch(segments: list[dict]) -> list[bytes]:
    """Iġġenera l-awdjo għal segmenti multipli parallelament."""
    async def generate_one(segment):
        response = await async_client.audio.speech.create(
            model="gpt-4o-mini-tts",
            voice=segment.get("voice", "alloy"),
            input=segment["text"],
            response_format="mp3"
        )
        return await response.aread()

    tasks = [generate_one(seg) for seg in segments]
    return await asyncio.gather(*tasks)

# Użu
segments = [
    {"text": "Chapter one. Introduction to voice agents.", "voice": "onyx"},
    {"text": "Voice agents transform human-computer interaction.", "voice": "onyx"},
    {"text": "In this chapter, we'll explore the fundamentals.", "voice": "onyx"},
]

audio_chunks = asyncio.run(generate_speech_batch(segments))

# Iggħaqqad il-fajls
from pydub import AudioSegment
import io

combined = AudioSegment.empty()
for chunk in audio_chunks:
    segment = AudioSegment.from_mp3(io.BytesIO(chunk))
    combined += segment

combined.export("chapter_1.mp3", format="mp3")

Limitu tal-Karattri u Qsim

L-API TTS għandha limitu ta’ 4,096 karattru għal kull talba. Għal testi itwal, aqsamhom b’intelliġenza:

def split_text_for_tts(text: str, max_chars: int = 4000) -> list[str]:
    """Aqsam it-test f'segmenti li jirrispettaw il-limiti TTS."""
    sentences = text.replace(". ", ".\n").split("\n")
    segments = []
    current = ""

    for sentence in sentences:
        if len(current) + len(sentence) + 1 > max_chars:
            if current:
                segments.append(current.strip())
            current = sentence
        else:
            current += " " + sentence if current else sentence

    if current:
        segments.append(current.strip())

    return segments

Wara s-6 ta’ Jannar, 2027: Tagħmel Mudell Realtime Jitkellem

OpenAI tiddesignja gpt-realtime-2.1-mini bħala s-sostitut għat-tliet mudelli, u twissi: mhuwiex mudell għall-endpoint /v1/audio/speech; il-migrazzjoni tbiddel il-fluss tax-xogħol. Int tgħaddi minn sessjoni Realtime. Il-gwida Realtime conversations turi kif tikseb tweġiba mingħajr kuntest, li tinjora l-konversazzjoni u ssegwi biss l-istruzzjonijiet tagħha: din hija t-triq biex tgħidilha tgħid test mogħti.

import base64
import json
import os
import wave

import websocket  # pip install websocket-client

TEXT = "Welcome to Corsen Academy. Your training on voice agents starts now."

ws = websocket.WebSocket()
ws.connect(
    "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1-mini",
    header=[f"Authorization: Bearer {os.environ['OPENAI_API_KEY']}"],
)

# Output tal-awdjo biss, PCM 16-bit f'24 kHz, bil-vuċi magħżula
ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "output_modalities": ["audio"],
        "audio": {"output": {"format": {"type": "audio/pcm", "rate": 24000}, "voice": "marin"}},
    },
}))

# Tweġiba mingħajr kuntest (input vojt), li trid tgħid it-test eżattament hekk
ws.send(json.dumps({
    "type": "response.create",
    "response": {
        "input": [],
        "output_modalities": ["audio"],
        "instructions": f"Say exactly the following text, without adding anything:\n{TEXT}",
    },
}))

audio, transcription = bytearray(), []
while True:
    event = json.loads(ws.recv())
    if event["type"] == "response.output_audio.delta":
        audio += base64.b64decode(event["delta"])
    elif event["type"] == "response.output_audio_transcript.delta":
        transcription.append(event["delta"])
    elif event["type"] == "error":
        raise RuntimeError(event["error"]["message"])
    elif event["type"] == "response.done":
        break
ws.close()

with wave.open("welcome.wav", "wb") as wav:
    wav.setnchannels(1)
    wav.setsampwidth(2)  # 16 bits
    wav.setframerate(24000)
    wav.writeframes(bytes(audio))
print("Spoken text:", "".join(transcription))

Żewġ differenzi mal-API tal-Awdjo huma importanti fil-produzzjoni. Ir-riżultat m’għadux garantit kelma b’kelma: mudell Realtime isegwi istruzzjoni; ma jaqra fajl. Allura qabbel it-traskrizzjoni ta’ dak li qal, irritornata f’response.output_audio_transcript.delta, mat-test mistenni, u erġa’ iġġenera jekk ikun hemm diskrepanza. Il-fatturar jinbidel ukoll: isegwi r-rati tal-mudell Realtime, f’tokens tat-test u tal-awdjo, elenkati fuq il-folja tal-ispeċifikazzjonijiet tiegħu. Fl-aħħar nett, ċavetta miċħuda ma tipprevjenix il-konnessjoni: tasal eżatt wara, f’avveniment error.

Punti Ewlenin

  • gpt-4o-mini-tts, tts-1, u tts-1-hd jagħlqu fis-6 ta’ Jannar, 2027; gpt-4o-mini-tts huwa l-uniku li jaċċetta istruzzjonijiet tal-vuċi (instructions)
  • Irrekordja l-awdjo b’with_streaming_response: stream_to_file() fuq speech.create() sempliċi huwa deprekat
  • Sitt formati tal-output: MP3, Opus, AAC, FLAC, WAV, u PCM raw
  • Il-format PCM huwa ideali għall-integrazzjoni mal-API Realtime
  • Limitu ta’ 4,096 karattru għal kull talba: aqsam testi twal fil-fruntieri tas-sentenzi
  • L-ipproċessar f’lotti bil-klijent asinkronu jħaffef il-ġenerazzjoni ta’ kontenut kbir
  • Il-migrazzjoni tgħaddi minn sessjoni Realtime b’gpt-realtime-2.1-mini: tweġiba mingħajr kuntest, awdjo PCM ta’ 24 kHz, traskrizzjoni biex tqabbel mat-test