Prosoodia ja kõnekiiruse juhtimine
Sellel lehel
Uuendatud 2. novembril 2026 — Helimudelid. Selles kursuses on mitu mudelit aegunud:
tts-1,tts-1-hdjagpt-4o-mini-ttslõpetavad töö 6. jaanuaril 2027 (järeltulija:gpt-realtime-2.1-mini, mille OpenAI TTS juhend kirjeldab kui mudelit, mida ei toeta/v1/audio/speech: häälesünteesi migratsioon liigub Realtime API-le);gpt-realtime,gpt-4o-realtimeja vanad helimudelid 20. jaanuaril 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeja/v1/audio/translations26. veebruaril 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Täisdupleksse kõne jaoks on GPT-Live 1 olnud API-s saadaval alates 10. septembrist 2026. Tund valmis 3. novembril 2026: varem jäid puudu häälejuhised mudelilegpt-4o-mini-tts(instructions), mis on kõige otsesem hoob intonatsiooni, tooni ja kõnekiiruse mõjutamiseks, mida dokumentatsioon kirjeldab ja midatts-1ei aktsepteeri. Allikas: Text to speech.
Prosoodia ja kõnekiiruse juhtimine
Prosoodia – intonatsioon, rütm, rõhk ja pausid – on see, mis eristab robotlikku sünteetilist häält loomulikust. OpenAI TTS API ei toeta SSML-i, kuid pakub kahte otsest hooba: parameetrit instructions mudelile gpt-4o-mini-tts ja parameetrit speed, mida täiendavad teksti vormindamise tehnikad.
Häälejuhised mudelile gpt-4o-mini-tts
Mudeliga gpt-4o-mini-tts kirjeldad parameetri instructions abil loomulikus keeles, kuidas rääkida tuleks. Dokumentatsioon loetleb, mida need juhised kontrollivad: aktsent, emotsionaalne ulatus, intonatsioon, imiteerimine, kõnekiirus, toon ja sosistamine.
from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="marin",
input="Your appointment is confirmed for tomorrow at two PM.",
instructions=(
"Calm and reassuring voice of a medical receptionist. Measured pace, "
"short pause before the time, falling intonation at the end of the sentence."
),
) as response:
response.stream_to_file("appointment.mp3")
Hoia öeldav tekst parameetris input ja esitusstiil parameetris instructions. Ära sega neid, muidu riskid sellega, et juhise ennast hakatakse valjusti ette lugema. Need juhised ei tööta mudelitega tts-1 ega tts-1-hd; nende mudelite puhul mõjutavad väljundit ainult speed ja allpool arutatud teksti vormindamine. Kuna kõik kolm mudelit suletakse 6. jaanuaril 2027, järgib migratsioon Realtime API-le (Tund 10) sama põhimõtet: toonijuhised liiguvad seansi või vastuse juhiste hulka.
Kõnekiiruse juhtimine parameetriga Speed
TTS API pakub kõnekiiruse kohandamiseks parameetrit speed:
from openai import OpenAI
client = OpenAI()
# Tavaline kiirus (1.0)
response_normal = client.audio.speech.create(
model="tts-1",
voice="nova",
input="Your appointment is confirmed for tomorrow at two PM.",
speed=1.0
)
# Aeglasem (0.75) — keerukate juhiste jaoks
response_slow = client.audio.speech.create(
model="tts-1",
voice="nova",
input="Your appointment is confirmed for tomorrow at two PM.",
speed=0.75
)
# Kiirem (1.25) — lühikeste teavituste jaoks
response_fast = client.audio.speech.create(
model="tts-1",
voice="nova",
input="Your appointment is confirmed for tomorrow at two PM.",
speed=1.25
)
| Kiirus | Vahemik | Kasutusjuht |
|---|---|---|
| Aeglane | 0.25 — 0.75 | Keerukad juhised, ligipääsetavus, eakad kasutajad |
| Tavaline | 0.9 — 1.1 | Vestlused, koolitus, jutustus |
| Kiire | 1.25 — 2.0 | Teavitused, kinnitused, kokkuvõtted |
Teksti vormindamise tehnikad
Peamine hoob prosoodia juhtimiseks on sisendteksti vormindamine. TTS-mudel tõlgendab kirjavahemärke ja struktuuri, et kohandada oma kiirust ja intonatsiooni.
Pausid
# Lühike paus: koma
text_comma = "First step, check your configuration."
# Keskmine paus: semikoolon või sidekriips
text_semi = "First step — check your configuration."
# Pikk paus: punkt või kolm punkti
text_dots = "First step. Check your configuration."
text_ellipsis = "First step... check your configuration."
# Väga pikk paus: eraldi lõik
text_para = "First step.\n\nCheck your configuration."
Rõhk ja intonatsioon
# Küsimus (tõusev intonatsioon)
text_question = "Would you like to confirm this reservation?"
# Hüüdlause (loomulik rõhk)
text_exclaim = "Congratulations! Your registration is confirmed!"
# Rõhk suurtähtede kaudu
text_caps = "It is VERY important not to skip this step."
# Loetelu rütmiga (mudel märgib iga punkti loomulikult)
text_list = "You will need: one, your username. Two, your password. Three, your confirmation code."
Teksti kohandamine kõnekontekstiks
Lugemiseks kirjutatud tekst ja rääkimiseks kirjutatud tekst on väga erinevad. Hääleagendi jaoks vorminda sisu süstemaatiliselt ümber:
def format_for_speech(text: str) -> str:
"""Kohandab kirjaliku teksti loomulikuks häälesitamiseks."""
import re
# Häälda levinud lühendid tähthaaval
abbreviations = {
"API": "A P I",
"URL": "U R L",
"PDF": "P D F",
"SMS": "S M S",
}
for abbr, spelled in abbreviations.items():
text = text.replace(abbr, spelled)
# Kirjuta väikesed arvud sõnadega
number_words = {
"1": "one", "2": "two", "3": "three", "4": "four",
"5": "five", "6": "six", "7": "seven", "8": "eight",
"9": "nine", "10": "ten"
}
for digit, word in number_words.items():
text = re.sub(rf'\b{digit}\b', word, text)
# Kirjuta kellaajad kõnevormingus
text = re.sub(r'(\d{1,2})h(\d{2})', r'\1 hours \2', text)
text = re.sub(r'(\d{1,2})h\b', r'\1 hours', text)
return text
original = "Your appt is at 14h30. Send 1 SMS to confirm."
formatted = format_for_speech(original)
# → "Your appt is at 14 hours 30. Send one S M S to confirm."
Kohanduv kiirus sõltuvalt sisust
Intelligentne hääleagent kohandab oma kõnekiirust sisu tüübile:
def adaptive_speed(content_type: str, user_preference: float = 1.0) -> float:
"""Arvutab optimaalse kiiruse põhinedes sisu tüübil."""
base_speeds = {
"greeting": 1.0,
"instructions": 0.85,
"confirmation": 1.1,
"error_message": 0.9,
"phone_number": 0.7,
"address": 0.75,
"summary": 1.15,
"farewell": 1.0,
}
base = base_speeds.get(content_type, 1.0)
# Kohanda kasutaja eelistusega (0.5 kuni 1.5)
adjusted = base * user_preference
return max(0.25, min(4.0, adjusted)) # Piira API lubatud vahemikku
# Kasutus
speed = adaptive_speed("phone_number", user_preference=0.9)
# → 0.63 (aeglane numbri dikteerimiseks)
Heli järeltöötlus
Veelgi täpsemaks kontrolliks töötle heli pärast genereerimist:
from pydub import AudioSegment
def post_process_speech(audio_bytes: bytes, adjustments: dict) -> bytes:
"""Heli järeltöötlus peenhäälestuseks."""
import io
audio = AudioSegment.from_mp3(io.BytesIO(audio_bytes))
# Kohanda helitugevust
if "volume_db" in adjustments:
audio = audio + adjustments["volume_db"]
# Lisa sisse- ja väljahajumine
if adjustments.get("fade_in_ms"):
audio = audio.fade_in(adjustments["fade_in_ms"])
if adjustments.get("fade_out_ms"):
audio = audio.fade_out(adjustments["fade_out_ms"])
# Lisa vaikus algusesse (eelsoojendus)
if adjustments.get("pre_silence_ms"):
silence = AudioSegment.silent(duration=adjustments["pre_silence_ms"])
audio = silence + audio
buffer = io.BytesIO()
audio.export(buffer, format="mp3")
return buffer.getvalue()
Peamised punktid
- Mudeliga
gpt-4o-mini-ttskirjeldabinstructions, kuidas rääkida (toon, intonatsioon, kiirus, aktsent);tts-1jatts-1-hdseda parameetrit ei aktsepteeri - Parameeter
speed(0.25 kuni 4.0) kontrollib üldist kõnekiirust - Kirjavahemärgid on peamine hoob pauside jaoks: koma (lühike), punkt (pikk), kolm punkti (dramaatiline)
- Kohanda tekst kõnekontekstiks: häälda lühendid tähthaaval, kirjuta arvud sõnadega, sõnasta kellaajad ümber
- Muuda kiirust sõltuvalt sisust: aeglane numbrite ja aadresside jaoks, kiire kinnituste jaoks
- Heli järeltöötlus (helitugevus, hajumine, vaikus) viimistleb lõpptulemust