Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ikkonfigura sessjoni tal-vuċi

Lezzjoni 2 / 14 Aġġornat 3 ta’ Novembru 2026 Livell Medju
F'din il-paġna
  1. Il-messaġġ li jistabbilixxi kollox: session.update
  2. Ikteb istruzzjonijiet għall-widna, mhux għall-għajn
  3. Skoperta tat-turn (Turn detection)
  4. Agħżel il-format tal-awdjo t-tajjeb
  5. Agħti għodod lill-aġent
  6. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru 2026, ibbażat fuq il-paġna Speech to Speech ta’ xAI u l-gwida għall-prompting tal-vuċi. Sorsi: Speech to Speech · Prompting Guide.

Il-messaġġ li jistabbilixxi kollox: session.update

Ladarba l-konnessjoni WebSocket tkun miftuħa, xejn ma jiġri għadha. Il-messaġġ session.update huwa dak li jagħti lill-aġent il-personalità tiegħu: il-vuċi li juża, l-istruzzjonijiet li jsegwi, kif jiskopri meta jkun hemm bidla fid-diskors, u liema għodod jista’ jsejjaħ. Ħsieb fih bħaċ-ċertifikat tat-twelid tas-sessjoni. Kollox l-ieħor fil-konversazzjoni jiddependi minnu.

{
  "type": "session.update",
  "session": {
    "instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
    "voice": "Ara",
    "turn_detection": {
      "type": "server_vad"
    },
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    },
    "tools": [
      { "type": "web_search" }
    ]
  }
}

Is-server jikkonferma dan b’avveniment session.updated. M’għandekx tibgħat dan il-messaġġ darba biss. Tista’ tibgħatu mill-ġdid fin-nofs tal-konversazzjoni biex tbiddel setting waqt li tkun għaddej, pereżempju biex tbiddel il-vuċi meta s-sejħa tgħaddi mill-bejgħ għas-sostenn tekniku, mingħajr qatt ma taqta’ l-konnessjoni.

Ikteb istruzzjonijiet għall-widna, mhux għall-għajn

Il-qasam instructions jaqdi r-rwol tal-prompt tas-sistema. Użah biex tistabbilixxi l-personalità tal-aġent (formali, każwali, tekniku), it-topiċi li jista’ jkopri, il-limitazzjonijiet fuq it-tweġibiet tiegħu (tul, format, lingwa), u l-kuntest tan-negozju li jeħtieġ: l-isem tal-kumpanija tiegħek, il-firxa ta’ prodotti, u l-proċeduri interni.

Il-problema hija li dak li jagħmel prompt miktub tajjeb spiss jagħmel aġent tal-vuċi ħażin. Jekk jitħalla waħdu, mudell jikteb tweġibiet ta’ għaxar linji. Meta jinqraw għoli, jitwieldu u l-utent jitlif l-interess qabel ma jispiċċaw. Għalhekk, itlob espliċitament tweġibiet qosra u diretti. Jekk l-app tiegħek taħdem f’lingwa waħda, għid liema hi, inkella l-aġent jista’ jbiddel biex jaqbel mal-aċċent ta’ min qed iċempel. U għidlu x’għandu jagħmel meta ma jifhimx: istruzzjoni bħal “agħmel mistoqsija ta’ ċċarar minflok ma tissupponi” tevita li numru tal-ordni mis-moħbi jħeġġeġ tfittxija bla sens. Il-gwida tal-prompting tal-vuċi ta’ xAI tissuġġerixxi anke struttura ta’ ħames partijiet (rwol u personalità, għan, fluss tal-konversazzjoni, limitazzjonijiet u eskalazzjoni, stil tal-vuċi) u tirrakkomanda sentenza jew tnejn qosra għal kull turn, sakemm min iċempel ma jitlobx aktar dettalji.

Skoperta tat-turn (Turn detection)

Il-blokk turn_detection jiddeċiedi min jitkellem u meta, u d-dokumentazzjoni ta’ xAI tipprovdi biss żewġ settings għalih. L-ewwel huwa type. Fil-modalità "server_vad", is-server jiskopri waħdu t-tmiem ta’ kull kelma, jikkonferma l-awdjo, jibda r-risposta, u jimmaniġġja l-interruzzjonijiet: kollox ma tagħmilx huwa tibgħat awdjo b’input_audio_buffer.append. It-tieni setting, idle_timeout_ms, huwa fakultattiv. Jekk l-utent jibqa’ sieket għal dak in-numru ta’ millisekondi wara risposta, is-server iħeġġu, u jerġa’ jagħmel hekk wara kull silenzju ġdid tal-istess tul.

{
  "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}

M’hemm l-ebda limitu ta’ sensittività jew tul ta’ silenzju biex taġġusta. Il-parametri threshold, silence_duration_ms, u prefix_padding_ms li tara f’eżempji miktuba għall-API Realtime ta’ OpenAI ma jidhrux fid-dokumentazzjoni ta’ xAI.

Jekk l-imġiba awtomatika ma taqbilx miegħek, issettja t-tip għal null u ħu l-kontroll. Imbagħad ikun f’idejk li tibbufferja l-awdjo b’input_audio_buffer.append, tikkonferma t-turn espliċitament b’input_audio_buffer.commit, u tħeġġeġ il-ġenerazzjoni b’response.create. Il-modalità manwali hija l-għażla t-tajba għal interfaċċa push-to-talk, jew kull meta trid kontroll preċiż fuq meta jitkellem l-aġent.

Agħżel il-format tal-awdjo t-tajjeb

Il-blokk audio jistabbilixxi l-formats tal-input u tal-output b’mod indipendenti:

{
  "audio": {
    "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
    "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
  }
}

Erba’ tipi huma aċċettati. Jekk ma tispeċifikax wieħed, tikseb PCM f’24,000 Hz:

TipKodifikaRati tal-kampjun
audio/pcmPCM Linear16, little-endian8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz
audio/pcmuG.711 mu-law (telefonija tal-Amerika ta’ Fuq)8000 Hz biss
audio/pcmaG.711 A-law (telefonija Ewropea)8000 Hz biss
audio/opusOpus, pakkett wieħed kull messaġġ24000 Hz

Il-kanal ta’ konsenja tiegħek jiddeċiedi. Applikazzjoni web f’browser taħdem tajjeb b’PCM ta’ 24,000 Hz, bilanċ tajjeb bejn il-kwalità perċepita u l-banda. Integrazzjoni ma’ telefon SIP m’għandha l-ebda għażla: in-netwerk iġorr G.711 f’8,000 Hz, u li tiforza format ta’ kwalità ogħla fuqu biss iżżid konverżjoni bla sens.

Agħti għodod lill-aġent

L-array tools jelenka x’jista’ jsejjaħ l-aġent matul il-konversazzjoni, u tista’ tħallat tipi differenti fl-istess sessjoni:

{
  "tools": [
    { "type": "web_search" },
    { "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
    {
      "type": "function",
      "name": "get_order_status",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": { "type": "string" }
        },
        "required": ["order_id"]
      }
    }
  ]
}

Int tipprovdi l-kaxxa tal-għodod; l-aġent jagħżel l-għodda. Hekk kif il-konversazzjoni timxi ‘l quddiem, jiddeċiedi li mistoqsija dwar l-aħbarijiet teħtieġ tfittxija fuq il-web, filwaqt li numru tal-ordni jsejjaħ get_order_status. Allura x-xogħol tiegħek huwa inqas dwar l-organizzazzjoni tas-sejħiet u aktar dwar id-deskrizzjoni ċara ta’ kull għodda, sabiex l-aġent jagħmel l-għażla t-tajba.

Punti Ewlenin

  • Il-messaġġ session.update jikkonfigura l-vuċi, l-istruzzjonijiet, il-VAD, u l-għodod
  • Il-VAD fuq in-naħa tas-server (server_vad) jiskopri t-turns u jimmaniġġja l-interruzzjonijiet; idle_timeout_ms huwa l-uniku setting
  • Il-modalità manwali (turn_detection.type issettjat għal null) tagħtik kontroll preċiż, pereżempju ma’ push-to-talk
  • Il-formats tal-awdjo PCM, G.711, u Opus ikopru kemm każijiet ta’ użu web kif ukoll tat-telefonija
  • Tista’ tbiddel il-konfigurazzjoni fin-nofs tas-sessjoni mingħajr ma taqta’ l-konnessjoni