Apvienojot modalitātes: multimodālas darbplūsmas
Šajā lapā
Atjauninājums 2026. gada 2. novembrī — Le Chat kļūst par Vibe. Kopš 2026. gada 28. maija Le Chat ir pārdēvēts par Vibe (joprojām adresē chat.mistral.ai): tas ir vienots aģents darbam un kodēšanai, kas saglabā tavas sarunas, iestatījumus un abonementus. Vecais Le Chat interfeiss joprojām ir pieejams režīmā Chat; režīmā Work aģenti ir kļuvuši par prasmēm (izsaucamas ar
@), atmiņas kalpo kā zināšanu bāze, bet padziļinātā izpēte tagad ir prasme Deep Research. Plāni tagad saucas Mistral Free, Pro, Team un Enterprise. Šajā nodarbībā lietots nosaukums Vibe; ņem vērā, ka dažas šeit aprakstītās izvēlnes var būt mainījušas nosaukumus vai atrašanās vietu.
Kombinētās multimodalitātes spēks
Šī kursa laikā tu esi iepazinies ar trim Mistral AI pamatspējām: redzi attēlu analīzei, audio transkribēšanai un runas sintēzei, kā arī dokumentu apstrādi ar viedu OCR. Katra no tām atsevišķi ir iespaidīga. Taču to apvienošana vienotā darbplūsmā atklāj to pilnu potenciālu: avoti krustojas un papildina viens otru, radot rezultātus, kas pārspēj jebkuras vienas modalitātes iespējas. Šī nodarbība parāda, kā orchestrēt šīs kombinācijas.
Attēls + teksts: vairāk nekā tikai apraksts
Visizplatītākais lietojums ir attēla bagātināšana ar precīzām teksta instrukcijām. Atšķirība starp vāju un saturīgu promptu ir dramatiskā. Paņem ekrānuzņēmumu no PowerPoint slaída: „Apraksti šo attēlu” radīs blāvu pārstāstu. Bet „Šis ir slaids no mūsu investoru prezentācijas. Pārfrāzē galveno vēstījumu plašai auditorijai” vai „Šis slaids parāda mūsu ceturkšņa rezultātus. Identificē 3 svarīgākos rādītājus un ieteic pievilcīgu virsrakstu” izmanto gan modeļa vizuālo izpratni, gan rakstīšanas spējas — padarot rezultātu uzreiz lietojamu.
Tas pats princips attiecas uz lauka fotoattēliem. „Šī ir mūsu stenda fotogrāfija no tirdzniecības izstādes. Ieteic uzlabojumus, lai piesaistītu vairāk apmeklētāju”, pārvērš modeli par konsultantu; „Šī fotogrāfija parāda mūsu pašreizējo biroja izkārtojumu. Piedāvā pārkārtojumu sadarbības uzlabošanai” padara to par telpu plānotāju. Abos gadījumos teksta konteksts virza modeļa fokusu.
Tu vari arī apvienot vairākus attēlus ar salīdzinošu instrukciju: trīs dizaina maketi kopā ar „Sarindo šos maketus pēc vizuālās skaidrības un pamato savu vērtējumu” vai fotoattēls „pirms un pēc” renovācijas ar „Novērtē progresu procentos un identificē atlikušos uzdevumus”.
Audio + dokuments: viedais kopsavilkums
Īpaši spēcīga darbplūsma apvieno audio transkribēšanu ar dokumentu analīzi. Klasiskais scenārijs ir sapulce: vispirms augšupielādē Vibe darba kārtību (PDF), tad sapulces ierakstu un visbeidzot jautā: „Šī ir mūsu sapulces darba kārtība un ieraksts. Katram darba kārtības punktam apkopo pieņemtos lēmumus un uzskaiti uzdevumus.” Models krustatsauc abus avotus, lai izveidotu strukturētu, punktu pa punktam veidotu kopsavilkumu — turpretī tikai transkribēšana dotu garu burtisku pierakstu, kas jārediģē, bet tikai darba kārtība būtu tukša čaula.
Studentu variants strādā tikpat labi: augšupielādē kursa PDF slaidus, tad pasniedzēja audio ierakstu un jautā: „Izveido visaptverošas pārskata piezīmes, apvienojot slaidus ar pasniedzēja mutvārdu skaidrojumiem.” Slaidi nodrošina struktūru un precīzas definīcijas; audio pievieno skaidrojumus, piemērus un akcentus. Galīgās piezīmes ir daudz bagātīgākas nekā tas, ko jebkurš avots spētu sniegt atsevišķi.
Četras profesionālas darbplūsmas atkārtošanai
Konkurences izlūkošanai nofotografē trīs konkurentu mājaslapas, augšupielādē tās Vibe un jautā: „Salīdzini šīs 3 mājaslapas. Identificē katra stiprās un vājās puses ziņojumu saturā, dizainā un aicinājumā uz darbību.”
Klientu uzņemšanai augšupielādē parakstīto līgumu (PDF), kam seko klienta uzdevums (dokuments vai attēls), un jautā: „Apkopo līgumsaistības un krustatsauc tās ar uzdevuma paredzētajām prasībām. Vai ir kādas neatbilstības?” Šo nesakritību agrīna atklāšana novērš situācijas, kad projekta vidū atklājas, ka pārdošanas solījums nav iekļauts līgumā.
Pasākumu analīzei apvieno trīs avotus: pasākuma fotoattēlus, runu audio ierakstus un programmu (PDF), tad jautā: „Izveido ziņojumu pēc pasākuma, izceļot galvenos mirkļus, neaizmirstamas citātas un novērtējot, cik labi tika aptverta programma.”
Iekšējai apmācībai apgriez procesu: ieraksti savu mutvārdu procesa skaidrojumu, ļauj Vibe to transkribēt, jautā: „Pārvērt šo transkribējumu strukturētā procedūras rokasgrāmatā ar numurētiem soļiem”, tad pievieno ekrānuzņēmumus ar „Integrē šo ekrānuzņēmumu aprakstus kā ilustrācijas katram solim.” Četru ziņojumu laikā improvizēts skaidrojums kļūst par formālu dokumentāciju.
Vienmērīga procesa nodrošināšana
Daži ieradumi padara šīs darbplūsmas daudz gludākas. Kontekstualizē katru augšupielādēto failu — „Šī ir darba kārtība”, „Šeit ir atbilstošais ieraksts” — lai models pareizi saistītu avotus. Sarežģītām darbplūsmām rīkojies soli pa solim: tā vietā, lai visu nosūtītu vienā ziņojumā, veido sarunu ziņojumu pēc ziņojuma, apstiprinot katru soli, pirms pāriet pie nākamā. Nosauc savus failus eksplicīti pirms augšupielādes: „pārskats-q3-2026.pdf” informē modeli; „dokuments.pdf” to nedara. Un atceries, ka balss režīms pats par sevi ir ievades modalitāte: garām instrukcijām diktē tās, nevis raksti rindkopu.
Galvenās atziņas
- Attēla + teksta + audio + dokumenta apvienošana vienotā darbplūsmā reizina iespējas
- Spēcīgākās darbplūsmas krustatsauc vairākus avotus: sapulces audio + darba kārtība, fotoattēli + klienta uzdevums
- Kontekstualizē katru augšupielādēto failu, lai palīdzētu modelim izveidot pareizās saiknes
- Sarežģītās darbplūsmās rīkojies soli pa solim, nevis nosūtot visu vienlaikus
- Balss režīms var kalpot kā ievades rīks detalizētām instrukcijām