Kombinuojant modalumus: multimodalinės darbo eigos
Šiame puslapyje
Atnaujinimas 2026 m. lapkričio 2 d. – „Le Chat“ tampa „Vibe“. Nuo 2026 m. gegužės 28 d. „Le Chat“ buvo pervadintas į „Vibe“ (vis tiek adresu chat.mistral.ai): tai vienas agentas darbui ir kodui, perkeliantis jūsų pokalbius, nustatymus ir prenumeratas. Senoji „Le Chat“ patirtis vis dar pasiekiama režimu „Chat“; režimu „Work“ agentai tapo įgūdžiais (kviečiami naudojant
@), atmintys veikia kaip žinių bazė, o gilus tyrimas dabar yra „Deep Research“ įgūdis. Planai dabar vadinami „Mistral Free“, „Pro“, „Team“ ir „Enterprise“. Šioje pamokoje naudojamas pavadinimas „Vibe“; atkreipkite dėmesį, kad kai kurių čia aprašytų meniu pavadinimai arba vietos galėjo pasikeisti.
Kombinuoto multimodalumo galia
Šio kurso metu išnarstėte tris pagrindines „Mistral AI“ galimybes: regą vaizdų analizei, garsą transkripcijai ir kalbos sintezei bei dokumentų apdorojimą naudojant išmanųjį OCR. Atskirai kiekviena jų yra įspūdinga. Tačiau sujungus jas į vieną darbo eigą, atsiskleidžia visas jų potencialas: šaltiniai susikerta ir papildo vienas kitą, suteikdami rezultatų, kurie pranoksta tai, ką galėtų pasiekti bet kuris vienas modalumas. Ši pamoka parodys, kaip suderinti šiuos derinius.
Vaizdas + tekstas: daugiau nei tik aprašymas
Dažniausias naudojimo atvejis – vaizdo papildymas tiksliomis tekstinėmis instrukcijomis. Skirtumas tarp silpno ir turtingo užklausos teksto yra dramatiškas. Padarykite „PowerPoint“ skaidrės ekrano kopiją: užklausa „Aprašykite šį vaizdą“ duos blankų parafrazavimą. Tačiau „Čia mūsų investuotojams skirtos prezentacijos skaidrė. Perfrazuokite pagrindinę žinutę plačiajai auditorijai“ arba „Šioje skaidrėje pateikiami mūsų ketvirčio rezultatai. Nustatykite 3 svarbiausius rodiklius ir pasiūlykite patrauklų pavadinimą“ pasitelkia tiek modelio vizualinį supratimą, tiek rašymo gebėjimus – todėl rezultatas yra iškart panaudojamas.
Tas pats principas taikomas ir lauko nuotraukoms. „Čia mūsų stendo parodoje nuotrauka. Pasiūlykite patobulinimų, kaip pritraukti daugiau lankytojų“ – taip modelis tampa konsultantu; „Šioje nuotraukoje matomas dabartinis mūsų biuro išplanavimas. Pasiūlykite pertvarkymą, kad pagerėtų bendradarbiavimas“ – taip jis tampa erdvės planuotoju. Abiem atvejais tekstinis kontekstas nukreipia modelio dėmesį.
Taip pat galite derinti kelis vaizdus su lyginamąja instrukcija: trys dizaino maketai su užklausa „Įvertinkite šiuos maketus pagal vizualinį aiškumą ir pagrįskite savo vertinimą“ arba „prieš ir po“ remonto nuotraukos su užklausa „Įvertinkite progreso procentinę dalį ir nustatykite likusias užduotis“.
Garso įrašas + dokumentas: išmanioji santrauka
Ypač galinga darbo eiga sujungia garso įrašo transkripciją su dokumentų analize. Klasikinis scenarijus – susirinkimas: pirmiausia įkelkite darbotvarkę (PDF) į „Vibe“, tada susirinkimo garso įrašą ir galiausiai klauskite: „Čia mūsų susirinkimo darbotvarkė ir garso įrašas. Kiekvienam darbotvarkės punktui apibendrinkite, kas buvo nuspręsta, ir išvardykite veiksmų punktus.“ Modelis susieja abu šaltinius ir sukuria struktūruotą, punktų pagrįstą santrauką – tuo tarpu vien tik transkripcija duotų ilgą pažodinį tekstą, kurį reikėtų redaguoti, o vien tik darbotvarkė būtų tuščias apvalkalas.
Studentų variantas veikia taip pat gerai: įkelkite kurso PDF skaidres, tada dėstytojo garso įrašą ir paprašykite: „Sukurkite išsamias kartojimo pastabas, sujungdami skaidres su dėstytojo žodiniais paaiškinimais.“ Skaidrės suteikia struktūrą ir tikslius apibrėžimus; garso įrašas papildo paaiškinimais, pavyzdžiais ir akcentais. Galutinės pastabos yra daug turtingesnės nei tai, ką galėtų suteikti bet kuris šaltinis atskirai.
Keturios profesionalios darbo eigos, kurias verta pakartoti
Konkurencinei žvalgybai: padarykite trijų konkurentų pagrindinių puslapių ekrano kopijas, įkelkite jas į „Vibe“ ir klauskite: „Palyginkite šiuos 3 pagrindinius puslapius. Nustatykite kiekvieno stiprybes ir silpnybes komunikacijos, dizaino ir veiksmo raginimų požiūriu.“
Klientų integracijai: įkelkite pasirašytą sutartį (PDF), o po to – kliento užklausą (dokumentą arba vaizdą) ir klauskite: „Apibendrinkite sutartinius įsipareigojimus ir palyginkite juos su užklausos lūkesčiais. Ar yra kokių nors neatitikimų?“ Anksti pastebėjus šiuos nesutapimus, išvengsite situacijos, kai projekto viduryje paaiškėja, jog pardavimų pažadas nėra įtrauktas į sutartį.
Renginių analizei: sujunkite tris šaltinius: renginio nuotraukas, kalbų garso įrašus ir programą (PDF), tada klauskite: „Sukurkite ataskaitą po renginio, išryškindami svarbiausius momentus, įsimintinas citatas ir įvertindami, kaip gerai buvo aprėpta programa.“
Vidiniam mokymui: apverskite srautą: įrašykite savo žodinį proceso paaiškinimą, leiskite „Vibe“ jį transkribuoti, paprašykite: „Paverskite šią transkripciją į struktūruotą procedūrų vadovą su numeruotais veiksmais“, tada pridėkite ekrano kopijas su užklausa: „Integruokite šių ekrano kopijų aprašymus kaip iliustracijas kiekvienam veiksmui.“ Per keturias žinutes improvizuotas paaiškinimas tampa oficialia dokumentacija.
Sklandus mechanizmo valdymas
Keli įpročiai šias darbo eigas padaro daug sklandesnes. Kontekstualizuokite kiekvieną įkeliamą failą – „Tai darbotvarkė“, „Čia atitinkamas garso įrašas“ – kad modelis teisingai susietų šaltinius. Sudėtingoms darbo eigoms judėkite žingsnis po žingsnio: vietoj to, kad siųstumėte viską vienoje žinutėje, kurkite pokalbį žinutė po žinutės, patvirtindami kiekvieną žingsnį prieš pereidami prie kito. Prieš įkeldami aiškiai pavadinkite failus: „ataskaita-q3-2026.pdf“ informuoja modelį, o „dokumentas.pdf“ – ne. Ir atminkite, kad balso režimas pats savaime yra įvesties modalumas: ilgomis instrukcijoms jas diktuokite, o ne rašykite pastraipą.
Svarbiausi punktai
- Vaizdo, teksto, garso ir dokumentų derinimas vienoje darbo eigoje daugina galimybes
- Galingiausios darbo eigos susieja kelis šaltinius: susirinkimo garso įrašas + darbotvarkė, nuotraukos + kliento užklausa
- Kontekstualizuokite kiekvieną įkeliamą failą, kad modelis galėtų teisingai nustatyti ryšius
- Sudėtingose darbo eigose judėkite žingsnis po žingsnio, o ne siųskite viską vienu metu
- Balso režimas gali būti naudojamas kaip įrankis išsamioms instrukcijoms įvesti