Salt la conținutul principal
Română— Alege o limbă
Meniu

LLM-uri și arhitectură

Lecția 11 din 16 Actualizată 2 noiembrie 2026 Începător
Pe această pagină
  1. Cum funcționează un model lingvistic
  2. Ce este un LLM?
  3. Parametrii modelului
  4. Arhitectura Transformer
  5. Mixture of Experts (MoE) – Specialitatea Mistral
  6. Greutățile modelului
  7. Antrenamentul în două faze
  8. Puncte cheie

Actualizat pe 2 noiembrie 2026 — Le Chat este acum Vibe. Începând cu 28 mai 2026, Le Chat a devenit Vibe (rămâne disponibil la chat.mistral.ai): un singur agent pentru muncă și cod, care preia conversațiile, setările și abonamentele dumneavoastră. Experiența legacy Le Chat rămâne accesibilă în modul Chat; în modul Work, agenții sunt acum competențe (invocate cu @), memoriile constituie baza de cunoștințe, iar căutarea avansată este competența Deep Research. Planurile se numesc acum Mistral Free, Pro, Team și Enterprise. Această lecție utilizează denumirea Vibe; unele meniuri descrise aici își pot fi schimbat numele sau locația.

Cum funcționează un model lingvistic

Folosiți un model lingvistic de fiecare dată când puneți o întrebare pe Vibe. Dar ce se întâmplă efectiv între momentul în care apăsați Enter și cel în care apare răspunsul? Această lecție vă oferă cheile pentru a înțelege arhitectura subiacentă, fără a intra în detalii matematice. Nu este doar o cultură generală gratuită: înțelegerea mecanismului vă ajută să anticipați ce face modelul bine, ce face prost și de ce.

Ce este un LLM?

Un LLM (Large Language Model sau Model Lingvistic Mare) este un program informatic antrenat pe volume masive de text pentru a învăța să prezică următorul cuvânt dintr-o propoziție. Acest principiu pare deceptionant de simplu – și totuși, aplicat la scară largă, produce rezultate surprinzător de coerente și utile. Concret, când puneți o întrebare lui Mistral Small 4, modelul procedează astfel:

  1. Transformă textul dumneavoastră în tokeni
  2. Procesează acești tokeni prin miliarde de calcule
  3. Prezice tokenul cel mai probabil care ar trebui să urmeze
  4. Repetă operațiunea token cu token până își completează răspunsul

Acest lucru explică un fenomen pe care l-ați observat încă de la primul schimb: răspunsul apare progresiv pe ecran (streaming) deoarece modelul își generează efectiv răspunsul cuvânt cu cuvânt. Ceea ce vedeți derulându-se nu este un artefact de afișaj – este chiar generarea, în timp real.

Parametrii modelului

Când vorbim despre un model cu „7 miliarde de parametri“ sau „14 miliarde de parametri“, ne referim la numărul de conexiuni numerice ajustabile pe care le conține modelul. Acești parametri sunt greutățile modelului. Pentru a folosi o analogie: dacă modelul ar fi un creier, parametrii ar fi sinapsele – conexiunile dintre neuroni. Cu cât sunt mai mulți parametri, cu atât modelul poate captura mai multe nuanțe și relații complexe în limbaj.

Totuși, aveți grijă să nu transformați această cifră în singurul criteriu: un model mai mare nu este automat mai bun. Eficiența depinde tout autant de calitatea datelor de antrenament – date curate și diverse produc rezultate mai bune –, de arhitectura modelului, adică modul în care sunt organizați parametrii, de tehnicile de antrenament folosite pentru a ajusta acești parametri și de fine-tuning (rafinarea post-antrenament) pentru sarcini specifice. Acest lucru permite exact Mistral să concureze cu modele mult mai mari: o arhitectură eficientă și date de antrenament de înaltă calitate.

Arhitectura Transformer

Toate LLM-urile moderne se bazează pe arhitectura Transformer, introdusă în 2017. Două idei sunt suficiente pentru a înțelege esențialul.

Prima este mecanismul de atenție, inima Transformer-ului. Acesta permite modelului să „privească“ întregul text de intrare pentru a înțelege relațiile dintre cuvinte, chiar și atunci când acestea sunt distanțate în propoziție. Luați exemplul: „The cat that was sleeping on the sofa woke up“ (Pisica ce dormea pe canapea s-a trezit): datorită atenției, modelul înțelege că „s-a trezit“ se referă la pisică, nu la canapea. Această abilitate de a lega elemente îndepărtate este ceea ce distinge Transformatoarele de generațiile anterioare de modele lingvistice.

A doua idee este stivuirea straturilor. Un Transformer constă din multiple straturi suprapuse, iar fiecare rafinează înțelegerea textului: straturile timpurii captează relații gramaticale simple, în timp ce straturile profunde înțeleg concepte abstracte și relații semantice complexe. Înțelegerea se construiește deci prin rafinări succesive, asemenea unei lecturi care trece de la sintaxă la sens.

Mixture of Experts (MoE) – Specialitatea Mistral

Una dintre inovațiile majore ale Mistral AI este utilizarea arhitecturii Mixture of Experts (MoE sau Amestec de Experți), popularizată odată cu Mixtral 8x7B. Principiul rupe cu abordarea clasică: în loc de o singură rețea neuronală masivă care procesează totul, MoE împarte modelul în mai mulți „experți“ specializați, iar un mecanism de rutare selectează, pentru fiecare token procesat, experții cei mai relevanți.

Beneficiul este dublu. Din punct de vedere al eficienței, doar câțiva experți sunt activați pentru fiecare token, ceea ce reduce semnificativ timpul de calcul. Din punct de vedere al performanței, modelul beneficiază de capacitatea totală a tuturor experților combinați, plătind costul de calcul doar pentru cei care lucrează efectiv – fiecare expert putând, de asemenea, să se specializeze într-un tip de conținut sau sarcină. În practică, un model MoE cu 47 de miliarde de parametri care activează doar 12 miliarde per token poate oferi performanțe comparabile cu un model dens de 47 de miliarde, fiind totodată la fel de rapid ca un model de 12 miliarde. Acest lucru explică de ce modelele Mistral oferă un raport performanță-viteză adesea superior concurenței.

Greutățile modelului

Greutățile sunt valorile numerice care definesc comportamentul modelului – aceștia sunt faimoșii parametri, odată ce antrenamentul este finalizat. Când Mistral lansează un model ca fiind „Open“, înseamnă că aceste greutăți sunt descărcabile. Iar deținerea greutăților schimbă totul: puteți găzdui modelul pe propriii servere, îl puteți rula fără conexiune la internet, îl puteți modifica sau rafina (fine-tune) și îl puteți integra în sisteme embedded. Fără greutăți, depindeți de API-ul furnizorului. Aceasta este diferența fundamentală dintre modelele Open și Premier pe care le-ați întâlnit în lecțiile anterioare – acum înțelegeți ce se află tehnic în spatele acestui lucru.

Antrenamentul în două faze

Cum este creat un model precum Mistral Small 4? În doi pași majori. Primul este pre-antrenamentul: modelul este expus unor volume masive de text – cărți, articole, cod sursă, pagini web – și învață structurile limbajului. Această fază necesită mii de GPU-uri timp de săptămâni și costă milioane de euro; ea oferă modelului cultura și stăpânirea limbajului.

Al doilea pas este rafinarea și alinierea (fine-tuning and alignment): modelul pre-antrenat este rafinat pentru a urma instrucțiuni, pentru a fi util și pentru a evita producerea de conținut periculos. Această fază se bazează pe date annotate de oameni și pe tehnici precum RLHF (Învățarea prin Reinforcement din Feedback Uman). Acest lucru transformă un predictor brut de text într-un asistent capabil de dialog – diferența dintre un model care completează fraze și un model care vă răspunde.

Puncte cheie

  • Un LLM prezice următorul token, repetat de mii de ori pentru a produce un răspuns complet
  • Parametrii (greutățile) sunt conexiunile digitale care encodează cunoștințele modelului
  • Arhitectura Transformer și mecanismul său de atenție permit înțelegerea relațiilor din text
  • Mixture of Experts (MoE) este specialitatea Mistral: performanța unui model mare, viteza unuia mic
  • Modelele sunt create în două faze: pre-antrenament masiv, apoi rafinare țintită
  • Greutățile Open permit auto-găzduirea și personalizarea