- Performanța modelelor lingvistice mari, pusă la încercare de nuanțele culturale românești.
- UB arată într-un studiu că modele A.I. nu sunt antrenate și pe cultura românească
- Provocările și oportunitățile construirii unor sisteme NLP mai sensibile la context.
Modelele lingvistice mari (LLM) au revoluționat modul în care interacționăm cu tehnologia și au demonstrat capacități impresionante în diverse sarcini, de la răspunsuri la întrebări până la generarea de text creativ. Cu toate acestea, dominația limbii engleze în seturile de date de antrenament a lăsat un gol semnificativ în înțelegerea performanței acestor sisteme în limbi și contexte culturale mai puțin reprezentate.
Un studiu al Universității din București aruncă o nouă lumină asupra acestei provocări, folosind un set de date inedit, derivat din emisiuni de cultură generală. Totul pentru a evalua cât de bine se descurcă LLM-urile cu subtilitățile culturale românești.
Studiul publicat în iunie 2025 a scos la iveală o discrepanță: modelele lingvistice, chiar și cele de anvergură globală, precum Llama-3.3-70B, obțin o acuratețe mult mai mare (80-95%) la întrebările cu relevanță internațională, comparativ cu cele specifice culturii românești (50-75%).
Practic, există o diferență statistic semnificativă în performanța modelelor între întrebările specifice românești și cele internaționale, ceea ce indică faptul că modelele se descurcă semnificativ mai bine la întrebările internaționale.
Această observație, conform studiului, persistă chiar și atunci când întrebările românești sunt considerate „ușoare” sau „medii” în contextul jocului, sugerând o provocare intrinsecă legată de fapte culturale, figuri istorice sau nuanțe lingvistice mai puțin reprezentate în datele lor de antrenament.
Este o realitate dură: chiar și cele mai performante modele, cu miliarde de parametri, par să aibă „puncte oarbe” culturale.
Ce fel de urmări au aceste revelații?
Crearea setului de date a reprezentat o provocare inovatoare. Cercetătorii au apelat la înregistrări video ale emisiunii „Vrei să fii milionar?” pentru a extrage perechi întrebare-răspuns, o sursă de date non-tradițională.
Echipa a adunat 1.000 de întrebări, îmbogățite cu metadate precum domeniul (biologie, istorie), relevanța culturală (românească vs. internațională) și dificultatea.
Rezultatele studiului au implicații profunde pentru dezvoltarea viitoare a sistemelor NLP.
Întrebări precum „Ce munți trebuie să urci ca să vizitezi Babele?” sau expresii idiomatice precum „visează cai verzi pe pereți” demonstrează că traducerea literală pierde esența cunoștințelor specifice unei culturi.
Studiul, prin setul său de date WWTBM (Who Wants to Be a Millionaire?), oferă o resursă valoroasă pentru construirea unor sisteme NLP multilingve robuste și conștiente de contextul cultural, esențiale mai ales în aplicațiile educaționale.
Echipa a subliniat că „dezvoltarea modelelor competente în diverse contexte culturale rămâne o provocare, dar este crucială”.
Această cercetare ne amintește că inteligența artificială, pentru a fi cu adevărat inteligentă, trebuie să învețe și nuanțele, nu doar faptele.
În noiembrie 2025, un alt studiu al Universității din București a investigat modul în care istoria României este relatată în maghiară, română, engleză și rusă, dezvăluind din nou variații legate de răspunsurile oferite în funcție de contextul cultural al limbii folosite.
Luna trecută, când Universitatea din București a găzduit CIVIS DAYS 2026, principalul eveniment anual al Alianței Universitare Europene CIVIS.