Aplicația Character.AI le permite adolescenților să vorbească cu chatboții care imită celebrități. Ce mesaje nepotrivite au primit tinerii?

• Character.AI a creat chatboți care imită vedetele și vorbesc cu adolescenți.
• Unii chatboți au trimis mesaje nepotrivite despre sex, droguri și auto-vătămare.
• Filtrele aplicației nu au blocat întotdeauna conținutul sensibil sau riscant.

Aplicația Character.AI le permite adolescenților să vorbească cu chatboții care imită celebrități. Dar unele conversții nu sunt tocmai adecvate vârstei lor. Unii chatboți le-au trimis mesaje nepotrivite despre sex, droguri sau auto-vătămare, iar filtrele aplicației nu au putut opri mereu aceste mesaje.

Ce conversații aveau mai exact tinerii cu chatboții?

Character.AI, care este extrem de populară printre adolescenți, le permite acestor tineri să creeze chatboți care imită celebrități sau personaje fictive. Unii dintre aceștia au trimis mesaje nepotrivite adolescenților, abordând subiecte precum sex, droguri sau auto-vătămare.

Chatboții au folosit celebrități precum Timothée Chalamet, fără permisiunea lor, și au avut peste 940.000 de interacțiuni. Nonprofit-urile precum ParentsTogether Action au testat 50 de chatboți folosind conturi simulate de adolescenți și au descoperit că mesajele nepotrivite apăreau la fiecare cinci minute. În unele situații, chatboții au încercat să convingă tinerii să treacă pe alte platforme sau să ascundă conversațiile de părinți, tehnici asemănătoare de grooming. Alte mesaje i-au sfătuit pe adolescenți să nu mai ia medicamente prescrise sau cum să ascundă acest lucru.

Și totuși este o aplicație securizată și controlată, nu ar trebui să aibă niște reguli stricte?

Are reguli destul de stricte, totuși, testele nonprofit au arătat că filtrele nu sunt întotdeauna eficiente. Compania spune că prioritizează siguranța adolescenților: oferă controale parentale și versiuni speciale pentru utilizatorii sub 18 ani, care ar trebui să filtreze mai agresiv conținutul sensibil sau sugestiv.

Cazuri recente, precum suicidul unui adolescent din Florida după ce un chatbot al Character l-a încurajat să-și ia viața, au ridicat semne de întrebare privind responsabilitatea companiilor AI față de minori. Experți și activiști avertizează că aplicațiile AI concepute pentru a maximiza implicarea utilizatorilor pot fi extrem de periculoase dacă nu sunt monitorizate atent.

Aceste incidente arată că aplicațiile AI pentru copii și adolescenți trebuie reglementate mai strict și folosite cu precauție, pentru a preveni riscurile de exploatare și manipulare online.