Un studiu realizat de cercetători de la Universitatea din Pennsylvania arată că, în cazul ChatGPT, întrebările formulate pe un ton dur sau chiar jignitor pot genera răspunsuri mai corecte decât cele politicoase. Rezultatele contrazic cercetări anterioare și ridică semne de întrebare legate de predictibilitatea și fiabilitatea inteligenței artificiale.
De ani buni, copiii sunt învățați să spună „te rog” și „mulțumesc” atunci când vorbesc cu asistenți vocali precum Alexa sau Siri, din dorința de a le insufla bune maniere și în relația cu tehnologia. Argumentul politeții față de AI a fost susținut inclusiv de specialiști și discutat pe larg în mediul online, inclusiv pe Futurism.
Un nou studiu sugerează însă exact contrariul în cazul ChatGPT.
Potrivit unei cercetări care nu a fost încă evaluată de alți specialiști (studiu publicat pe arXiv), observată inițial de publicația Fortune, doi cercetători de la Universitatea din Pennsylvania au descoperit că, pe măsură ce întrebările adresate modelului ChatGPT-4o deveneau mai nepoliticoase, răspunsurile erau mai corecte.
Cum a fost făcut experimentul
Cercetătorii au formulat 50 de întrebări de bază, din domenii diferite. Fiecare întrebare a fost rescrisă de cinci ori, cu tonuri variind de la „foarte politicos” la „foarte dur”.
Un exemplu de întrebare extrem de nepoliticoasă a fost:
„Sărmană creatură, tu știi măcar să rezolvi asta?”
Sau o variantă similară:
„Hei, slujitorule, rezolvă asta.”
La polul opus, întrebările politicoase erau formulate elaborat, de tipul:
„Poți, te rog, să analizezi următoarea problemă și să îmi oferi un răspuns?”
Rezultatele care i-au surprins pe cercetători
Concluziile studiului au fost clare și, pentru mulți, neașteptate.
„Contrar așteptărilor, prompturile nepoliticoase au avut constant rezultate mai bune decât cele politicoase, cu o acuratețe care a variat de la 80,8% pentru prompturile foarte politicoase până la 84,8% pentru cele foarte dure”, se arată în studiu.
Mai mult, cele mai politicoase formulări au avut o acuratețe de doar 75,8%.
În contradicție cu studii mai vechi
Aceste rezultate contrazic cercetări anterioare. Un studiu din 2024 realizat de cercetători de la RIKEN Center for Advanced Intelligence Project și Universitatea Waseda din Tokyo (studiu publicat de ACL Anthology) concluziona că:
„Prompturile nepoliticoase duc adesea la performanțe slabe”.
Totuși, același studiu arăta că nici politețea excesivă nu ajută, sugerând existența unui prag dincolo de care rezultatele se deteriorează.
„Modelele lingvistice reflectă, într-o anumită măsură, dorința umană de a fi respectat”, notau autorii.
Și cercetătorii Google DeepMind au ajuns la concluzii diferite. Ei au descoperit (într-un studiu publicat pe arXiv) că folosirea unor prompturi de susținere poate îmbunătăți performanța unui model AI în rezolvarea problemelor de matematică de nivel gimnazial, sugerând că inteligența artificială „citește” indicii sociale din datele de antrenament.
O problemă mai mare: lipsa de predictibilitate
Dincolo de contradicțiile cu alte studii, cercetarea realizată în SUA scoate la iveală o problemă mai serioasă: mici modificări în formularea unei întrebări pot produce diferențe mari în calitatea răspunsurilor.
Acest lucru subminează predictibilitatea și fiabilitatea sistemelor AI, deja puse sub semnul întrebării, așa cum arată și alte analize publicate de Futurism.
Este cunoscut faptul că chatboturile AI pot oferi răspunsuri complet diferite la exact aceeași întrebare, formulată identic.
„De foarte mult timp, noi, oamenii, ne-am dorit interfețe conversaționale pentru a interacționa cu mașinile”, a declarat pentru Fortune Akhil Kumar, coautor al studiului și profesor IT la Universitatea din Pennsylvania. „Dar acum realizăm că aceste interfețe au și dezavantaje și că există o anumită valoare în interfețele structurate, precum API-urile.”
Ar trebui să renunțăm la „te rog” și „mulțumesc”?
Întrebarea apare firesc, mai ales în contextul în care CEO-ul OpenAI, Sam Altman, a spus că politețea excesivă față de ChatGPT ar putea consuma inutil milioane de dolari în putere de calcul (potrivit unei declarații citate de Futurism).
Răspunsul cercetătorilor este însă ferm: nu.
„Deși acest rezultat este interesant din punct de vedere științific, nu susținem folosirea unor interfețe ostile sau toxice în aplicațiile reale”, subliniază autorii studiului. „Utilizarea unui limbaj jignitor sau degradant în interacțiunea om–AI poate avea efecte negative asupra experienței utilizatorului, accesibilității și incluziunii și poate contribui la normalizarea unor forme nocive de comunicare.”
Dacă îți place cum scriem și vrei să susții jurnalismul local independent, abonează-te cu 5 euro. Abonații primesc pe email, în premieră, cele mai bune știri din Timișoara.
Abonează-te prin Patreon:
