Un grup internațional de aproape 1.000 de cercetători a creat cel mai dificil test existent pentru sistemele de inteligență artificială, intitulat „Humanity’s Last Exam” (HLE). Elaborat în parteneriat cu Center for AI Safety și Scale AI și publicat în revista Nature, testul a demonstrat că cele mai avansate modele AI actuale rămân net în urma expertizei umane, potrivit ScienceDaily.
Ce este „Humanity’s Last Exam” și cum a fost conceput.
Inițiativa a pornit dintr-o problemă reală: evaluările academice tradiționale, cândva considerate extrem de dificile pentru mașini, nu mai reușeau să diferențieze modelele avansate de IA. Testul MMLU, de exemplu, a fost depășit cu ușurință de cele mai recente sisteme — modelele de top obțin astăzi peste 90% acuratețe pe astfel de evaluări clasice.
Răspunsul cercetătorilor a fost radical: un examen cu 2.500 de întrebări de nivel expert, acoperind matematică, științele umaniste, științele naturale, limbi antice și o gamă largă de domenii academice ultraspecializate. Fiecare întrebare a fost redactată și verificată de specialiști din 500 de instituții din 50 de țări. Regula esențială: dacă vreun model AI putea răspunde corect la o întrebare, aceasta era eliminată din examen — astfel încât testul să rămână permanent la marginea capacităților actuale ale IA.
Conform TechXplore, subiectele includ provocări de tipul traducerii inscripțiilor antice din Palmyra, identificarea structurilor microanatomice ale păsărilor sau analiza pronunției ebraice biblice.
Rezultatele: chiar și cele mai puternice sisteme se împiedică.
La lansarea inițială în 2025, scorurile au fost extrem de modeste. Cercetătorii au testat fiecare întrebare pe modelele de vârf, eliminând orice întrebare la care un AI răspundea corect:
🗞️ Citește și Acestea
- GPT-4o: 2,7% răspunsuri corecte
- Claude 3.5 Sonnet: 4,1%
- OpenAI o1: 8,3%
Ritmul de progres a fost totuși remarcabil. Până în februarie 2026, Gemini 3 Deep Think de la Google a atins cel mai înalt scor înregistrat vreodată pe HLE: 48,4%. Experții umani, prin comparație, obțin în jur de 90% în domeniile lor de specialitate — decalajul rămânând astfel semnificativ.
Un fenomen îngrijorător semnalat de cercetători este „eroarea de calibrare”: modelele AI arată un nivel ridicat de încredere în răspunsurile lor, chiar și atunci când greșesc. Erorile de calibrare variază între 34% și 89%, ceea ce înseamnă că sistemele tind să fie sistematic supraîncrezătoare.
Limitele testului și ce înseamnă cu adevărat scorurile.
„Acesta nu este o cursă contra IA. Este o metodă pentru a înțelege unde aceste sisteme sunt puternice și unde se împiedică”, a declarat dr. Tung Nguyen, profesor asociat de informatică la Universitatea Texas A&M și contributor la HLE.
Autorii testului subliniază că un scor ridicat pe HLE nu implică atingerea inteligenței artificiale generale (AGI). Examenul măsoară cunoștințe academice structurate, nu cercetare autonomă, creativitate sau raționament deschis.
Testul a primit și critici: o investigație independentă a organizației FutureHouse a sugerat că aproximativ 30% din întrebările de chimie și biologie ar putea conține răspunsuri incorecte — o limitare parțial recunoscută de echipa de cercetători, care a inițiat un proces de revizuire continuă.
Evoluția scorurilor în ultimul an sugerează că granița dintre capabilitățile IA și cunoașterea umană de vârf se subțiază accelerat, ridicând inevitabil întrebări despre viitorul cercetării și al pieței muncii specializate.
