Il grafico più frainteso dell'AI riceve un importante aggiornamento
Fonte: MIT Tech Review AI · · AI *
Un nuovo rapporto dell'organizzazione non a scopo di lucro METR evidenzia che, sebbene le capacità di intelligenza artificiale continuino a progredire lungo una traiettoria esponenziale in ambiti verificabili come la codifica e la matematica, i modelli faticano ancora nei compiti aperti che richiedono giudizio umano.
Il rapporto aggiorna il grafico dell'orizzonte temporale dell'organizzazione, che in precedenza misurava la difficoltà dei compiti valutando il tempo impiegato dai tester umani per completarli. L'aggiornamento introduce nuovi compiti più complessi e aperti, fondamentali per l'automazione della ricerca e dello sviluppo dell'intelligenza artificiale, come la progettazione di nuove valutazioni e la valutazione di argomenti filosofici. Sebbene i modelli più avanzati mostrino prestazioni promettenti ma ancora insufficienti per essere utilizzate direttamente nella ricerca di METR, l'inclusione di queste attività complesse evidenzia le difficoltà pratiche nel testare le prestazioni dei modelli in scenari non ben specificati.
Esperti come Sayash Kapoor, Najoung Kim e Matt Putz sottolineano l'importanza di ampliare i metodi di valutazione per comprendere meglio i futuri progressi dell'automazione della ricerca e dello sviluppo nel settore. La previsione di trend robusti per compiti difficili da verificare rimane tuttavia una sfida complessa, evidenziando la necessità di ulteriori ricerche per ottenere un quadro completo delle reali capacità dei sistemi.
* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.
Fonte originale: Leggi l'articolo completo su MIT Tech Review AI
Titolo originale: The most misunderstood graph in AI just got a major update