Edge0-145B: edge0.ai lancia un modello open-source da 145 miliardi di parametri per computer
Fonte: edge0.ai · · AI *
edge0.ai ha annunciato il rilascio open-source di Edge0-145B, descritto come il primo modello di intelligenza artificiale on-device al mondo con 145 miliardi di parametri, progettato per essere eseguito direttamente sui computer personali. Insieme al modello, edge0.ai ha pubblicato Edge0-120B, un framework di inferenza unificato e strumenti di distribuzione per consentire a sviluppatori e ricercatori di riprodurre i risultati e integrare la tecnologia nei propri prodotti.
Il modello implementa una serie di ottimizzazioni architetturali e di sistema per aggirare il limite della memoria e consentire l'esecuzione locale su computer portatili. La struttura condivide grandi matrici tra esperti sparsi, impiegando circa 10 miliardi di parametri attivi per ogni passaggio di inferenza su un totale di 145 miliardi. Il sistema gestisce il caricamento della memoria suddividendolo tra GPU, memoria di sistema e accesso SSD, e utilizza decodifica speculativa e computazione combinata tra CPU e GPU per raggiungere una velocità di elaborazione superiore a 80 token al secondo con un picco di memoria misurato di 28 gigabyte o 29 gigabyte a seconda dei test.
Nei test interni su benchmark come Terminal-Bench 2.1 e DeepSWE 1.1, Edge0-145B ha ottenuto punteggi competitivi, registrando 86.52 su Terminal-Bench 2.1, e ha dimostrato capacità di pianificazione, scrittura di codice ed esecuzione di flussi di lavoro complessi senza ricorrere a chiamate cloud. Il supporto al day-one copre i sistemi macOS, Windows e Linux, inclusi i chip Apple M-series e le piattaforme NVIDIA come RTX Spark, RTX 4090 e RTX 5090.
* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.
Fonte originale: Leggi l'articolo completo su edge0.ai
Titolo originale: Edge0-145B: Frontier AI Capabilities on Your Own Computer