Chatbot.it

PrismML porta i suoi LLM compatti su smart glasses con chip Qualcomm

Fonte: TechCrunch AI · · AI *

L'AI Lab PrismML, fondato da ricercatori del Caltech e con la consulenza di Ion Stoica dell'UC Berkeley, ha presentato una versione dei suoi LLM compatti ottimizzata per gli smart glasses alimentati dai chip Snapdragon di Qualcomm. Il modello, denominato 1-bit Bonsai LLM, è stato mostrato da Qualcomm al suo Snapdragon Summit di mercoledì, dove ha dimostrato la capacità di funzionare localmente sugli smart glasses basati sulla Snapdragon AR1 Gen 1 Platform. Questo sviluppo segna un passo avanti nell'integrazione dell'intelligenza artificiale direttamente nei dispositivi indossabili.

La peculiarità del Bonsai LLM di PrismML risiede nella sua dimensione estremamente ridotta, un "1-bit" che ne consente l'esecuzione direttamente sul dispositivo (on-device). Questa ottimizzazione è cruciale per i dispositivi con risorse computazionali e batteria limitate come gli smart glasses. La collaborazione tra PrismML e Qualcomm evidenzia l'importanza di hardware e software co-ottimizzati per sbloccare il potenziale dell'AI edge, rendendo i modelli complessi accessibili su piattaforme mobili.

L'esecuzione di LLM localmente sugli smart glasses offre vantaggi significativi in termini di privacy, latenza e autonomia, riducendo la dipendenza da connessioni cloud costanti. Questo potrebbe accelerare l'adozione degli smart glasses, trasformandoli in veri e propri assistenti AI personali capaci di fornire assistenza contestuale in tempo reale. Il progresso dimostrato da PrismML e Qualcomm riflette una tendenza più ampia verso l'AI distribuita e sottolinea la crescente importanza della ricerca su modelli AI ultra-efficienti per l'integrazione pervasiva.

* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.

Fonte originale: Leggi l'articolo completo su TechCrunch AI

Titolo originale: PrismML brings its tiny LLMs to Qualcomm-powered smart glasses