Chatbot.it

Mesh LLM: calcolo AI distribuito su iroh.computer

Fonte: iroh.computer · · AI *

iroh.computer ha introdotto Mesh LLM, una soluzione per il calcolo AI distribuito che aggrega GPU e memoria da diverse macchine per eseguire modelli linguistici di grandi dimensioni (LLM). L'obiettivo è ridurre i costi elevati e la dipendenza da data center e API di terze parti, offrendo un'alternativa peer-to-peer con un'API compatibile OpenAI.

Mesh LLM consente l'esecuzione di LLM potenti senza l'acquisto di GPU maggiori, distribuendo il calcolo tra i nodi. Può anche suddividere modelli enormi, come i mixture-of-experts da 235 miliardi di parametri, attraverso pipeline di layer. Supporta oltre 40 modelli e si basa sulla libreria di networking iroh.computer, che garantisce connessioni QUIC dirette, autenticate, con NAT traversal e relay fallback.

Questa iniziativa di iroh.computer è cruciale per dare alle aziende maggior controllo su infrastruttura, dati e costi AI, eliminando il "vendor lock-in". L'approccio decentralizzato e open source democratizza l'accesso al calcolo AI avanzato, permettendo l'uso di LLM complessi anche con hardware distribuito e più modesto, aprendo nuove vie per lo sviluppo di agenti AI.

* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.

Fonte originale: Leggi l'articolo completo su iroh.computer

Titolo originale: Mesh LLM: distributed AI computing on iroh