Chatbot.it

Nvidia: Ottimizzare i costi dei token AI senza tagliare il personale

Fonte: AI News · · AI *

Jensen Huang, CEO di Nvidia, ha rivelato che gli ingegneri dovrebbero spendere in token AI almeno metà del loro stipendio da 500.000 dollari, stimando per Nvidia costi annuali di 2 miliardi di dollari in token. Questa tendenza porta le aziende a spostare i budget dal personale ai token AI, causando frequenti licenziamenti.

Le principali hyperscaler prevedono 700 miliardi di dollari di spesa capex nel 2026. L'AI è la prima causa dei tagli di posti di lavoro negli USA per il 4° mese. Meta ha ridotto 8.000 ruoli per bilanciare investimenti AI. Gartner rileva che l'80% delle aziende con tagli al personale per l'AI non ha migliorato i rendimenti. Uber ha esaurito il budget AI 2026 ad aprile, pur con il 70% di codice AI generato, senza chiari benefici.

La soluzione è ottimizzare i costi dei token tramite ingegneria. Tecniche come prompt caching (ProjectDiscovery ha ridotto la spesa LLM del 59-70%), modelli adeguati e RAG generano risparmi. Klarna, dopo aver sostituito 700 ruoli con OpenAI e riscontrato un calo di qualità, ha riassunto personale. Le aziende di successo useranno l'ingegneria per ridurre i costi dei token, reinvestendo i risparmi nel capitale umano e nella sua formazione.

* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.

Fonte originale: Leggi l'articolo completo su AI News

Titolo originale: How to shrink the token budget without shrinking the team