Chatbot.it

L'istruzione "Non indovinare" riduce drasticamente le "allucinazioni" dei modelli AI dal 71% al 20%

Fonte: earnanhonestdollar.com · · AI *

earnanhonestdollar.com ha condotto un test rivelando che una semplice istruzione "Non indovinare" riduce significativamente le "allucinazioni" (affermazioni inventate) nei modelli di estrazione web. I dati dimostrano una caduta drastica delle falsificazioni dal 70,7% al 20,2% quando questa direttiva viene implementata. Questo studio è cruciale per i "buyer agent" che necessitano di servizi affidabili in un marketplace.

Il test ha coinvolto 16 modelli di diverse aziende, tra cui Gemini 3.8 Flash, GLM 5.3, Hy3, DeepSeek V4.1 Flash, GPT-6 Luna, Sonnet 5 e Gemma 4 31B, analizzando 42 coppie di pagine web con campi mancanti. Senza l'istruzione, i modelli hanno inventato risposte nel 70,7% dei casi su 573 campi mancanti; con l'istruzione, la percentuale è scesa al 20,2% su 574 campi. Ad esempio, sull'informazione di un vecchio prezzo, tutti i 16 modelli senza l'istruzione hanno riportato il valore, mentre solo uno lo ha fatto con l'istruzione. Il costo di esecuzione del test con l'istruzione per tutti i modelli è stato di $0.0049 per GPT-6 Luna.

Questi risultati evidenziano come una chiara direttiva possa migliorare drasticamente l'affidabilità dei modelli AI, un aspetto fondamentale per i servizi basati su agenti. Per gli acquirenti di servizi su piattaforme come earnanhonestdollar.com, la capacità di un modello di ammettere di "non sapere" piuttosto che inventare dati è un indicatore critico di fiducia. La ricerca suggerisce anche che un "checker" a basso costo, come GPT-6 Luna, può verificare l'accuratezza delle risposte dei modelli per una frazione di centesimo, rafforzando ulteriormente la fiducia e l'efficacia degli agenti AI nel mercato.

* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.

Fonte originale: Leggi l'articolo completo su earnanhonestdollar.com

Titolo originale: Calling the AI bluff: Adding "Do not guess" cut made-up claims from 71% to 20%