SlopShape: Un Modello per Identificare Contenuti Web AI dalla Sola Struttura
Fonte: arxiv.org · · AI *
Il ricercatore Jochen Madler di Sitefire ha sviluppato SlopShape, un modello innovativo per identificare i contenuti web commerciali generati dall'intelligenza artificiale basandosi esclusivamente sulle loro firme strutturali. Questo nuovo approccio, che non si affida all'analisi testuale, ha raggiunto un'accuratezza del 98.0 macro-F1 nel rilevare testi AI. La performance è rimasta stabile (98.1) anche dopo che i contenuti venivano riscritti, superando un limite cruciale dei rilevatori tradizionali.
La ricerca di Sitefire ha replicato l'approccio di StoryScope, analizzando 2.250 post umani (pre-ChatGPT) e 11.250 testi AI da cinque modelli "frontier". SlopShape impiega un set di 187 feature strutturali, applicato da un LLM e validato con un'annotazione umana che ha mostrato un kappa di 0.946. È stato osservato che i post AI possiedono una "forma ordinata", permettendo un'attribuzione corretta del 79.3% alla fonte originale, mentre i testi umani mostrano configurazioni strutturali rare.
Questa capacità di rilevare l'AI tramite l'analisi strutturale, resistente alle riscritture, rappresenta un significativo progresso nella rilevazione di contenuti sintetici. Le implicazioni sono profonde per la trasparenza online, l'autenticità dei media e la lotta alla disinformazione, offrendo uno strumento più robusto contro la proliferazione di testi generati da intelligenza artificiale. Sitefire ha rilasciato pipeline, strumenti, prompt e codice, invitando la comunità a estendere queste scoperte e rafforzare la fiducia nei contenuti digitali.
* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.
Fonte originale: Leggi l'articolo completo su arxiv.org
Titolo originale: Show HN: Training a model to identify AI web content from structure alone