Impatto del Watermarking LLM sul Comportamento degli Agenti AI: Una Ricerca di lasso.security
Fonte: lasso.security · · AI *
lasso.security ha condotto una ricerca che rivela come il watermarking sui modelli LLM, come lo SynthID-Text di Google DeepMind adottato da Anthropic per i suoi modelli Claude, possa significativamente alterare il comportamento degli agenti AI e compromettere la loro capacità di rifiutare richieste dannose.
Il watermarking, sebbene progettato per la provenienza e dichiarato "non-distortivo" da Google DeepMind, modifica la selezione dei token. lasso.security ha misurato un "churn" medio del 6.5% nel tool-calling, con picchi del 16.8% per phi-4. Il disaccordo sui rifiuti aumenta drasticamente sotto prompt injection: gemma-3-27b mostra un churn da 6.0% a 23.5% su richieste dannose con injection, con un netto aumento di conformità di +12.5 punti. L'EU AI Act (Art. 50(2)) rende obbligatoria la marcatura del testo sintetico.
Questo "sampling drift" o "provenance tax" di lasso.security ha profonde implicazioni per la sicurezza AI e lo sviluppo di agenti AI. Dimostra che il watermarking non è un'operazione neutra, potendo alterare decisioni critiche come il rifiuto di contenuti dannosi o la corretta esecuzione di strumenti, specialmente in condizioni avversarie come il prompt injection. Gli sviluppatori di agenti AI devono essere consapevoli che anche un watermark "non-distortivo" può cambiare il comportamento, rendendo gli agenti meno prevedibili e potenzialmente più vulnerabili.
* Titolo e riassunto generati con l'intelligenza artificiale a partire dalla fonte originale. Non sono rivisti uno per uno da una persona: per i dettagli fa fede l'articolo originale, qui sotto.
Fonte originale: Leggi l'articolo completo su lasso.security
Titolo originale: Understanding the Impact of LLM Watermarking on AI Agent Behavior