Anthropic ha fornito nuovi dettagli sul sistema di watermarking dei testi generati da Claude, progettato per consentire di individuare con una certa probabilità l'intervento dell'intelligenza artificiale.
La tecnologia si basa sulla soluzione SynthID-Text sviluppata da Google DeepMind e, secondo l'azienda, non introduce caratteri nascosti, non richiede token aggiuntivi e non comporta conseguenze pratiche rilevanti sulla qualità del testo prodotto.
Il funzionamento sfrutta una caratteristica tipica dei modelli linguistici: la generazione procede scegliendo una parola alla volta sulla base di ciò che è già stato scritto. In molte situazioni esistono diverse alternative con significato simile e ugualmente appropriate.
Per esempio, dopo una frase relativa a una giornata fredda, Claude potrebbe scegliere tra termini come "grigio" e "nuvoloso". Sono decisioni che normalmente non cambiano in modo significativo il contenuto percepito dal lettore.
Come lavora il watermark di Claude?
Il watermark sfrutta proprio la suddette scelte a basso impatto, presenti numerose volte all'interno di un testo, per creare uno schema riconoscibile. Quando il sistema è attivo, la selezione rimane casuale, ma viene utilizzata una modalità di casualità differente. In questo modo Claude non viene indirizzato sistematicamente verso determinate parole e non deve prendere in considerazione termini che normalmente avrebbe escluso.
Anthropic sottolinea però che il sistema non rappresenta un metodo infallibile per identificare i contenuti generati dall'IA. Il rilevamento può indicare quanto sia probabile un contributo di Claude, ma non stabilisce che il testo sia stato scritto da un essere umano né permette di attribuirlo ad altri modelli di intelligenza artificiale.
Claude e i contenuti fattuali
Un ulteriore limite riguarda i contenuti strettamente fattuali, nei quali esistono meno possibilità di scegliere tra parole equivalenti. Anche la revisione di un testo scritto dall'utente produce un watermark limitato alle modifiche effettuate da Claude, mentre il codice offre meno opportunità di applicazione a causa della necessità di rispettare una sintassi precisa.
Anthropic ha infine annunciato che presto renderà disponibile un'API per il rilevamento, permettendo di verificare più facilmente la possibile presenza di testo generato da Claude.
