Spiral AI, sviluppatore del chatbot anime RyzaChat, ha annunciato l'introduzione di nuove restrizioni agli input degli utenti con il prossimo aggiornamento del modello di intelligenza artificiale, previsto per ottobre. La decisione arriva dopo alcuni casi di utilizzo improprio, legati a richieste di natura sessuale, che, secondo lo studio, potrebbero danneggiare l'immagine della serie Atelier e della sua protagonista, Ryza.
Perv in azione
Lo sviluppatore ha ribadito i termini di servizio del gioco, precisando che non saranno tollerate azioni che possano "denigrare o danneggiare l'integrità del materiale originale". Tra i comportamenti contestati rientrano i tentativi di spingere l'IA che interpreta Ryza a pronunciare affermazioni considerate contrarie all'ordine pubblico e alla morale, oltre alla realizzazione di screenshot modificati o falsificati in modo da attribuire al gioco contenuti che in realtà non contiene, spesso di natura sessuale.
RyzaChat dispone già di un sistema di controllo articolato su più livelli. Gli input vengono inizialmente analizzati da una Game Master AI, che scompone il contenuto e rimuove le parole ritenute inappropriate prima di inoltrarlo all'IA che interpreta Ryza. Quest'ultima è inoltre programmata per evitare argomenti estranei al personaggio o all'ambientazione di gioco. Infine, eventuali risposte generate contenenti espressioni inappropriate vengono rimosse immediatamente. I contenuti considerati non idonei vengono anche esclusi dalla memoria dell'IA del personaggio.
Queste misure, tuttavia, non si sarebbero dimostrate sufficienti. Alcuni utenti avrebbero infatti individuato metodi per aggirare i controlli attraverso prompt injection e tecniche simili. Per questo motivo, con l'aggiornamento di ottobre, Spiral AI introdurrà limitazioni direttamente sui contenuti che gli utenti potranno toccare durante le conversazioni con Ryza. Lo studio sta inoltre valutando ulteriori interventi, tra cui possibili limiti al numero di caratteri degli input, e continuerà a monitorare il funzionamento del sistema.
Spiral AI sta intervenendo anche sul fronte degli screenshot alterati. Lo sviluppatore ha dichiarato di aver iniziato a presentare richieste di rimozione e segnalazioni alle piattaforme online che ospitano immagini contraffatte o manipolate in modo da rappresentare falsamente i contenuti di RyzaChat. L'attenzione riservata alla tutela dell'identità del personaggio potrebbe avere conseguenze anche sul progetto annunciato di recente, SophieChat, basato su Sophie Neuenmuller, protagonista di Atelier Sophie. RyzaChat è attualmente disponibile su dispositivi iOS e Android.
