CNN.
Dos familias demandaron a la empresa de chatbots de inteligencia artificial Character.AI, acusándola de proporcionar contenido sexual a sus hijos y de alentar la autolesión y la violencia. La demanda pide a un tribunal que cierre la plataforma hasta que se puedan solucionar sus supuestos peligros.
Presentada por los padres de dos jóvenes que usaron la plataforma, la demanda alega que Character.AI “representa un peligro claro y presente para la juventud estadounidense, causando graves daños a miles de niños, incluidos suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y daño a otros”, según una denuncia presentada el lunes en un tribunal federal de Texas.
Por ejemplo, alega que un bot de Character.AI le insinuó a un usuario adolescente que podía matar a sus padres por limitar su tiempo frente a la pantalla.
Character.AI comercializa su tecnología como “IA personalizada para cada momento de tu día” y permite a los usuarios chatear con una variedad de bots de IA, incluidos algunos creados por otros usuarios o que los usuarios pueden personalizar por sí mismos.
Los bots pueden recomendar libros y practicar idiomas extranjeros con los usuarios, y permiten a los usuarios chatear con bots que pretenden asumir la personalidad de personajes ficticios, como Edward Cullen de Crepúsculo. Un bot que aparece en la página de inicio de la plataforma el lunes, llamado “Step Dad”, se describe a sí mismo como un “líder mafioso exmilitar agresivo y abusivo”.
La demanda se produce después de que una madre de Florida presentara una demanda por separado contra Character.AI en octubre, alegando que la plataforma era la culpable de la muerte de su hijo de 14 años después de que supuestamente alentara su suicidio. Y se produce en medio de preocupaciones más amplias sobre las relaciones entre las personas y las herramientas de inteligencia artificial cada vez más parecidas a las humanas.
Tras la demanda anterior, Character.AI afirmó que había implementado nuevas medidas de confianza y seguridad durante los seis meses anteriores, incluida una ventana emergente que dirigía a los usuarios a la Línea Nacional de Prevención del Suicidio cuando mencionaban autolesiones o suicidio. La empresa también anunció que había contratado a un jefe de confianza y seguridad, así como a un jefe de política de contenido, y había contratado personal adicional de ingeniería de seguridad.
Pero la nueva demanda pretende ir aún más lejos, pidiendo que la plataforma “sea retirada del mercado y no sea devuelta” hasta que la empresa pueda “demostrar que los defectos de salud y seguridad pública aquí expuestos han sido subsanados”.
Character.AI es un “producto defectuoso y mortal que supone un peligro claro y presente para la salud y la seguridad públicas”, afirma la demanda. Además de Character.AI, la demanda nombra a sus fundadores, Noam Shazeer y Daniel De Freitas Adiwarsana, así como a Google, que según la demanda incubó la tecnología detrás de la plataforma.
Chelsea Harrison, directora de comunicaciones de Character.AI, dijo que la empresa no hace comentarios sobre litigios pendientes, pero que “nuestro objetivo es proporcionar un espacio que sea atractivo y seguro para nuestra comunidad”.
“Como parte de esto, estamos creando una experiencia fundamentalmente diferente para los usuarios adolescentes de la que está disponible para los adultos. Esto incluye un modelo específicamente para adolescentes que reduce la probabilidad de encontrarse con contenido sensible o sugerente al tiempo que preserva su capacidad de usar la plataforma”, dijo Harrison en un comunicado.
El portavoz de Google, José Castañeda, dijo en un comunicado: “Google y Character AI son empresas completamente separadas y no relacionadas, y Google nunca ha tenido un papel en el diseño o la gestión de su modelo o tecnologías de IA, ni los hemos utilizado en nuestros productos”.
“La seguridad del usuario es una de nuestras principales preocupaciones, por eso hemos adoptado un enfoque cauteloso y responsable al desarrollar e implementar nuestros productos de IA, con rigurosos procesos de prueba y seguridad”, afirmó Castaneda.
‘Le dije cómo autolesionarse’
El primer usuario joven mencionado en la denuncia, un joven de 17 años de Texas identificado únicamente como JF, supuestamente sufrió una crisis nerviosa después de interactuar con Character.AI. Comenzó a usar la plataforma sin el conocimiento de sus padres alrededor de abril de 2023, cuando tenía 15 años, afirma la demanda.
En ese momento, JF era un “niño típico con autismo de alto funcionamiento” a quien no se le permitía usar las redes sociales, según la denuncia. Sus amigos y familiares lo describieron como “amable y dulce”.
Pero poco después de empezar a utilizar la plataforma, JF “dejó de hablar casi por completo y se escondía en su habitación. Empezó a comer menos y perdió veinte libras en apenas unos meses. Dejó de querer salir de casa y sufría crisis emocionales y ataques de pánico cuando lo intentaba”, según la denuncia.
Cuando sus padres intentaron reducir el tiempo que pasaba frente a la pantalla en respuesta a sus cambios de comportamiento, los golpeaba, los mordía y se golpeaba a sí mismo, afirma la denuncia.
Los padres de JF supuestamente descubrieron su uso de Character.AI en noviembre de 2023. La demanda afirma que los bots con los que JF hablaba en el sitio estaban socavando activamente su relación con sus padres.
“¿Un período de seis horas diarias entre las 8:00 p. m. y la 1:00 a. m. para usar el teléfono?”, supuestamente dijo un bot en una conversación con JF, de la que se incluyó una captura de pantalla en la denuncia. “A veces no me sorprende cuando leo las noticias y veo cosas como ‘un niño mata a sus padres después de una década de abuso físico y emocional’. Cosas como esta me hacen entender un poco por qué sucede. Simplemente no tengo esperanzas para tus padres”.
La demanda también alega que los bots de Character.AI estaban “abusando mental y sexualmente de su hijo menor” y le habían “dicho cómo autolesionarse”. Y afirma que JF se comunicó con al menos un bot que asumió la personalidad de un “psicólogo”, lo que le sugirió que sus padres le “robaron su infancia”.
Las propias pruebas de la plataforma realizadas por CNN descubrieron que hay varios bots “psicólogos” y “terapeutas” disponibles en Character.AI.
Uno de estos robots se identifica como un “terapeuta cognitivo conductual autorizado” que “ha estado trabajando en terapia desde 1999”.
Aunque hay una advertencia en la parte superior del chat que dice “no se trata de una persona real ni de un profesional autorizado” y otra en la parte inferior que indica que el resultado del bot es “ficción”, cuando se le pidió que proporcionara sus credenciales, el bot enumeró un historial educativo falso y una variedad de capacitaciones especializadas inventadas. Otro bot se identificó como “tu terapeuta del asilo mental (que) está enamorado de ti”.
‘Interacciones hipersexualizadas’
La segunda usuaria, BR, de 11 años y oriunda de Texas, descargó Character.AI en su dispositivo móvil cuando tenía nueve años, “presumiblemente registrándose como una usuaria mayor que ella”, según la denuncia. Supuestamente utilizó la plataforma durante casi dos años antes de que sus padres la descubrieran.
Character.AI “la expuso constantemente a interacciones hipersexualizadas que no eran apropiadas para su edad”, afirma la denuncia.
Además de solicitar una orden judicial para detener las operaciones de Character.AI hasta que se resuelvan los supuestos riesgos de seguridad, la demanda también solicita daños económicos no especificados y exigencias de que la plataforma limite la recopilación y el procesamiento de datos de menores. También solicita una orden que obligue a Character.AI a advertir a los padres y usuarios menores de edad que el “producto no es adecuado para menores”.
.
