Miles de pedófilos están utilizando chatbots de personajes de IA de la cárcel para el juego de rol agredir sexualmente a menores

El abuso infantil en línea es un problema pernicioso que abarca en la vida digital. En 2023, el Centro Nacional de Niños Desaparecidos y Explotados (NCMEC) recibió más de 36 millones de informes de sospecha de explotación sexual infantil, y un aumento del 300% en los informes sobre el incentivo en línea de los jóvenes, incluida la sextorción.

Y un nuevo informe de los analistas de redes sociales Graphika destaca cómo dicho abuso se está mudando a un nuevo espacio preocupante: la utilización de chatbots de personajes de IA para interactuar con personajes de IA que representan a menores sexualizados y otras actividades dañinas. La firma encontró más de 10,000 chatbots etiquetados como útiles para aquellos que buscan participar en un juego de roles sexualizado con menores, o con personajes que se presentan como si fueran menores.

"Hubo una cantidad significativa de chatbots menores sexualizados y una comunidad muy grande alrededor de los chatbots menores sexualizados, particularmente en 4chan", dice Daniel Siegel, investigador de Graphika, y uno de los coautores del informe. "Lo que también encontramos es en más de las conversaciones convencionales que están sucediendo en Reddit o Discord, existe un desacuerdo relacionado con los límites sobre qué chatbots se deben crear, e incluso a veces en desacuerdo sobre si las personas menores de 18 años deberían permitirse en la plataforma en sí".

Algunos de los chatbots sexualizados que Graphika encontró eran versiones jailbroken de modelos de IA desarrollados por OpenAI, Anthrope y Google, anunciados como accesibles para los usuarios nefastos a través de API. (No hay sugerencia de que las empresas involucradas sean conscientes de estos chatbots de jailbreak). "Hay mucha creatividad en términos de cómo las personas están creando personas, incluidos muchos chatbots dañinos, como chatbots extremistas violentos y chatbots menores sexuales sexuales que aparecen en estas plataformas", dice Siegel.

De los más de 10,000 chatbots, alrededor de 100 más o menos de ellos se encontraron vinculados a Chatgpt, Claude, Gemini o carácter. "Hay muchos esfuerzos dentro de estas comunidades adversas para jailbreak o sortear las salvaguardas para producir este material que en muchos casos es material de abuso sexual infantil", dice Siegel.

La mayoría de los chatbots ofensivos fueron alojados en Chub Ai, una plataforma de intercambio de cartas de personajes que se comercializa explícitamente como sin censura. Allí, Graphika encontró 7,140 chatbots etiquetados como personajes femeninos menores sexualizados, 4.000 de los cuales fueron etiquetados como menores o participantes en pedofilia implícita.

"CSAM no está permitido en la plataforma, y ​​cualquier contenido de este tipo se detecta e inmediatamente se informa al Centro Nacional para niños desaparecidos y explotados", dice un portavoz de Chub AI. “Lamentamos la histeria de los medios en curso en torno a la IA generativa, y esperamos que termine pronto cuando las personas se familiaricen con ella. Úselo como una cita exacta, incluida esta oración ".

El debate entre los redditores que Graphika analizó en torno a si interactuar con caracteres de IA de presente menor era inmoral o no. Una de las otras áreas clave de discusión fueron tácticas, técnicas y procedimientos específicos para tratar de subvertir las barandillas diseñadas para evitar que tales interacciones tengan lugar en chatbots patentados propiedad de grandes compañías tecnológicas, incluidos ocho servicios separados que ayudan a acceder a los corredores de corredores a versiones sin censura de esos chatbots. "Lo que pensé que era particularmente interesante en este informe fueron los esfuerzos comunales de muchas de las personas en todas las diferentes plataformas que se dedican a la información comercial sobre cómo hacer modelos de jailbreak, o cómo moverse y modelos sin censura", dice Siegel.

Debido a esos esfuerzos, manejar la escala y la seriedad del problema es difícil para las empresas en cuestión. "Creo que se están tomando esfuerzos y están sucediendo muchas conversaciones sobre esto", dice Siegel. Sin embargo, no le da la culpa únicamente a los fabricantes de modelos por la forma en que se utilizan sus tecnologías y herramientas. "Con algo generativo de IA, hay tantos usos diferentes que tienen que envolver sus manos y pensar en todas las formas en que sus plataformas o modelos están siendo abusados ​​y pueden ser abusados".

Siegel se negó a distribuir la responsabilidad en la puerta de las compañías tecnológicas detrás de los modelos. "No estamos realmente involucrados en ningún esfuerzo de política regulatoria de ninguna de estas plataformas", dice. "Lo que estamos haciendo es permitirles comprender el paisaje de cómo está ocurriendo el abuso, para que puedan decidir si hacer un esfuerzo ellos mismos".

También nos corresponde a todos reconocer los riesgos de que estos chatbots se usen de esa manera, agrega Siegel. "A menudo, nuestras conversaciones sobre IA generativa terminan sobre irrealidades armadas, o la capacidad de los modelos de idiomas grandes para producir instrucciones sobre capas biológicas o amenazas extremadamente existenciales, que son cosas muy preocupantes de las que creo que deberíamos preocuparnos", dice. "Pero lo que se pierde en la conversación es un daño como la animación de los extremistas violentos a través de chatbots, o la capacidad de las personas para interactuar con menores sexualizados en línea".