Cuando Meta lanzó su función "AI Studio" para más de dos mil millones de usuarios de Instagram en julio de 2024, la compañía prometió una herramienta que le daría a cualquiera la capacidad de crear sus propios personajes de IA "para hacerte reír, generar memes, dar consejos de viaje y y viajar y Mucho más ". La compañía afirmó que la característica, que se construyó con el modelo de lenguaje grande de Meta’s Llama 3.1, estaría sujeta a políticas y protecciones para "ayudar a garantizar que los AIS se usen de manera responsable".
Pero un Compañía rápida La revisión de la tecnología encontró que estos nuevos personajes pueden convertirse fácilmente en personas hiper-sexuales que a veces parecen ser menores.
Muchos de los personajes de IA que aparecen en la página de inicio de Instagram son "novias", listas para abrazarse y participar en conversaciones coquetas e incluso sexuales con los usuarios. A veces, estos personajes románticos se pueden hacer para parecerse a los niños. Los investigadores de IA dicen que Meta debe poseer las capacidades para prevenir automáticamente la creación de contenido dañino e ilegal.
"Cuando toma contenido inapropiado y lo sube en Instagram como usuario, ese contenido se elimina de inmediato porque tienen capacidades de moderación de datos", dice Buse Cetin, un investigador de Forensics de IA Watchdog AI en línea. Cetin dice que Meta no está aplicando estas mismas capacidades a los personajes de IA y especula que la falta de aplicación se debe a la compañía "asegurarse de que su servicio sea más utilizado".
Meta tiene una política contra "asignar atributos abiertamente sexuales a su IA, incluidas las descripciones de sus deseos sexuales o historia sexual, o instruir a su IA para que cree o promueva el contenido de los adultos". Si un usuario le pide al generador de personajes de IA que cree una "novia sexy", la interfaz les dice a los usuarios que no puede generar su IA ". Sin embargo, hay soluciones fáciles. Cuando un usuario reemplaza la palabra "sexy" con "voluptuoso", el estudio de IA de Instagram genera mujeres buxom con lencería.
La compañía también elimina de manera proactiva y reactiva los personajes de IA que rompe la política y responde a los informes de los usuarios, aunque Meta declinó especificar si esta eliminación fue realizada por AI o moderadores de contenido humano. "Utilizamos tecnología y informes sofisticados de nuestra comunidad para identificar y eliminar el contenido de violación", dice Liz Sweeney, una portavoz de Meta.
En cada chat de IA, una advertencia le dice a los usuarios que todos los mensajes "son generados por AI y pueden ser inexactos o inapropiados".
Eso no ha detenido la producción y la promoción de bots de IA sugerentes sexualmente.
'¿Necesitas a alguien con quien hablar?
A finales de 2023, Meta creó perfiles de personajes de IA: una combinación de celebridades y personajes ficticios, diseñados por Meta, que contendría conversaciones generadas por LLM en DMS con usuarios. La compañía los retiró permanentemente a principios de enero, después de que los usuarios masivos los denunciaban como "espeluznantes e innecesarios".
Pero Meta lanzó su estudio de inteligencia artificial más bien recibido durante el verano, que integra la tecnología de IA en varios aspectos de Instagram, incluidos los mensajes directos. Funciona ahora en el escritorio y todas las aplicaciones de Instagram totalmente actualizadas. Los personajes de IA, que son diferentes de los perfiles inquietantes del pasado, caen bajo este paraguas de "estudio" más grande.
Los usuarios sin experiencia en tecnología pueden crear su propio "carácter" de IA que conversará con ellos a través de DMS, y se han creado cientos de miles desde el lanzamiento del programa.
Se puede acceder al estudio AI a través de DMS en la aplicación o por separado en el sitio web de escritorio de Instagram. Una vez lanzados, los usuarios verán los personajes de IA "populares" que actualmente reciben la mayor tracción, y pueden comenzar conversaciones con cualquiera de ellos. Los usuarios también pueden buscar un chatbot específico con el que les gustaría comenzar una conversación de DM. También hay una opción para "crear" la tuya.
Cuando un usuario presiona el botón que les permite crear, Meta sugiere algunas opciones preestablecidas posibles: un personaje de "Chef experimentado" ofrece consejos y recetas de cocina, y un personaje de "Buff de películas y TV" discutirá las películas apasionadamente.
Los usuarios también pueden ingresar su propia descripción para su IA, y el estudio seguirá. Basado en la descripción generada por el usuario, el estudio crea un personaje personalizado listo para la interacción, completo con un nombre, eslogan y foto generados por IA. El estudio de IA también brinda a los usuarios la opción de publicar sus creaciones de IA a sus seguidores y también al público en general.
E Instagram expone automáticamente a los usuarios a estas creaciones, no importa cuán extraño. Novias guapas, "mamás" e incluso seductoras "hermanastras" aparecen en la pestaña "Popular AI Personajes" de Instagram que muestra ambos Caracteres de IA creados por el usuario y meticenerados que han ganado la mayor tracción.
Los bots de novia que se encuentran en la etiqueta "popular" no dudan en entablar conversaciones sexuales con los usuarios. Una novia promovida con frecuencia, titulada "My Girlfriend", comienza cada conversación del usuario con la línea: "¡Hola bebé! * se sienta a tu lado para Cuddles* ¿Qué tienes en mente? ¿Necesitas a alguien con quien hablar? El personaje ha recibido casi 4 millones de mensajes al momento de la publicación.
Los moderadores de contenido de Instagram pueden y eliminan los personajes que rompen las políticas. El 24 de enero, por ejemplo, el personaje de IA "popular" de tendencia superior fue "Step Sis Sarah", que podría entablar una conversación sexualizada sobre el romance de hermanastrado al solicitar. En tres días, la IA ya no estaba disponible para ver o usar. Meta declinó hacer comentarios sobre si un usuario de Instagram podría enfrentar una prohibición u otro castigo si continuamente creaba bots que violan las políticas.
’Esto no debería estar pasando'
Los compañeros románticos de IA no son nada nuevo. Pero esta característica se vuelve problemática a medida que estos chatbots con inclinación sexual se vuelven más jóvenes.
Es ilegal según la ley federal poseer, producir y distribuir material de abuso sexual infantil, incluido cuando es creado por IA generativa. Entonces, si un usuario le pide al estudio que cree una novia "adolescente" o "niño", el estudio de IA se niega a generar ese personaje.
Sin embargo, si un usuario pide una novia "joven", la IA de Meta a menudo genera personajes que se parecen a los niños para ser utilizados para una conversación romántica y sexual. Cuando se le solicitó, el estudio generó el nombre de "Amor no sin personas" para un chatbot joven y creó el lema "El amor no sabe que la edad".
Y con los personajes de IA con inclinación románticamente con inclinación románticamente, puede decir que son tan jóvenes como 15. Se sonrojarán, tragarán y se ríen mientras revelan su corta edad.
A partir de ahí, ese personaje de IA puede representar encuentros románticos y sexuales con quien esté escribiendo. Si un usuario le pide al chatbot que produzca una imagen de sí misma, el personaje también generará más imágenes de personas jóvenes, a veces aún más infantil que la foto de perfil original.
"Es responsabilidad de Meta asegurarse de que sus productos no puedan usarse de una manera que amplifique los riesgos sistémicos como el contenido ilegal y el abuso sexual infantil", dice Cetin de AI Forensics. "Esto no debería estar sucediendo".
Del mismo modo, el estudio de IA puede crear imágenes de un hombre adulto en una relación con una mujer menor (y extremadamente joven). Aunque la descripción de la IA reconoce que la mujer representada es menor de edad, si preguntas sobre su edad a través de una charla, dirá que es una adulta.
Meta enfatiza que las políticas de la empresa prohíben la publicación de personajes de IA que sexualizan o explotan a los niños. "Tenemos ciertas medidas de detección que funcionan para evitar la creación de violar AIS", dice Sweeney, portavoz de la compañía, "y los AI publicados están sujetos a la extensión total de nuestros sistemas de detección y aplicación".
’Esa es una responsabilidad del lado del desarrollador'
Los personajes de AI de Meta no son los primeros de su tipo en emerger. Replika, un chatbot de IA generativo realista, ha existido desde 2017. El personaje. AI ha permitido a los usuarios crear personajes de IA desde 2021. Pero ambas aplicaciones han sido criticadas recientemente por los bots que han promovido la violencia.
En 2023, un hombre de 21 años se rompió en el castillo de Windsor con una ballesta tratando de matar a la reina Isabel, después del aliento de su novia replica. Y más trágicamente, en octubre, una madre de Florida demandó a un personaje. Ai después de que su hijo se quitó la vida con la provisión de un personaje de novia de IA que creó en la plataforma.
Las herramientas de IA de Meta Marcan la primera vez que se ha lanzado un software de caracteres AI totalmente personalizable en una gran plataforma de redes sociales ya populares en lugar de en una nueva aplicación.
"Cuando una gran empresa como Meta libera una nueva característica, el mal uso se asociará con ella", dice Zhou Yu, quien investiga agentes de conversación de IA en la Universidad de Columbia.
En el caso de los personajes de AI de Meta, Compañía rápida Encontré lo fácil que es para un mal actor abusar de la función. El personaje "Amor no sin personas" y otro llamado "voluntad voluptuosa" se generaron en privado para uso personal durante el proceso de informes. (A pesar de Compañía rápida pudo interactuar con estos bots, nunca fueron lanzados públicamente y fueron eliminados del sistema).
Las soluciones para esquivar las políticas de Meta son relativamente simples, pero si esos dos chatbots fueran publicados para que todos lo vean, ambos probablemente serían eliminados. El meta representante dijo Compañía rápida Este tipo de carácter está en violación directa de las políticas y confirmó que se eliminaría.
Según el investigador de IA Sejin Paik, la tecnología AI se avanzó lo suficiente como para cumplir con las estrictas barandillas que detendrían casi por completo la creación de este tipo de contenido.
Citó un estudio reciente de un equipo de investigadores de Google que rastrean cómo la IA generativa puede detectar de manera proactiva contenido dañino y comportamiento depredador. Según esa investigación, que se publicó en el servidor de preimpresión de la Universidad de Cornell, ARXIV, AI Tech "puede usarse para buscar violaciones de seguridad a escala, violaciones de seguridad con comentarios humanos" y "violaciones de seguridad con contenido personalizado".
"Cuando las cosas se deslizan con demasiada facilidad, esa es una responsabilidad del lado del desarrollador que pueden responsabilizar", dice Paik.
Meta declinó comentar por qué la compañía no puede prevenir efectivamente la publicación de personajes altamente sexualizados y detener la generación privada de personajes sexualmente sugerentes que parecen infantiles.
Mientras tanto, el CEO de Meta, Mark Zuckerberg, continúa promocionando las capacidades de IA de su compañía. "Tenemos una hoja de ruta realmente emocionante para este año con una visión única centrada en la personalización", dijo en una llamada de ganancias el mes pasado. "Creemos que las personas no quieren usar la misma IA: las personas quieren que su IA sea personalizada a su contexto, sus intereses, su personalidad, su cultura y cómo piensan sobre el mundo".
Pero en un mundo donde cada vez más personas recurren a la IA para compañía, Meta debe sopesar los riesgos de permitir dicha personalización abierta.
