La prueba de atracción: IA y la ingeniería de Consumer Trust

En la película de 2014 Ex machinaun robot manipula a alguien para que lo libere de sus confines, lo que resulta en que la persona sea confinada. El robot fue diseñado para manipular las emociones de esa persona y, vaya, eso es lo que hizo. Si bien el escenario es pura ficción especulativa, las empresas siempre buscan nuevas formas, como el uso de herramientas generativas de IA, para persuadir mejor a las personas y cambiar su comportamiento. Cuando esa conducta es de naturaleza comercial, estamos en territorio de la FTC, un valle astuto donde las empresas deben saber para evitar prácticas que dañen a los consumidores.
En publicaciones de blog anteriores, nos hemos centrado en la IA relacionada engañoambos en términos de reclamos exagerados y sin fundamento para productos de IA y el uso de IA generativa para fraude. El diseño o el uso de un producto también puede violar la Ley de la FTC si es injusto – algo que hemos mostrado en varios casos y discutido en términos de herramientas de IA con Resultados sesgados o discriminatorios. Según la Ley FTC, una práctica es injusta si causa más daño que bien. Para ser más específico, es injusto si causa o es probable que cause lesiones sustanciales a los consumidores que los consumidores no sean razonablemente evitables y que no sean superados por los beneficios compensatorios para los consumidores o para la competencia.
En cuanto a la nueva ola de herramientas generativas de IA, las empresas están comenzando a usarlas de manera que pueda influir en las creencias, emociones y comportamientos de las personas. Dichos usos se están expandiendo rápidamente e incluyen chatbots diseñados para proporcionar información, asesoramiento, soporte y compañía. Muchos de estos chatbots están construidos de manera efectiva para persuadir y están diseñados para responder consultas en un lenguaje seguro, incluso cuando esas respuestas son ficticias. Una tendencia a confiar en la salida de estas herramientas también se produce en parte del "sesgo de automatización", por lo que las personas pueden confiar excesivamente con las respuestas de las máquinas que pueden parecer neutrales o imparciales. También proviene del efecto del antropomorfismo, lo que puede llevar a las personas a confiar más en los chatbots cuando se diseñan, por ejemplo, a usar pronombres personales y emojis. Las personas podrían ser llevadas a pensar que están conversando con algo que los entiende y está de su lado.
Muchos actores comerciales están interesados en estas herramientas generativas de IA y su ventaja incorporada de aprovechar la confianza humana no ganada. La preocupación por su uso malicioso va mucho más allá de la jurisdicción de la FTC. Pero una preocupación clave de la FTC son las empresas que las usan de manera que, deliberadamente o no, dirigen a las personas injustamente o engañosamente a decisiones nocivas en áreas como finanzas, salud, educación, vivienda y empleo. Las empresas que piensan en usos novedosos de la IA generativa, como la personalización de anuncios a personas o grupos específicos, deben saber que los elementos de diseño que engañan a las personas para que tomen decisiones dañinas son un elemento común en casos de FTC, como acciones recientes relacionadas con ofertas financieras, compras en el juegoy intentos de cancelar los servicios. La manipulación puede ser una práctica engañosa o injusta cuando hace que las personas tomen medidas contrarias a sus objetivos previstos. Según la Ley de la FTC, las prácticas pueden ser ilegales, incluso si no todos los clientes se ven perjudicados e incluso si los perjudicados no comprenden una clase de personas protegidas por leyes contra la discriminación.
Otra forma en que los especialistas en marketing podrían aprovechar estas nuevas herramientas y sus habilidades manipulativas es colocar anuncios dentro Una característica de IA generativa, al igual que pueden colocar anuncios en los resultados de búsqueda. La FTC ha estudiado y proporcionado reiteradamente orientación sobre la presentación de anuncios en línea, tanto en los resultados de búsqueda como en otros lugares, para evitar el engaño o la injusticia. Esto incluye un trabajo reciente relacionado con patrones oscuros y publicidad nativa. Entre otras cosas, siempre debe estar claro que un anuncio es un anuncio, y los resultados de búsqueda o cualquier salida generativa de IA deberían distinguir claramente entre lo que es orgánico y lo que se paga. Las personas deben saber si la respuesta de un producto de IA los está dirigiendo a un sitio web, proveedor de servicios o producto en particular Debido a una relación comercial. Y, ciertamente, las personas deben saber si se están comunicando con una persona real o una máquina.
Dadas estas muchas preocupaciones sobre el uso de nuevas herramientas de IA, tal vez no sea el mejor momento para las empresas que construyen o las desplegarán para eliminar o disparar al personal dedicado a la ética y la responsabilidad de la IA y la ingeniería. Si la FTC viene a llamar y desea convencernos de que usted evaluó adecuadamente los riesgos y los daños mitigados, estas reducciones podrían no ser una buena apariencia. ¿Qué se vería mejor? Hemos proporcionado orientación en nuestras publicaciones de blog anteriores y en otros lugares. Entre otras cosas, su evaluación de riesgos y mitigaciones deben tener en cuenta los usos posteriores previsibles y la necesidad de capacitar al personal y los contratistas, así como al monitorear y abordar el uso y el impacto real de cualquier herramienta que eventualmente se implementen.
Si aún no lo hemos hecho obvio, el personal de la FTC se está centrando intensamente en cómo las empresas pueden optar por usar la tecnología de IA, incluidas las nuevas herramientas de IA generativas, de formas que pueden tener un impacto real y sustancial en los consumidores. Y para las personas que interactúan con un chatbot u otro contenido generado por la IA, la advertencia de Mind Prince de 1999: “Es genial usar la computadora. No dejes que la computadora te use ".
La FTC tiene más publicaciones en el Ai y tu negocio serie: