Por qué la IA a veces se equivoca, y los grandes avances para resolverlo
En la época en la que GPT-4 acaparaba titulares por superar diferentes exámenes oficiales, universitarios y de posgrado, los investigadores y colaboradores de Microsoft sometían a otros modelos de Inteligencia Artificial (IA) a pruebas diseñadas para que fabricaran información.
Para abordar el problema de que los modelos inventen datos falsos -fenómeno conocido como «alucinaciones»-, se creó una tarea de recuperación de texto que, a la mayoría de las personas, les resultaría muy difícil. Después, se rastrearon y mejoraron las respuestas de los modelos. El estudio dio lugar a una nueva forma de reducir los casos en que los modelos de lenguaje de gran tamaño (LLM) se desviaban de los datos que se les proporcionan.
Este ejemplo también ilustra cómo Microsoft está desarrollando soluciones para medir, detectar y mitigar las alucinaciones, como parte de sus esfuerzos continuos para avanzar en la IA de manera segura, fiable y ética.
«Microsoft quiere asegurarse de que cada sistema de IA que construye ofrece la confianza necesaria para poder utilizarlo de forma eficaz «, afirma Sarah Bird, Chief Product Officer de Responsible AI de Microsoft. «Nuestra posición, con numerosos expertos y recursos dedicados a este campo, nos permite contribuir a allanar el camino a la hora de definir cómo utilizar las nuevas tecnologías de IA de manera responsable, y facilitar que otros también lo hagan.”
Técnicamente, las alucinaciones son información “no fundamentada”, lo que indica que un modelo ha alterado los datos proporcionados o ha añadido información adicional que no estaba presente originalmente.
Hay ocasiones en las que las alucinaciones pueden ser beneficiosas, como cuando los usuarios desean que la IA genere una historia de ciencia ficción, o que aporte ideas poco convencionales sobre temas que van desde la arquitectura a la programación. Sin embargo, muchas organizaciones que desarrollan asistentes de IA necesitan que estos proporcionen información fiable y fundamentada, especialmente en contextos como resúmenes médicos o educativos, donde la precisión es fundamental.
Por ello, Microsoft ha desarrollado una amplia variedad de herramientas diseñadas para abordar la falta de fundamentación, basándose en su experiencia en la creación de productos de IA como Microsoft Copilot.
Durante meses, los ingenieros de Microsoft han alimentado el modelo de Copilot, utilizando datos de búsqueda de Bing mediante la técnica de generación aumentada de recuperación, técnica que enriquece el modelo con conocimientos adicionales sin necesidad de volver a entrenarlo. Las respuestas, el índice y los datos de clasificación de Bing ayudan a Copilot a proporcionar respuestas más precisas y relevantes, acompañadas de citas que permiten a los usuarios buscar y verificar la información.
«El modelo es asombroso razonando sobre la información, pero no debería ser en sí mismo la fuente de la respuesta«, declara Bird. «Creemos que los datos deben ser la base, así que el primer paso para resolver el problema fue aportar nuevos datos precisos y de alta calidad al modelo«.
Microsoft ahora ayuda a los clientes a lograr lo mismo con herramientas avanzadas:
- La función On Your Data, en Azure OpenAI Service, asiste a las organizaciones a preparar sus aplicaciones de IA generativa, utilizando sus propios datos en un entorno seguro a nivel empresarial.
- Otras herramientas, disponibles en Azure AI, ayudan a los clientes a proteger sus aplicaciones a lo largo del ciclo de vida de la IA generativa.
- Un servicio de evaluación permite medir la integración de las aplicaciones en producción con métricas predefinidas.
- Las plantillas de mensajes del sistema de seguridad facilitan a los ingenieros el proceso de entrenamiento de un modelo para que se centre en identificar la fuente de los datos.
Microsoft también ha presentado una herramienta, que funciona en tiempo real, para detectar la integración en aplicaciones a gran escala que acceden a datos empresariales, como asistentes de chat para atención al cliente y herramientas de resumen de documentos. Por otra parte, Azure AI Studio utiliza un modelo lingüístico ajustado para evaluar las respuestas contrastándolas con los documentos originales.
Microsoft también está desarrollando una nueva función de mitigación en tiempo real para bloquear y corregir instancias no fundamentadas. Cuando se detecta un error de base, la función reescribe automáticamente la información utilizando los datos disponibles.
“Estar a la vanguardia de la IA generativa implica la responsabilidad y la oportunidad de hacer nuestros productos más seguros y fiables, además de poner nuestras herramientas al servicio de los clientes”, afirma Ken Archer, jefe de producto de Responsible AI de Microsoft.
Las tecnologías de Microsoft se apoyan en la investigación de expertos como Ece Kamar, director del laboratorio de AI Frontiers de Microsoft Research. Guiado por los principios éticos de la IA corporativa, su equipo publicó un estudio que mejoró las respuestas de los modelos, además de descubrir una nueva metodología para predecir alucinaciones en otro estudio que analizaba cómo los modelos dan respuesta a las peticiones de los usuarios.
«Hay una pregunta fundamental: ¿Por qué alucinan? ¿Es posible abrir el modelo y observar cuándo sucede?», comenta Kamar. «Estamos investigando esto desde una perspectiva científica, porque comprender las causas podría inspirar el desarrollo de nuevas arquitecturas que permitan una futura generación de modelos en los que las alucinaciones no ocurran».
Kamar explica que los LLM tienden a alucinar más frecuentemente en torno a hechos que están menos representados en los datos de entrenamiento de Internet, lo que hace que el estudio de la atención sea crucial para comprender los mecanismos y el impacto del contenido no fundamentado.
“A medida que los sistemas de IA ayudan a las personas con tareas críticas y a compartir información, debemos tomar muy en serio todos los riesgos que estos sistemas conllevan, ya que buscamos construir futuros sistemas de IA que hagan cosas buenas en el mundo”, afirma Kamar.
Descubre más sobre el trabajo de Microsoft en IA responsable aquí.
