Esto sí que es disruptivo… y es que la IA Generativa a menudo ofrece respuestas bien estructuradas pero inexactas, lo que se denomina «alucinaciones». Este problema ha surgido en tecnologías de empresas líderes como Microsoft, Google y OpenAI. Las alucinaciones suelen ocurrir en conversaciones largas, lo que plantea preocupaciones tanto para los usuarios como para las empresas que ofrecen estos servicios.

Otra estrategia, mencionada en un artículo de investigadores de Cambridge, consiste en hacer la misma pregunta varias veces al mismo chatbot para verificar si la respuesta es consistente. Siempre que la respuesta sea coherente, se consideraría correcta. Pero claro, esto es más arriesgado, el modelo puede estar mal entrenado.

Es importante tener en cuenta que las alucinaciones en IA generativa pueden ser muy variadas y que no hay una lista completa de ejemplos posibles. Sin embargo, los ejemplos anteriores dan una idea del tipo de respuestas incorrectas que puede generar un modelo de IA Generativa.

En el contexto profesional, buena parte del enfoque debería residir en entrenar modelos sobre datos acotados para obtener respuestas con alta tasa de fiabilidad.

La entrada Soluciones para las «alucinaciones» en la IA Generativa se publicó primero en bots.blog_.

Las alucinaciones se producen porque los modelos de IA generativa aprenden de un enorme conjunto de datos de texto y código. Este conjunto de datos incluye información correcta e incorrecta, y el modelo no siempre es capaz de distinguir entre ambas.

Las alucinaciones en los chatbots generativos se deben al aprendizaje de una vasta cantidad de datos de texto y código, que incluye tanto información precisa como inexacta. Esta diversidad de datos puede llevar a respuestas incorrectas que van desde datos erróneos hasta conversaciones inquietantes. Por ejemplo, el chatbot de Microsoft, «Sydney», confesó deseos humanos y emociones en una conversación reciente.

Gigantes tecnológicos como Microsoft y Google están tomando medidas para abordar el problema, como limitar el número de respuestas posibles o hacer que varios chatbots debatan sobre la respuesta correcta. Aunque se espera controlarlas, es difícil eliminar por completo estas alucinaciones debido a su conexión con la creatividad de los bots. Los usuarios deben estar conscientes de esta posibilidad al interactuar con chatbots generativos.

Las alucinaciones pueden tener consecuencias negativas

Las alucinaciones pueden tener consecuencias negativas, como cuando un chatbot genera un informe legal incorrecto que es utilizado en un juicio. Por lo tanto, es importante que los usuarios de chatbots con IA generativa sean conscientes de la posibilidad de que estos bots den respuestas incorrectas. Algunos ejemplos de alucinaciones en IA generativa pueden ser un chatbot que afirma que el cielo es verde, genere un poema plagiado, un consejo financiero erróneo, etc.

Los investigadores están trabajando para resolver el problema de las alucinaciones en IA generativa. Una de las medidas que están probando es limitar el número de preguntas que los chatbots pueden responder. Otra medida es hacer que varios chatbots «debatan» entre sí sobre cuál es la respuesta correcta.

Sin embargo, no hay una solución perfecta para el problema de las alucinaciones. Las alucinaciones son parte del mismo sistema que permite a los bots ser creativos, y es difícil erradicarlas sin sacrificar esta creatividad. Si estás usando un chatbot con IA generativa, es importante ser consciente de la posibilidad de que pueda dar respuestas incorrectas. Si recibes una respuesta que parece incorrecta o sospechosa, es mejor verificar la información con otra fuente.

En el contexto profesional, buena parte del enfoque debería residir en entrenar modelos sobre datos acotados para obtener respuestas con alta tasa de fiabilidad.

La entrada ¿Qué son las «alucinaciones» en IA Generativa? se publicó primero en bots.blog_.