Los modelos de inteligencia artificial o3 y o4-mini de OpenAI, diseñados para realizar tareas de razonamiento, presentan un incremento notable en la generación de alucinaciones. Estas alucinaciones, entendidas como afirmaciones incorrectas o inventadas, fueron detectadas en mayor medida en comparación con versiones anteriores desarrolladas por la empresa.
Desde OpenAI revelaron que los modelos o3 y o4-mini, presentados recientemente, superan en frecuencia de alucinaciones a otros modelos internos como o1, o1-mini y o3-mini. También se reportó un rendimiento inferior frente a sistemas tradicionales como GPT-4o, los cuales no están centrados en el razonamiento. En el caso de o3, alucinó en el 33% de las preguntas de PersonQA, un indicador que evalúa el conocimiento del modelo sobre personas. En comparación, o1 registró un 16% y o3-mini un 14,8% y en el caso del modelo o4-mini mostró la tasa más elevada, con un 48%.
En su informe técnico, OpenAI señaló: "se necesita más investigación para comprender por qué las alucinaciones empeoran a medida que amplía los modelos de razonamiento". Si bien estos nuevos modelos mejoran el rendimiento en áreas como programación y matemáticas, también realizan un mayor número de afirmaciones, aumentando el riesgo de errores factuales, según el documento.
.jpg)
La organización sin fines de lucro Transluce realizó pruebas externas que respaldan estas observaciones. Durante sus experimentos, detectaron casos en donde o3 inventaba acciones las cuales no podía realizar. Un ejemplo citado incluye una respuesta en la que el modelo afirmó haber ejecutado código en una MacBook Pro de 2021 "fuera de ChatGPT" y luego copiado los resultados, lo cual no es técnicamente posible. Neil Chowdhury, investigador de Transluce, explicó: "Nuestra hipótesis es que el tipo de aprendizaje de refuerzo utilizado para los modelos de series o puede amplificar problemas que normalmente se mitigan (pero no se eliminan por completo) mediante procesos de postentrenamiento estándar".
Sarah Schwettmann, cofundadora de Transluce, comentó que una alta tasa de alucinaciones podría reducir la utilidad práctica de estos modelos. Según, Kian Katanforoosh, profesor de Stanford y director ejecutivo de Workera, su equipo ya prueba el modelo o3 para flujos de trabajo en programación. Sin embargo, advirtió que "tiende a generar alucinaciones con enlaces web rotos".
De acuerdo al informe, las alucinaciones afectan la confiabilidad de estos modelos en sectores los cuales requieren precisión, como el jurídico. En estos contextos, errores factuales pueden comprometer la calidad del trabajo generado. Una perspectiva la cual podría mejorar la precisión es dotar a los modelos de funciones de navegación en línea. OpenAI señaló que el modelo GPT-4o, con acceso a búsqueda web, alcanzó una precisión del 90% en el benchmark SimpleQA.
La empresa considera que resolver el problema de las alucinaciones es una prioridad. Niko Felix, portavoz de OpenAI, aseguró en comunicación con TechCrunch: "Abordar las alucinaciones en todos nuestros modelos es un área de investigación continua, y trabajamos continuamente para mejorar su precisión y confiabilidad". (NotiPress)
