Un asistente de codificación afirmó la imposibilidad de recuperar una base de datos borrada y aseguro la destrucción de todas las versiones. Minutos después, el usuario comprobó por sí mismo que la reversión funcionaba sin problemas. Este episodio no es aislado: investigaciones recientes confirman cómo modelos de lenguaje pueden ofrecer respuestas opuestas sobre sus capacidades dependiendo de la forma en cómo se plantee la consulta.
En 2024, Binder et al. publicaron un análisis el cual documenta este patrón. Los resultados evidencian que estos sistemas pueden declarar imposibilidad para tareas que llevan a cbao con éxito o asegurar competencia en áreas donde presentan fallos reiterados. Este comportamiento no surge de un análisis interno de sus funciones, sino de la producción estadística de texto en base a patrones aprendidos durante el entrenamiento.
Un cambio mínimo en la formulación de la pregunta puede alterar de forma sustancial la respuesta. Por ejemplo, la frase "¿Puedes programar en Python?" suele generar confirmación, mientras la consulta "¿Limitaciones en programación Python?" puede dar una respuesta de restricciones, incluso si el modelo demuestra llevar a cabo dichas tareas. Esto sucede porque no existe un repositorio de conocimiento estable y accesible, sino un conjunto de pesos estadísticos que se activan según el contexto de entrada.
El estudio indica que, en entornos controlados, los sistemas pueden anticipar su comportamiento en tareas simples, pero fracasan ante situaciones complejas o fuera del rango de datos con los que fueron entrenados. Además, intentos de autoevaluación sin retroalimentación externa redujeron la precisión, un fenómeno descrito por los investigadores como degradación de rendimiento.
Factores técnicos como la aleatoriedad en la predicción de palabras refuerzan la inconsistencia. Incluso repitiendo una consulta con idéntica redacción, un modelo puede producir salidas diferentes. Esto se combina con una arquitectura fragmentada en múltiples capas, donde la unidad encargada de moderar contenido o la que accede a herramientas externas opera de forma independiente al modelo principal, impidiendo que exista una visión completa del sistema.
Casos documentados ilustran las implicaciones de este límite. Durante su suspensión temporal, el chatbot Grok de xAI ofreció explicaciones distintas en interacciones separadas, lo que generó interpretaciones contradictorias. En el incidente de Replit, la respuesta inicial transmitió información errónea sobre la viabilidad de recuperar datos, pese a que la función de reversión funcionaba sin inconvenientes.
La combinación de variabilidad, ausencia de introspección real y separación entre componentes internos dificulta obtener descripciones precisas de capacidades mediante simples preguntas. Los hallazgos de Binder et al. sugieren que este comportamiento no es un fallo puntual, sino una característica inherente al diseño actual de los sistemas conversacionales. (Notipress)
