Una nueva y extensa investigación acaba de determinar lo que muchos sospechaban desde hace semanas: la versión más pro de ChatGPT se está volviendo más tonta y sus resultados distan mucho de sus capacidades iniciales.
Malas noticias para ChatGPT. Según una última investigación de Standford, GPT-4, el modelo que se esconde detrás de la versión más potente de este chatbot, cada vez se está volviendo más tonto y sus resultados distan demasiado de su rendimiento en un inicio.
«Descubrimos que el rendimiento y el comportamiento de GPT-3.5 y GPT-4 varían significativamente entre estas dos versiones y que su rendimiento en algunas tareas ha empeorado sustancialmente con el tiempo», explican.
En el artículo publicado, los investigadores Lingjiao Chen, Matei Zaharia y James Zou descubrieron que, en comparación con los lanzamientos del modelo de lenguaje en marzo y junio, el rendimiento se ha degradado. El ejemplo más llamativo es preguntar si 17.077 es un número primo.Si bien la respuesta es sí, ChatGPT experimentó una disminución masiva del 95,2% en la precisión. Mientras tanto, GPT-3.5, que impulsa la versión gratuita de ChatGPT, experimentó un aumento del 7,4% al 86,8% cuando se le hizo la misma pregunta.
Nadie termina de comprender qué está ocurriendo con ChatGPT Plus y GPT-4. «Es muy difícil saber por qué sucede esto. Definitivamente podría ser que RLHF y el ajuste fino (fine tuning) estén chocando contra una pared, pero también podrían ser errores. Definitivamente parece complicado administrar la calidad», explica en un tuit Matei Zaharia, uno de los investigadores.
Teniendo en cuenta la posibilidad de que el RLHF y el fine tune (afinado) tenga algo que ver, es hora de saber cómo estas 2 variables podrían estar influyendo en la inteligencia artificial que se esconde detrás de la versión más potente de ChatGPT:
1. RLHF (Reinforcement Learning from Human Feedback): esta es una técnica de entrenamiento en la que la inteligencia artificial recibe comentarios y correcciones de los humanos para mejorar su desempeño.
Sin embargo, si el RLHF no se está aplicando adecuadamente, es posible que la retroalimentación proporcionada no esté siendo suficiente o no se esté utilizando de manera óptima para ajustar y mejorar el modelo, lo que podría afectar su rendimiento general y hacer que la inteligencia artificial parezca menos inteligente.
2. Fine Tune (afinado o ajuste fino): esta es otra técnica de entrenamiento que implica ajustar un modelo de inteligencia artificial ya existente para que se adapte a una tarea específica. Si el proceso de afinado no se realiza bien o si el modelo de base no es lo suficientemente potente, podría conducir a un rendimiento desastroso.
Para que te hagas una ligera idea, si estos 2 elementos no se están implementando adecuadamente o si hay problemas en su aplicación, es posible que GPT-4 y ChatGPT Plus no estén alcanzando su máximo potencial y, como resultado, parezcan menos inteligentes o menos capaces en ciertas situaciones. Son variables fundamentales para el desarrollo y mejora de los modelos de inteligencia artificial.
Teniendo todo esto en cuenta, Kevin Welinder, Vicepresidente de producto de OpenAI, ha salido en defensa de ChatGPT comentando lo siguiente: «No, no hemos hecho que GPT-4 sea más tonto. Todo lo contrario: hacemos que cada nueva versión sea más inteligente que la anterior. Hipótesis actual: cuando lo usas más intensamente, comienza a notar problemas que no veía antes».
