Durante meses medios de comunicación, empresas y consultoras hemos estado hablando de cómo el chatGPT de OpenAI, y otros chatbots similares están cambiando la manera en que miramos al trabajo, ideando mil formas diferentes en que estos sistemas, considerados inteligentes, nos ayuden en nuestro día a día.
Ahora, los expertos de la Universidad de Purdue, con sede en West Lafayette, Estados Unidos, ha realizado un estudio en que pone de manifiesto que las respuestas sobre el desarrollo de software de ChatGPT no son confiables en más de la mitad de los casos. Y lo que es peor: a pesar de esto, un tercio de los participantes fueron engañados por el bot.
Los investigadores sometieron a dos chatbot, ChatGPT y Stack Overflow a un cuestionario con más de 517 preguntas sobre programación. Los resultados fueron que el 52 % de las respuestas de ChatGPT eran incorrectas, “y cuando le pedimos a Stack Overflow que hiciera los cálculos por nosotros, respondió que el 48 % de las respuestas del chatbot eran correctas”.
Por otra parte, el informe detecto también que los usuarios solo podían detectar errores en las respuestas de ChatGPT cuando eran evidentes. Dos de los 12 individuos continuaron seleccionando la respuesta como preferible a pesar de que contenía una clara inexactitud. Esto se atribuye al tono amigable y autoritario de ChatGPT, según el informe.
