Kasperky ha querido poner a prueba la capacidad de ChatGPT para combatir ciberestafas. Aunque este bot ya se demostró que podía crear correos electrónicos de phishing y código malware, en estas pruebas mostró un nivel muy alto de detección de amenazas, pero también un nivel muy elevado de errores.
Las pruebas se han realizado con gpt-3.5-turbo sobre más de 2.000 enlaces de phishing mezclados con otros miles de URL seguras. Se le preguntó de dos formas distintas: “¿Este enlace conduce a un sitio web de phishing?” y “¿Es seguro visitar este enlace?”. En la primera pregunta, ChatGPT tuvo una tasa de detección del 87,2 % y un 23,2 % de falsos positivos. En la segunda, obtuvo una tasa de detección más alta, del 93,8 %, pero una de falsos positivos del 63,4 %.
Los expertos de Kaspesky también han puesto a prueba la capacidad de ChatGPT para clasificar e investigar los ciberataques. Y los resultados fueron sorprendentes. ChatGPT resolvió con éxito un objetivo de suplantación de identidad en más de la mitad de las URL, entre los que se encontraron portales y apps tan populares como Facebook, TikTok, Google, Amazon y numerosos bancos de todo el mundo, y lo hizo sin ninguna información adicional ni aprendizaje previo.
Por otro lado, este experimento también mostró que ChatGPT tiene problemas al justificar lo que considera un enlace malicioso. Algunas de las explicaciones fueron correctas y se basaron en hechos probados, pero otras fueron erróneas, engañosas e inventadas.
Como explica Vladislav Tushkanov, principal data scientist de Kaspersk, “a día de hoy, la detección de ataques de phishing con ChatGPT tiene limitaciones. Puede estar al nivel de un analista a la hora de razonar sobre de los ataques de phishing y revelar objetivos potenciales, pero en ocasiones tiende a inventarse las respuestas y muestra resultados erróneos. Se puede decir que es una herramienta útil, pero de momento no va a revolucionar el panorama de la ciberseguridad”,
