Algunos fragmentos de código generados por el chatbot no estaban completamente optimizados, por lo que los expertos de Kaspersky intervinieron manualmente.
Los expertos de Kaspersky decidieron poner a prueba a ChatGPT para evaluar su conocimiento sobre la investigación de amenazas comunes y conocidas, como Mimikatz o Fast Reverse Proxy, entre otras. ¿Cuál fue el desempeño de ChatGPT en cuanto a la detección de indicadores de compromiso? En realidad, no fue capaz de reconocer el hash de WannaCry, uno de los ransomware más conocidos y quizás el más famoso de la historia.
En el caso de las APT (Amenazas Persistentes Avanzadas), ChatGPT generó una lista con algunos dominios pertenecientes a esta categoría y también proporcionó una descripción de los mismos.
El chatbot clasificó los dominios FIN7 como maliciosos y explicó que "el nombre del dominio probablemente intenta engañar a los usuarios haciéndoles creer que es legítimo".
Durante las pruebas, los expertos de Kaspersky determinaron que ChatGPT obtiene mejores resultados en desarrollos basados en host que en indicadores simples como nombres de dominio y hash.
La seguridad
Es posible que esto se deba a ciertos filtros presentes en los datos utilizados para su entrenamiento o a que las preguntas formuladas no fueron adecuadas.
Otra de las pruebas a las que se sometió a ChatGPT fue solicitarle que escribiera código para extraer metadatos de un sistema Windows y luego consultar si esos metadatos eran un indicador de compromiso.
Algunos fragmentos de código generados por el chatbot no estaban completamente optimizados, por lo que los expertos de Kaspersky intervinieron manualmente.
Filtraron la salida en los casos en que la respuesta de ChatGPT indicaba la presencia de un indicador de compromiso y añadieron manejadores de excepciones e informes en formato CSV. También corrigieron pequeños errores y convirtieron algunos fragmentos en cmdlets individuales, lo que resultó en una herramienta sencilla de análisis de Indicadores de Compromiso (IoC) llamada "HuntWithChatGPT.psm1" capaz de examinar un sistema remoto a través de WinRM.
Después de eso, los analistas de Kaspersky infectaron un equipo con los agentes maliciosos Meterpreter y PowerShell Empire. Luego utilizaron el escáner, que generó un informe enriquecido con las conclusiones de ChatGPT. La herramienta logró identificar dos procesos maliciosos de un total de 137 procesos analizados, sin detectar ningún falso positivo.
ChatGPT proporcionó detalles sobre la detección de estos archivos: "La línea de comando intenta descargar un archivo de un servidor externo", "se está utilizando un bypass que indica a PowerShell que omita los controles de seguridad" o "el código se utiliza para deshabilitar el registro u otras medidas de seguridad de Windows".
















