En la última actualización de OpenAI de su gran modelo de lenguaje (LLM), ChatGPT 4.0 ha superado un examen de neurología clínica con un 85% de respuestas correctas en el estudio de prueba. Esto, representaría un gran avance en el terreno de la IA en un futuro próximo.
De acuerdo con un artículo de Cointelegraph, LLM 4.0 de OpenAI respondió correctamente al 85% de las preguntas de la Junta Americana de Psiquiatría y Neurología, lo que implicaría usos futuros potencialmente ‘significativos’ de la tecnología.
Los resultados del experimento, según señalan los autores que, tras algunos ajustes, aseguran que los LLM podrían tener “aplicaciones significativas” en el terreno de la neurología clínica.
Estos mismos fueron realizados por un grupo de investigadores del Hospital Universitario de Heideblberg y el Centro Alemán de Investigación Oncológica de Heidelberg, se publicaron además el 7 de diciembre, por lo que la prueba realizada el 31 de mayo contó con dos LLM: ChatGPT 3.5 y ChatGPT 4.0
Para esto, los investigadores hicieron uso del banco de preguntas de un examen de neurología de la Junta Americana de Psiquiatría y Neurología con un pequeño grupo de preguntas de la Junta Europea de Neurología.
Mientras que la versión más antigua de ChnatGPT obtuvo una puntuación superior al 60% respondiendo correctamente a 1,306 a 1956 preguntas, el modelo más reciente de ChatGPT 4.0 obtuvo un 85% con 1662 respuestas correctas. Por otra parte, la puntuación humana fue del 73.8%.
No obstante, ChatGPT superó a los humanos en las preguntas relacionadas con el comportamiento, cognición y la psicología, aprobando efectivamente el examen de neurología, ya que el 70% de las respuestas correctas suele considerarse “una puntuación de aprobado en las instituciones educativas”.
No obstante, ambos modelos demostraron un rendimiento más débil en tareas que requerían “un pensamiento de orden superior” que en preguntas que solo requerían un “pensamiento de orden inferior”.
Según los investigadores que llevaron a cabo dicho experimento, los resultados sirven de recomendación para utilizar los sistemas dE LLM en neurología clínica.
Además, los investigadores que todavía existen reservas, aunque existe una perspectiva clara para aplicar los LLM en los sistemas de documentación y apoyo a la toma de decisiones, los neurólogos deben ser cautos sobre el uso en la práctica, ya que aún son imperfectas en lo que respecta las tareas cognitivas.
© Copyright Impresora y Editorial S.A. de C.V. Todos los derechos reservados