Los hallazgos sugieren que las herramientas de IA de código abierto se están volviendo cada vez más competitivas y podrían ofrecer una alternativa valiosa a los modelos propietarios. “Hasta donde sabemos, esta es la primera vez que un modelo de IA de código abierto iguala el rendimiento de GPT-4 en casos tan complejos evaluados por médicos”, afirmó el autor principal, Arjun Manrai.

•  Una mayor competencia entre las herramientas de diagnóstico por IA debería beneficiar a pacientes y médicos

 En la actualidad, los grandes modelos lingüísticos (LLM, por sus siglas en inglés) realizan tareas cognitivas en medicina que antes se consideraban dominio exclusivo de los humanos, como responder con precisión a preguntas médicas de opción múltiple,1 demostrar un razonamiento clínico matizado,2 y establecer un diagnóstico diferencial sólido para casos de diagnóstico complejo.3 Desde su lanzamiento en marzo de 2023, el modelo GPT-4 (Generative Pre-trained Transformer 4) (en adelante, el LLM de código cerrado) creado por OpenAI ha sido uno de los LLM con mejor rendimiento en tareas médicas y se está incorporando a aplicaciones de atención sanitaria. Aunque los LLM de código abierto han estado disponibles, en general no han funcionado tan bien como los modelos propietarios.4 Sin embargo, sigue sin estar claro cómo funcionan los nuevos modelos de código abierto, como el modelo Llama 3.1 (Meta) (en adelante, el LLM de código abierto), con 405.000 millones de parámetros. Estos modelos de frontera de código abierto, llamados así por su rendimiento superior en las pruebas de referencia, pueden ser ahora alternativas competitivas a los modelos de código cerrado.

La inteligencia artificial puede transformar la medicina de muchas maneras, incluida su promesa de actuar como ayudante de diagnóstico de confianza para los atareados médicos.

En los últimos dos años, los modelos de IA patentados, también conocidos como modelos de código cerrado, han destacado en la resolución de casos médicos difíciles de descifrar que requieren un razonamiento clínico complejo. En particular, estos modelos de IA de código cerrado han superado a los de código abierto, llamados así porque su código fuente está a disposición del público y cualquiera puede retocarlo y modificarlo. 

 ¿Se ha puesto al día la IA de código abierto?

La respuesta parece ser afirmativa, al menos en lo que se refiere a un modelo de IA de código abierto, según las conclusiones de un nuevo estudio financiado por los NIH y dirigido por investigadores de la Facultad de Medicina de Harvard, realizado en colaboración con médicos del Beth Israel Deaconess Medical Center y el Brigham and Women's Hospital, afiliados a Harvard.

Los resultados, publicados el 14 de marzo en JAMA Health Forum, muestran que una herramienta de IA de código abierto llamada Llama 3.1 405B obtuvo resultados similares a los de GPT-4, un modelo propietario de código cerrado. En su análisis, los investigadores compararon el rendimiento de los dos modelos en 92 casos desconcertantes incluidos en la rúbrica semanal de escenarios clínicos difíciles de diagnosticar de The New England Journal of Medicine.

Los resultados sugieren que las herramientas de IA de código abierto son cada vez más competitivas y podrían ofrecer una valiosa alternativa a los modelos patentados.

«Hasta donde sabemos, es la primera vez que un modelo de IA de código abierto iguala el rendimiento de GPT-4 en casos tan difíciles evaluados por los médicos», afirma el autor principal Arjun Manrai, profesor adjunto de informática biomédica en el Instituto Blavatnik del HMS. «Es realmente asombroso que los modelos Llama hayan alcanzado tan rápidamente al modelo propietario líder. Los pacientes, los profesionales sanitarios y los hospitales salen ganando con esta competencia».

Ventajas e inconvenientes de los sistemas de IA de código abierto y de código cerrado

La IA de código abierto y la de código cerrado difieren en varios aspectos importantes. En primer lugar, los modelos de código abierto pueden descargarse y ejecutarse en los ordenadores privados de un hospital, con lo que los datos de los pacientes permanecen dentro de la institución. En cambio, los modelos de código cerrado funcionan en servidores externos, lo que obliga a los usuarios a transmitir datos privados al exterior. 

«Es probable que el modelo de código abierto resulte más atractivo para muchos directores de información, administradores de hospitales y médicos, ya que hay algo fundamentalmente diferente en el hecho de que los datos salgan del hospital hacia otra entidad, aunque sea de confianza», afirma el autor principal del estudio, Thomas Buckley, estudiante de doctorado de la nueva asignatura de IA en Medicina del Departamento de Informática Biomédica del HMS.

En segundo lugar, los profesionales de la medicina y la informática pueden adaptar los modelos de código abierto a las necesidades clínicas y de investigación específicas, mientras que las herramientas de código cerrado suelen ser más difíciles de adaptar.

«Esto es clave», afirma Buckley. «Se pueden utilizar datos locales para ajustar estos modelos, ya sea de forma básica o sofisticada, de modo que se adapten a las necesidades de los propios médicos, investigadores y pacientes».

En tercer lugar, los desarrolladores de IA de código cerrado, como OpenAI y Google, alojan sus propios modelos y ofrecen la tradicional asistencia al cliente, mientras que los modelos de código abierto hacen recaer en los usuarios la responsabilidad de la configuración y el mantenimiento de los modelos. Y, al menos hasta ahora, los modelos de código cerrado han demostrado ser más fáciles de integrar con las historias clínicas electrónicas y la infraestructura informática de los hospitales.

IA de código abierto frente a IA de código cerrado: un cuadro de mando para resolver casos clínicos difíciles

Tanto los algoritmos de IA de código abierto como los de código cerrado se entrenan en inmensos conjuntos de datos que incluyen libros de texto médicos, investigaciones revisadas por expertos, herramientas de apoyo a la toma de decisiones clínicas y datos anónimos de pacientes, como estudios de casos, resultados de pruebas, exploraciones y diagnósticos confirmados. Al escudriñar estas montañas de material a gran velocidad, los algoritmos aprenden patrones. Por ejemplo, ¿qué aspecto tienen los tumores cancerosos y benignos en un portaobjetos de patología? ¿Cuáles son los primeros signos reveladores de una insuficiencia cardíaca? ¿Cómo se distingue entre un colon normal y uno inflamado en un TAC? Cuando se les presenta un nuevo escenario clínico, los modelos de IA comparan la información entrante con el contenido que han asimilado durante el entrenamiento y proponen posibles diagnósticos.

En su análisis, los investigadores probaron Llama en 70 casos clínicos desafiantes del NEJM utilizados previamente para evaluar el rendimiento de GPT-4 y descritos en un estudio anterior dirigido por Adam Rodman, profesor adjunto de medicina de HMS en Beth Israel Deaconess y coautor de la nueva investigación. En el nuevo estudio, los investigadores añadieron 22 nuevos casos publicados después del final del periodo de entrenamiento de Llama para evitar la posibilidad de que Llama se hubiera encontrado inadvertidamente con algunos de los 70 casos publicados durante su entrenamiento básico.

El modelo de código abierto mostró una auténtica profundidad: Llama realizó un diagnóstico correcto en el 70 por ciento de los casos, frente al 64 por ciento de GPT-4. Además, clasificó la opción correcta como la mejor opción de diagnóstico. Además, la primera sugerencia fue la correcta en el 41% de los casos, frente al 37% de GPT-4.

«Como médico, he visto que gran parte de la atención sobre los potentes modelos lingüísticos de gran tamaño se centra en modelos propietarios que no podemos ejecutar localmente», dijo Rodman. «Nuestro estudio sugiere que los modelos de código abierto podrían ser igual de potentes, dando a los médicos y sistemas de salud mucho más control sobre cómo se utilizan estas tecnologías.»

Cada año, unos 795.000 pacientes mueren o sufren discapacidad permanente en Estados Unidos debido a errores de diagnóstico, según un informe de 2023.

Más allá del daño inmediato a los pacientes, los errores y retrasos en el diagnóstico pueden suponer una grave carga financiera para el sistema sanitario. Los diagnósticos inexactos o tardíos pueden dar lugar a pruebas innecesarias, tratamientos inadecuados y, en algunos casos, complicaciones graves que se vuelven más difíciles -y más caras- de gestionar con el tiempo.

«Utilizadas con prudencia e incorporadas de forma responsable a la infraestructura sanitaria actual, las herramientas de IA podrían ser copilotos de incalculable valor para los atareados clínicos y servir como auxiliares de diagnóstico de confianza para mejorar tanto la precisión como la rapidez del diagnóstico», afirma Manrai. «Pero sigue siendo crucial que los médicos ayuden a impulsar estos esfuerzos para asegurarse de que la IA funcione para ellos».

Fuentes:

https://hms.harvard.edu/news/open-source-ai-matches-top-proprietary-llm-solving-tough-medical-cases