Artículo original: Ramwala OA, Lowry KP, Cross NM, Hsu W, Austin CC, Mooney SD, et al. Establishing a validation infrastructure for imaging-based artificial intelligence algorithms before clinical implementation. J Am Coll Radiol. 2024;21(10):1569–74.
DOI: https://doi.org/10.1016/j.jacr.2024.04.027
Sociedad: American College of Radiology @AJR_Radiology
Palabras clave: IA, seguridad del paciente, validación externa
Abreviaturas y acrónimos utilizados: CPU (Unidad Central de Procesamiento), DICOM (Digital Imaging and Communication in Medicine), FDA (Administración de Alimentos y Medicamentos), IA (Inteligencia Artificial), PACS (Picture Archiving and Communication System).
Línea editorial: La revista oficial del Colegio Americano de Radiología, JACR, contribuye a optimizar su papel en el sistema de salud, proporcionando un espacio para artículos informativos sobre políticas de salud, práctica clínica, gestión de la práctica, ciencia de datos y educación.
Este número contiene varios artículos sobre IA, entre otros artículos interesantes de esta edición; Evolucionando con la Inteligencia Artificial: Integrando la Inteligencia Artificial y la Informática en Imágenes en un Currículo General de Residencia con una Ruta Avanzada, en el que el programa de informática en radiología ofreció un currículo básico para todos los residentes y un curso avanzado para quienes tenían interés específico en informática. El comité organizador adaptó los contenidos según los niveles de experiencia, integrando IA y temas de inteligencia empresarial. También destaca Mejorando la Comprensión del Paciente sobre los Riesgos del Cáncer de Próstata Asociados con el Léxico del Sistema de Informes y Datos de Imágenes de Próstata,en el cual los autores encontraron que los pacientes tienden a sobreestimar el riesgo de cáncer asociado con el léxico PI-RADS, lo que puede causar ansiedad y propusieron tres soluciones: crear un lenguaje más centrado en el paciente para los informes; añadir contexto o datos numéricos; y limitar el acceso a los informes hasta que los pacientes hablen con su médico.
Motivos para la selección: Este artículo me pareció interesante porque, en los últimos meses, varios hospitales, incluido el mío, han comenzado a implementar software de inteligencia artificial de forma progresiva dentro del programa de la comunidad autónoma y se espera que se implementen aún más. Creo que existe mucho desconocimiento, no solo por parte del público, sino también entre los propios radiólogos. Por ello, considero importante adquirir conocimientos y habilidades para validar las herramientas que utilizaremos, como la inteligencia artificial, de la misma manera que nos formamos en tomografía computarizada y resonancia magnética.
Resumen:
Se ha observado en varios estudios que el mejor modelo para integrar una IA en la práctica clínica consiste en la combinación de los resultados (outputs) de la IA con la interpretación por parte del radiólogo. Si bien el artículo se centra en la FDA, que ha aprobado 692 algoritmos de IA, esto ocasiona cuestionamientos sobre la posibilidad de diagnósticos erróneos que afectan la seguridad del paciente.
La precisión diagnóstica varía en diversas subpoblaciones, con estudios que demuestran sesgos ocurridos durante el entrenamiento de los modelos. Entre los principales retos se encuentra que las empresas comerciales no comparten sus modelos con el centro sanitario antes de la compra, así como que los sistemas de salud no pueden compartir imágenes por razones de seguridad y privacidad de los datos del paciente, por tanto la IA aprende su modelo en imágenes que no necesariamente son representativas de la población en la que se usará.
Cuando un centro sanitario adquiere de una casa comercial, un algoritmo/modelo de IA, es necesario que realice una validación externa del mismo. El objetivo del artículo es proporcionar guías sobre cómo realizar dicha validación y comparación de múltiples modelos de IA antes de la adopción clínica. Asimismo, las infraestructuras de validación establecidas en cada institución podrán ser reutilizadas para llevar a cabo un monitoreo continuo del rendimiento de los algoritmos de IA.
- Sistema Local o Basado en Nube
Existen dos tipos de instalación para una IA. Mientras que el sistema instalado localmente generalmente da una mayor impresión de seguridad en cuanto a ataques y ciberseguridad, implica la aplicación de presupuesto destinado a la adquisición de ordenadores potentes, la configuración y los gastos de mantenimiento. En su contraparte, el sistema en línea ofrece flexibilidad, así como mantenimiento continuo sin la necesidad de comprar hardware, lo que lo convierte en una buena alternativa.
- Preocupación por la Privacidad del Paciente
El modelo propuesto sugiere que se comparta el modelo de IA con las instituciones, en lugar de compartir imágenes médicas de los pacientes a un tercero. Este modelo sugiere la instalación de “dockers” o bibliotecas del software comercial, que se pueden instalar sin comprometer el manejo de datos, manteniendo así la propiedad intelectual de la empresa comercial.
- Recolección y Preprocesamiento de Datos
Se necesita aportar imágenes de alta calidad, obtenidas de una muestra representativa de las subpoblaciones que deseamos incluir. Esta transferencia de imágenes debe realizarse mediante mecanismos seguros desde el sistema PACS. Debemos evaluar que la IA imprima un reporte confirmando que las imágenes se han transmitido correctamente sin daños en los archivos.
- Prerrequisitos de un Algoritmo
Como todo programa informático, debemos conocer los prerrequisitos como la capacidad del CPU y la ocupación de memoria, o, en su defecto, los necesarios para los sistemas en la nube. También es necesaria una adecuada identificación de las imágenes DICOM que utilizamos para validar, tales como sexo, técnica y proyección empleada. Un modelo ideal debe contar con algoritmos para detectar etiquetas cruciales que podrían ser eliminadas al anonimizar las imágenes. Esta documentación sobre prerrequisitos y sobre sistemas de alerta, debe ser proporcionada por parte de la empresa comercial.
- Evaluación y Comparación del Rendimiento
Para evaluar y comparar el rendimiento o la precisión de diferentes algoritmos, los resultados pueden presentarse en varios formatos, como Java, valores numéricos, reportes DICOM, etc. El modelo de IA escogido debe proporcionar asistencia a los radiólogos en su interpretación. También puede generar resultados secundarios, como mapas de calor, imágenes anotadas, coordenadas y otros, lo que aumenta la confianza del radiólogo en el razonamiento de la IA.
El modelo elegido debe ser, preferentemente, de flujo paralelo, es decir, un tipo de procesamiento en lotes de imágenes, con el objetivo de optimizar el uso del CPU. Una IA confiable debe tener integrado un algoritmo que nos informe en caso de archivos dañados. La salida generada se compara con resultados esperados o con un conjunto de datos de referencia. Esto puede implicar verificar que los resultados se alinean con cálculos manuales.
La incorporación y adaptación de estas tecnologías de IA en los flujos de trabajo clínicos de los radiólogos será una tarea crucial para las organizaciones Para que la implementación sea exitosa y tenga un impacto clínico relevante, será esencial realizar una validación externa rigurosa de estos modelos con el fin de identificar el algoritmo más eficaz para cada población específica.
Valoración personal:
En conjunto, el artículo ofrece una visión integral y bien fundamentada para la implementación de la IA en los servicios de radiología. Sin embargo, considero que puede resultar demasiado técnico, pues requiere conocimientos sobre ciertos conceptos informáticos. Presenta una buena aproximación desde un enfoque ético que, pese a estar orientado a la legislación en Estados Unidos, dado que se publica en una revista del Colegio Americano; podría aplicarse también al ámbito español en el marco de la ley de protección de datos.
Se trata de un artículo relativamente breve, cuya utilidad práctica como guía es aplicable únicamente si ya contamos con propuestas comerciales de algoritmos en nuestro centro sanitario. Por ello, considero que debería enfocarse específicamente hacia ese propósito.
Jasson Javier Oscullo Yepez
Hospital Clínico Universitario de Valencia, Valencia, R2
cbseram.com 
Deja un comentario