Artículo original: Hsieh SS, Cook DA, Inoue A, Gong H, et al. Understanding Reader Variability: A 25-Radiologist Study on Liver Metastasis Detection al CT. Radiology. 2023; 306(2):e220266
DOI: https://doi.org/10.1148/radiol.220266
Sociedad: Radiological Society of North America (@RSNA)
Palabras clave: N/A
Abreviaturas y acrónimos: JAFROC (curva ROC de respuesta libre tipo Jackknife), ROC (Curva operador-receptor), TC (tomografía computarizada).
Línea editorial:
Radiology es una revista con una visión general que publica de manera mensual artículos de investigación y estudios de vanguardia, lo que la convierte en una de las revistas más importantes dentro del mundo del radiodiagnóstico.
En este segundo número del año 2023, correspondiente al mes de febrero, podemos encontrar múltiples artículos que tratan temas relacionados con el Deep Learning y la inteligencia artificial como un interesante estudio retrospectivo para valorar el uso de Deep Learning en radiografías simples de tórax en la urgencia sobre pacientes que acuden con dolor torácico agudo.
Por otro lado, podemos encontrar algunos artículos con los que retomamos las características radiográficas de la neumonía Covid-19, esta vez con una visión a largo plazo sobre las anomalías pulmonares producidas por este virus, dando continuidad al número anterior de enero.
Y finalmente destacamos en este volumen una serie de estudios que pivotan sobre el análisis de la densidad mamaria y comparativas de tomosíntesis convencional con tomosíntesis sensible a fase.
Motivos para la selección:
La variabilidad interobservador es un tema que ronda en la cabeza tanto de profesionales sanitarios (clínicos y radiólogos) como de los propios pacientes. Todos estamos familiarizados en nuestro día a día con la variabilidad a la hora de leer los estudios que podemos experimentar de manera individual, dependiendo de la hora en la que los veamos, si es el primero o el último, o la cantidad de distracciones a las que estamos sometidos. Es por ello que me ha parecido interesante indagar en el análisis de la variabilidad interobservador.
No todo va a depender de los años de experiencia entre un radiólogo u otro (por ejemplo las diferencias a la hora de leer un estudio entre un adjunto y un residente), sino que tiene que haber más factores involucrados en el proceso. Este estudio toma como base la detección de metástasis hepáticas en TC abdominal, una tarea relativamente compleja como para que exista variabilidad entre los lectores. Sobre ella, indagarán en una serie de factores que podrían estar relacionados con mayor o menor acierto a la hora de caracterizar estas lesiones.
Si somos capaces de sacar a la luz el origen de estos errores, podremos tener unos puntos de partida sobre los que trabajar y reforzar para disminuir al máximo esta variabilidad.
Resumen:
La variabilidad del lector a la hora de encontrar anomalías en un estudio radiológico puede repercutir en última instancia en el manejo del paciente. Se ha visto que los profesionales en formación (residentes) o los subespecialistas fuera de su ámbito habitual cometen más errores que los especialistas en su campo determinado. Estos tipos de errores suelen ser de dos tipos:
– Errores visuales: tienen lugar cuando una lesión es pasada por alto porque los ojos del observador no se fijan en ella.
– Errores de clasificación: en este caso el observador sí que detecta la lesión, pero esta no se refleja en el informe.
Para diferenciar entre estos dos errores se utilizan sistemas de seguimiento visual, analizando el tiempo que pasan los ojos en cada región del estudio.
El objetivo principal de este estudio es determinar el impacto de la variabilidad interobservador a la hora de detectar metástasis hepáticas en un TC abdominal asociada diferentes factores: la experiencia del lector, los patrones de navegación en la imagen y la cantidad de tiempo de la mirada en estas lesiones.
Para ello se puso en marcha un estudio prospectivo observacional en el que 25 radiólogos van a analizar 40 TC abdominales recopilados entre diciembre del 2020 y febrero del 2021 con el fin de identificar metástasis hepáticas. De estos 40 estudios, 8 eran normales y 32 contienen 91 metástasis hepáticas confirmadas por histología o por progresión en sucesivos controles.
Los 25 radiólogos participantes en el estudio se componían de 9 subespecialistas en radiología abdominal, 5 subespecialistas en otros ámbitos y 11 residentes de último año o fellows. Por cada supuesta metástasis que encontraran debían marcarla rodeándola y asociando a la misma una escala de confianza en función de lo seguros que estuvieran sobre su naturaleza tumoral.
Para analizar todas las variables se habilitaron una serie de programas en la estación de trabajo que utilizaba cada participante monitorizando datos como los patrones de navegación o el movimiento ocular, buscando averiguar cuánto tiempo queda fija la mirada en cada localización.
Para el análisis estadístico sobre el rendimiento de los participantes se utilizó el área bajo la curva JAFROC-1 (un tipo de curva ROC con mayor poder estadístico que por sus características era idónea para este estudio), y la sensibilidad perimetastática. Se definió como sensibilidad la proporción de metástasis circunscritas en base al estándar de referencia.
En cuanto a los resultados, en primer lugar, los radiólogos subespecialistas en abdomen obtuvieron mayores áreas bajo la curva JAFROC que los radiólogos no especialistas y los profesionales en formación; hecho que se explicaría por el grado de experiencia. Además los participantes subespecialistas en radiología abdominal aportaron una mayor tasa de confianza a la hora de marcar una lesión como metastásica en comparación con el resto de participantes.
No se obtuvieron diferencias significativas entre los tres grupos en cuanto a falsos positivos ni en cuanto a la sensibilidad a la hora de localizar lesiones metastásicas, pero sí se demostró que tasas mayores de sensibilidad se asocian a mayor tiempo de interpretación del estudio, mayor uso de ventana específica para hígado y mayor componente de verificación en cortes coronales.
Por último, y en relación al tiempo de mirada fija en las lesiones metastásicas, se observó que el 70% de las lesiones que fueron pasadas por alto, habían sido vistas 0,5 segundos, y este porcentaje desciende a 40% cuando son observadas durante 2 segundos. Esto haría referencia a los tipos de errores que comentábamos al principio; representando los errores visuales ese 70% y los errores de clasificación el 40%.
En comparación con otros estudios sobre el seguimiento de los parámetros oculares en mamografías y en radiografías de tórax, se obtuvieron resultados similares en cuanto a la clasificación de errores en función del tiempo.
Como limitaciones los autores reflejan principalmente cuatro escenarios:
– Posibles errores en la calibración de los aparatos de seguimiento de parámetros oculares, que pueden hacer que los tiempos de mirada fija no sean exactos.
– Que el hecho de identificar metástasis en el hígado representa una tarea ya de por sí complicada, y que los resultados obtenidos en cuanto a sensibilidad y tasa de errores pueden no ser extrapolables a otros estudios o a la práctica clínica diaria.
– Únicamente buscar entender la variabilidad interobservador desde el punto de vista de localizar metástasis puede dejar muchos otros parámetros fuera de la ecuación.
– El hecho de ser un estudio observacional no permite sacar conclusiones en cuanto a correlación o causalidad.
Con todo ello, concluimos que los radiólogos especializados en patología abdominal demostraron mejores tasas de discriminación a la hora de encontrar metástasis hepáticas en TC abdominales; que existe relación entre el tiempo de mirada fija y las metástasis no marcadas, y por último que hay factores como mayor tiempo de observación, utilización de ventanas específicas o de cortes coronales que van a aumentar la sensibilidad a la hora de llevar a cabo esta tarea.
Valoración personal:
Me ha parecido un trabajo muy interesante, el hecho de analizar los patrones de búsqueda a la hora de llevar a cabo la lectura de estudios radiológicos puede llevarnos a este tipo de conclusiones y a partir de ahí, como decía en la introducción, buscar puntos sobre los que trabajar para mejorar de cara al futuro.
Es un artículo bien redactado, de fácil comprensión y aunque presenta una parte muy importante de estadística, trata conceptos que son sencillos de asimilar. Además se apoya en tablas y figuras cuyos pie de imagen nos aportan la suficiente información como para entenderlo.
Por último y con una visión más crítica es un artículo con pocas imágenes de carácter radiológico así como pocos pacientes incluidos en el estudio; pero esto no debe enmascarar las conclusiones que se obtienen.
Gonzalo Rodríguez Maestro R3
Hospital Universitario de Getafe
gonzalo.r.maestro@gmail.com
cbseram.com 
Deja un comentario