Sobre interpretación o falseamiento de los resultados en trabajos que evalúan precisión diagnóstica de estudios: Evidencia de “Spin”

Translate this post into your language!

Artículo original:

Eleanor A. Ochodo, MBChB, MIH, Margriet C. de Haan, MD, Johannes B. Reitsma, MD, PhD,  Lotty Hooft, PhD,  Patrick M. Bossuyt, PhD and Mariska M. G. Leeflang, PhD. Overinterpretation and Misreporting of Diagnostic Accuracy Studies: Evidence of “Spin”. Radiology 2013, 267, 581-588.

http://dx.doi.org/10.1148/radiol.12120527

Palabras clave: N/A

Linea editorial del número: Ver editorial por Levine et al. del número, dedicado a esta misma temática.

Motivos para la selección:

Radiology nos trae este mes un artículo, para abrirnos los ojos a los ingenuos lectores de artículos científicos que nos sentimos convencidos de que bajo el nombre de “medicina basada en la evidencia” todo lo que se diga es palabra santa.

Entre los principales objetivos de la lectura de publicaciones científicas por parte de todo residente y médico especialista, se encuentra el  poder mantenerse frescos  con la última información de los avances en nuestra especialidad. Pero… ¿ todo lo que leemos es cierto? . No es para tomar a la ligera dicho cuestionamiento, ya que todo los conceptos  que absorbamos de estos artículos serán utilizados como bases y lineamientos en nuestro razonamiento a la hora de tomar decisiones sobre la salud y vida de nuestros pacientes.

Por nuestro bien y el de nuestros pacientes el manejo de esta información nos obliga a realizar una  lectura consiente y critica de la evidencia. Esto requiere conocer todos los trucos o errores que pueden cometer con o sin intención un autor. Estos errores a veces pueden ser intencionales con el objetivo de que su artículo no solo sea novedoso sin además tenga resultados impactantes (aunque falsos). Algo que nos explicará el artículo que hoy revisamos.

Resumen:

El objetivo del trabajo es estimar la frecuencia de presentación distorsionada o sobreinterpretación de resultados en estudios que evaluaban Precisión Diagnostica (PD).

Los autores  realizaron una búsqueda sistematizada y aleatorizada en MEDLINE, de artículos que evaluaban la PD  de test médicos o biomarcadores. Como criterio de inclusión, los journals donde se publicaban estos artículos, debían poseer un  Factor Impacto 4 o más.

Los “spin” o  Sobreinterpretaciones que eligieron para detectar en el pool de artículos los dividieron en:

a) Verdaderas Sobreinterpretaciones : Falso-Positivo explicito en la interpretación de los resultados.

-Discrepancia entre abstract y texto principal.

-Conclusiones basadas en subgrupos seleccionados.

-Discrepancia entre objetivos y conclusiones.

b) Potenciales Sobreinterpretaciones : Prácticas que faciliten la sobreinterpretación

– Hipótesis del estudio no indicada

– Falta de especificación del cálculo del tamaño de la muestra

– Subgrupos no pre especificados

-Uso de tests estadísticos inapropiados

Resultados

Se incluyeron un total de 126 artículos de los cuales 42% eran sobre la precisión de métodos por imágenes, el resto fueron test bioquímicos e inmunodiagnostico.

Se detectó que al menos el 31% de los artículos contenían Verdaderas Sobreinterpretaciones. Siendo la más frecuente el abstract “excesivamente” optimista (discrepancia entre el abstract y el texto principal) en un 23% del total. En 8% se detecto discrepancia entre objetivos y conclusiones en el texto principal.

De las Sobreinterpretaciones Potenciales se detecto en el 99% de los artículos.

89% no incluía tamaño de la muestra, 88% no tenían test de hipótesis, 57% no reportaban los intervalos de confianza.

En cuanto al subgrupo de estudios que evaluaban la PD de métodos por imágenes obtuvieron % similares a los del grupo general ( 30%  Verdaderas  y 100%  Potenciales).

 

Valoración personal:

Este artículo, nos trae un concepto /error /truco, para mi bastante nuevo, en la literatura médico/científica: “Spin”. ¿De qué va? Termino originalmente utilizado en  “relaciones públicas” que hace referencia “a una forma de propaganda, utilizada a través de la provisión de una interpretación de un evento o campaña que consiga persuadir a la opinión pública en favor o en contra de una cierta organización o figura pública”. En otras palabras: distorsionar la verdad para promover una idea/producto (en nuestro caso:  artículos “científicos”).

En cuanto a materiales y métodos, si bien impecable, quiero aclarar un punto. Como dijimos, los Journals  seleccionados  requerían tener un Factor de Impacto (FI) mayor o igual a 4.

Como sabemos, para “protegernos” de estos errores o fechorías de autores,  optamos por elegir revistas de renombre, con editores y revisores respetados. ¿Pero cuáles son objetivamente revistas de “renombre”? Una de las formas creadas en el mundo de los Journals “podría” ser este FI.

Para los que desconozcan, el FI, es una puntuación que se les otorga a las revistas como “medida” de la importancia de las publicaciones que hace anualmente. Para que se den una idea Radiology tiene un FI de 5.726 y  NEJM  53.298.  Se calcula: Número de veces  que los artículos publicados por el journal fueron citados dividido Número de artículos publicados por el journal en el periodo evaluado. Un índice, un tanto simplista y que no evalúa directamente la CALIDAD del artículo, sino más bien cuan POPULAR.

En cuanto a los resultados:

-Del total, 31% contenían formas Verdaderas de Sobreinterptretación. La más frecuente (23% ) fue la discrepancia  abstract vs texto principal.

O sea que casi un cuarto de todos los artículos presentaban atractivos Abstracts que solo mencionaban  los resultados positivos  o hacían fuertes recomendaciones (usando frases como “excelente para …” o “es sumamente recomendado…”)  que se diluían o  se perdían al leer el texto completo.  No es de poca importancia que justo sea en esta sección donde más Spin se detecte. Los  Abstracts son lo primero que todos leemos, es la carta de presentación que  nos lleva a decidir si vale la pena leerlo o hasta comprar el articulo completo.  Sin mencionar, el peligro que significa para los residentes “sin tiempo libre” que  agregan data y peso científico a sus clases y trabajos citando artículos sin haber leído más el abstract.

– Las potenciales sobreinterptetaciones se detectaron en  99% de los artículos. Cifra alarmante… y a la vez, (si estamos atentos al mensaje que nos transmite este paper), nos puede genera un poco de “paranoia” y nos obliga a preguntarnos si aquí no existirá también algún Spin.

Con este resumen y valoración, con estas incógnitas que espero les hayan quedado, los invito a leer el artículo completo y desglosarlo un poco más a nivel personal y aplicar sus conclusiones a la hora de evaluar una publicación científica.

 

Hugo José Paladini

Correo electrónico: hugojpaladini@hotmail.com

R4 Hospital Universitario Fundación Favaloro. Argentina 

Tagged with: , , , , ,
Publicado en Radiology

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

ISSN 2341-0167

Ediciones

Introduce tu dirección de correo electrónico para seguir este Blog y recibir las notificaciones de las nuevas publicaciones en tu buzón de correo electrónico.

A %d blogueros les gusta esto: