¿Porqué muchas de las publicaciones científicas son falsas?

Publicado: 22 diciembre 2009 | Autor: | Archivado en: ¿Qué es lo que hacemos mal?, evidencias | Deja un comentario

Con este sorprendente título abre un artículo publicado hace ya más de 4 años en la subversiva revista Plos Medicine el debate de hacia dónde va y de dónde viene el mundo de la publicación científica.

Y es que este artículo viene a analizar qué características de los artículos originales publicados en revistas en ciencias de la salud tienden a revelar con mayor probabilidad resultados que son falsos. Dicho con otras palabras: cuanto más características de las que luego veremos presente un estudio, menor es su valor predictivo positivo:

  • Estudios con tamaños muestrales pequeños
  • Resultados con tamaño del efecto pobre. Ojo, se refiere a relevancia clínica, no a significación estadística. Para distinguir ambas cosas, recomendamos esta lectura interesante del blog «El Rincón de Sísifo«
  • Estudios realizados en fases exploratorias, preclínicas o clínicas preliminares en sujetos sanos y con fines de determinar farmacocinética, toxicidad, farmacidinámica, etc.
  • Presencia de sesgos «creativos» y flexibilidad en el diseño, análisis estadístico e interpretación de los estudios
  • Presencia de conflictos de interés (económicos o no) en los autores o investigadores del estudio
  • Por último, aunque pueda resultar paradójico, la existencia de una mayor actividad investigadora en torno a ese tema, lo que generalmente indica que hay un interés comercial alto y una alta competencia entre grupos investigadores por revelar resultados novedosos y relevantes (positivos). Esto estimularía colateralmente, además, a «esconder» los estudios con resultados negativos (sesgos de publicación o divulgación)
(Un apunte: ahora que lo pienso, muchas de las cosillas de investigación que he hecho hasta ahora cumplen algunos de estos criterios… ¡qué poco serio soy!)

El mismo autor, Ioannidis, publicó un artículo en el JAMA ese mismo año en el que analizó algunos de los artículos más citados en las más prestigiosas revistas científicas (entre ellas la propia JAMA, NEJM, Lancet, Annals, Diabetes Care…). En el 32% de ellos los resultados habían sido exagerados o eran incorrectos…

Tanto en el artículo del Plos como en esta entrada del blog «The Endeavour» se intenta buscar el culpable de este fenómeno. Todas las pruebas inculpan a la indolente «p» (o prueba de significación estadística):

Varios metodólogos han señalado que la alta tasa de falta de confirmación de los descubrimientos de la investigación es una consecuencia de una estrategia mal fundada, basada sobre todo en emitir unas conclusiones guiados únicamente sobre un único estudio cuyos resultados son evaluados por la significación estadística, que habitualmente viene siendo el valor de p menor de 0,05.

Y es que, ¡qué sutil diferencia hay entre una p de 0.048 y otra de 0.052!
En este otro artículo interesante de «El Comprimido«, además de relexionar sobre el significado de las pruebas de contraste de hipótesis, proponen comenzar a sustituir las pruebas de hipótesis por pruebas de estimación (basadas en la construcción e interpretación de intervalos de confianza) y por el enfoque bayesiano, porque está exento de las contradicciones y limitaciones de las primeras. Similares críticas a «la maldita p» se pueden encontrar en más sitios.

Así que, ya sabemos (todos), ¡a hacer cursos sobre este tipo de pruebas!

excelenciaclinica.net, un recurso interesante…

Publicado: 3 junio 2009 | Autor: | Archivado en: evidencias, recursos | Deja un comentario

El ministerio de sanidad y politica social ha puesto en marcha el metabuscador excelenciaclínica.net, la versión en español de TRIP Database.

«Los mejores recursos en Internet para una Medicina Basada en la Evidencia en español. Para identificar rápidamente la evidencia clínica de mayor calidad que permita apoyar la práctica clínica»
El metabuscador EXCELENCIA CLÍNICA es una herramienta que permite ejecutar una misma búsqueda en distintas bases de datos. EXCELENCIA CLÍNICA integra búsquedas en las principales bases de datos en español, y traduce automáticamente la búsqueda al inglés (los contenidos en inglés se visualizan de forma automática al pulsar la pestaña «Inglés»). Incluye un acceso integrado a la Biblioteca Cochrane Plus, revistas secundarias solventes, alertas sanitarias, repositorios de guías de práctica clínica, informes técnicos, entre otros, lo que permitirá a los profesionales sanitarios realizar sus consultas de información desde un único punto que enlace con los mejores recursos a su alcance.

Creemos que es una buena noticia y que merece la pena felicitar al gestor o político de turno que  lo consiguiese.