1Jul/159

Influencias secretas en la investigación científica

Está ampliamente documentado que los ensayos publicados financiados por empresas con fines de lucro suelen ser más favorables que las financiadas por entes estatales o organizaciones sin fines de lucro.

Por ejemplo, en ensayos clínicos sobre enfermedades cardiovasculares, el 65% de los financiados por la industria dieron resultados que favorecían el tratamiento nuevo que querían evaluar, comparado con sólo el 50% de los ensayos financiados por organizaciones sin fines de lucro. Esta diferencia de 15% es significativa e importante. En el ámbito de la nutrición, un estudio encontró una relación similar de 65% vs. 45%.

Hay varias formas de explicar la diferencia. Siendo muy caritativos y dando mucho (¿demasiado?) beneficio a la duda, es posible que la industria financie ensayos para tratamientos para los cuales ya haya más evidencia de efectividad. La Administración de Alimentos y Medicamentos de EE.UU (FDA) exige tres ensayos clínicos para aprobación de nuevas drogas y sólo las aprueba para su uso en enfermedades específicas y, a veces, en poblaciones específicas. Por esto la industria farmacéutica tiene que realizar múltiples ensayos sobre drogas que quizás ya se utilizan, por lo que es lógico pensar que es más posible que éstos den resultados positivos.

Si bien es posible que haya algo de eso, la realidad es que lo que principalmente está pasando es lo que se denomina sesgo de publicación y no es difícil de entender. Para la industria, está más que claro que un resultado nulo no brinda beneficios económicos. Gastar millones en el desarrollo de un nuevo tratamiento para que después no resulte mejor que los tratamientos ya existentes no es negocio. El incentivo para ellos es el de ocultar los resultados nulos o negativos y resaltar los positivos.

experimenter-bias

Pero como esto sería desperdiciar el tiempo y dinero que llevó hacer el ensayo en un principio, se pueden usar técnicas más sutiles. Si se miden muchas variables, siempre se puede reportar sólo las que dan resultados favorables; si los sujetos varían en sexo, edad, condición social, o cualquier otra variable, se puede analizar cada subgrupo uno por uno hasta encontrar un resultado positivo. También se puede ir “espiando” los datos mientras son recolectados y decidir sobre cuales quedarte y cuales no, o cuando dejar de tomarlos. Simonsohn denominó a estas técnicas “grados de libertad del investigador” y en su paper demostró que más de la mitad de las veces se podía sacar resultados positivos que no eran más que falsos positivos.

Pero todos estos problemas no son necesariamente fruto de la perversidad de la farmafia, sino que pueden surgir del trabajo honesto de un investigador que no se da cuenta de lo que está haciendo. Como los resultados positivos son más llamativos y "venden" más, los investigadores están siempre incentivados a escribir y mandar a publicar más que nada resultados positivos. Los editores, además, tienen el incentivo de vender subscripciones a su revista y van a tender a rechazar publicaciones negativas.

Tanto sesgo de publicación como los grados de libertad del investigador son problemas muy serios en medicina donde la información puede salvar vidas. Si la información publicada está sesgada, entonces los médicos no pueden hacer bien su trabajo. Y si bien el problema no es exclusivo de la industria, el financiamiento y el rédito económico agregan un grado más de incentivos perversos.

La mejor recomendación para atacar el problema es, en mi opinión, la idea de pre-registrar los métodos de un estudio antes de siquiera ponerse a recolectar datos y obligar a que se publiquen todos los ensayos que se registren. Ben Goldacre hace tiempo lanzó la campaña All Trials que busca precisamente esto.

Ideología mata galán.

Pero si este artículo comenzó con algo que todos debemos reconocer como obvio, va a terminar con algo que quizás no todos saben. El sesgo y los incentivos no siempre tienen su origen en el vil metal; la ideología y las creencias muy aferradas son una fuente importante de distorsión en la literatura científica. Y no hay ejemplo más dramático, en mi opinión, que lo que sucede en la medicina alternativa.

La medicina alternativa también es una industria y también mueve dinero, pero es difícil pensar que el incentivo monetario sea suficiente para explicar que todos (si, todos) los ensayos clínicos sobre acupuntura publicados en China, Japón, Hong Kong o Taiwan hasta 1998 sean favorables, como encontró un estudio. Y esto no es por la efectividad de la acupuntura (que no es efectiva), ya que en el mismo estudio, en EE.UU. sólo el 53% arrojan resultados positivos.

Siguiendo con la temática, los ensayos clínicos sobre Medicina Tradicional China (MTC) en general son de mala calidad. La literatura médica está repleta de artículos evalúandolos y concluyendo unívocamente que sus métodos son malos; incluyendo uno que concluye que:

A pesar de que se publicaron muchas revisiones sistemáticas de MTC, la calidad de las mismas es preocupante. Como una potencial fuente de información para médicos e investigadores, no sólo muchas son incompletas, sino que algunas contenían errores o eran engañosas. Es urgente concentrarse en mejorar la calidad de las mismas en vez de continuar publicándolas en grandes cantidades si se quiere incrementar el valor de estos estudios.

Una situación similar ocurre en India con los ensayos sobre yoga, donde más del 99% arrojó resultados positivos (comparado con 75% en EE.UU.).

La magnitud de este sesgo es extremo, mucho más grande que el presente en la industria farmacéutica y debería hacer temblar a los defensores de la medicina alternativa.

En cualquier área de investigación con una fuerte componente ideológica, siempre hay que tener en cuenta todos los sesgos posibles. Que un estudio esté financiado por la industria es algo que nos tiene que hacer dudar y mirarlo con ojos críticos, pero lo mismo vale (y quizás más aún) cuando los autores tienen otras motivaciones que pueden ser menos tangibles que un fajo de billetes, pero no por eso menos reales.

19Sep/1221

El problema con las anécdotas

Imaginen que quieren ir a ver una película y buscando críticas por Internet, encuentran una que dice que es divertida e interesante pero sólo para amantes del género. ¿Pueden concluir que la película no es mala? Claro que no, quizás esa persona en particular es un amante del género, o es una persona que siempre da un buen puntaje. Si uno quiere tener una perspectiva más sólida, lo que va a hacer es mirar más críticas. Mejor aún, buscar algún servicio como Rotten Tomatoes que tome muchísimas críticas distintas y las promedie para generar un consenso. En este caso, podemos ver que Stealth tiene un 13% aun cuando Catalina Dlugi, crítica de cine del grupo Clarín, no la haya calificado como mala.

Ahora supongamos que queremos saber si un tratamiento médico funciona o no, ¿confiaríamos en la opinión de una Catalina o preferiríamos conocer el consenso de toda la crítica? En otras palabras, ¿confiaríamos en el testimonio que leímos en internet o en el peso de la evidencia científica?

El problema con los testimonios es que no sirven para evaluar si una intervención funcionó o no.

Imposible de verificar

Salvo los casos clínicos que están sustentados en documentos, en general no hay forma de evaluar si los testimonios que leemos por internet son verídicos o no. Cualquiera puede escribir una lista enorme de personas ficticias apoyando el tratamiento. ¿Es cierto? ¿Son personas reales?

Aún si fueran personas reales, ¿cómo sabemos que efectivamente estaban enfermas y que efectivamente se curaron? A falta de registros médicos (que son confidenciales) no podemos saber si hubo un diagnóstico o si éste fue correcto. Tampoco sabemos si el paciente se curó o simplemente se siente mejor.

Múltiples factores de confusión

Incluso el testimonio más legítimo va a estar viciado. ¿Cómo sabemos que el tratamiento que nos quieren vender es lo que lo curó? Quizás también realizó cambios en sus hábitos de vida, o tomó otros medicamentos o directamente fue el curso normal de la enfermedad lo que hizo que se mejore. ¿Bajó de peso por tomar pastillas para adelgazar o porque además se inscribió a un gimnasio e hizo dieta? Las anécdotas, a diferencia de los ensayos clínicos, no nos permiten separar la contribución de todos estos factores.

Sesgo de selección

Finalmente, si hiciéramos caso omiso a todos esos problemas, está el sesgo de selección. Por cada anécdota positiva puede que haya 100 negativas. Pero ningún vendedor va a querer dar a conocer los casos en los cuales si producto falló, por lo que nunca vamos a leer un testimonio negativo.

Esto es un problema también en la literatura científica. Hay varios casos de empresas farmacéuticas que no publicaron resultados negativos de sus medicamentos. Una forma de contrarrestarlo es la creación de registros de ensayos clínicos en los que las empresas están obligadas a publicar los resultados. No es perfecto, pero es algo.

Pero si esto sucede en el mundo de los ensayos clínicos lleno de regulaciones, cuánto peor es en el ámbito de una página web que no tiene que responder a nadie.

¿Qué hacer?

Por todo esto, en el CEA decidimos que vamos a moderar los comentarios en el blog que sean testimonios. El artículo sobre el Método Crescenti es uno que tiene varios de esos. Dado que no podemos determinar su validez y que en definitiva son irrelevantes a la cuestión de la efectividad del tratamiento, no vamos a publicar esos comentarios. No sólo los testimonios a favor de los tratamientos, sino también lo que estén en contra.