1Jul/159

Influencias secretas en la investigación científica

Está ampliamente documentado que los ensayos publicados financiados por empresas con fines de lucro suelen ser más favorables que las financiadas por entes estatales o organizaciones sin fines de lucro.

Por ejemplo, en ensayos clínicos sobre enfermedades cardiovasculares, el 65% de los financiados por la industria dieron resultados que favorecían el tratamiento nuevo que querían evaluar, comparado con sólo el 50% de los ensayos financiados por organizaciones sin fines de lucro. Esta diferencia de 15% es significativa e importante. En el ámbito de la nutrición, un estudio encontró una relación similar de 65% vs. 45%.

Hay varias formas de explicar la diferencia. Siendo muy caritativos y dando mucho (¿demasiado?) beneficio a la duda, es posible que la industria financie ensayos para tratamientos para los cuales ya haya más evidencia de efectividad. La Administración de Alimentos y Medicamentos de EE.UU (FDA) exige tres ensayos clínicos para aprobación de nuevas drogas y sólo las aprueba para su uso en enfermedades específicas y, a veces, en poblaciones específicas. Por esto la industria farmacéutica tiene que realizar múltiples ensayos sobre drogas que quizás ya se utilizan, por lo que es lógico pensar que es más posible que éstos den resultados positivos.

Si bien es posible que haya algo de eso, la realidad es que lo que principalmente está pasando es lo que se denomina sesgo de publicación y no es difícil de entender. Para la industria, está más que claro que un resultado nulo no brinda beneficios económicos. Gastar millones en el desarrollo de un nuevo tratamiento para que después no resulte mejor que los tratamientos ya existentes no es negocio. El incentivo para ellos es el de ocultar los resultados nulos o negativos y resaltar los positivos.

experimenter-bias

Pero como esto sería desperdiciar el tiempo y dinero que llevó hacer el ensayo en un principio, se pueden usar técnicas más sutiles. Si se miden muchas variables, siempre se puede reportar sólo las que dan resultados favorables; si los sujetos varían en sexo, edad, condición social, o cualquier otra variable, se puede analizar cada subgrupo uno por uno hasta encontrar un resultado positivo. También se puede ir “espiando” los datos mientras son recolectados y decidir sobre cuales quedarte y cuales no, o cuando dejar de tomarlos. Simonsohn denominó a estas técnicas “grados de libertad del investigador” y en su paper demostró que más de la mitad de las veces se podía sacar resultados positivos que no eran más que falsos positivos.

Pero todos estos problemas no son necesariamente fruto de la perversidad de la farmafia, sino que pueden surgir del trabajo honesto de un investigador que no se da cuenta de lo que está haciendo. Como los resultados positivos son más llamativos y "venden" más, los investigadores están siempre incentivados a escribir y mandar a publicar más que nada resultados positivos. Los editores, además, tienen el incentivo de vender subscripciones a su revista y van a tender a rechazar publicaciones negativas.

Tanto sesgo de publicación como los grados de libertad del investigador son problemas muy serios en medicina donde la información puede salvar vidas. Si la información publicada está sesgada, entonces los médicos no pueden hacer bien su trabajo. Y si bien el problema no es exclusivo de la industria, el financiamiento y el rédito económico agregan un grado más de incentivos perversos.

La mejor recomendación para atacar el problema es, en mi opinión, la idea de pre-registrar los métodos de un estudio antes de siquiera ponerse a recolectar datos y obligar a que se publiquen todos los ensayos que se registren. Ben Goldacre hace tiempo lanzó la campaña All Trials que busca precisamente esto.

Ideología mata galán.

Pero si este artículo comenzó con algo que todos debemos reconocer como obvio, va a terminar con algo que quizás no todos saben. El sesgo y los incentivos no siempre tienen su origen en el vil metal; la ideología y las creencias muy aferradas son una fuente importante de distorsión en la literatura científica. Y no hay ejemplo más dramático, en mi opinión, que lo que sucede en la medicina alternativa.

La medicina alternativa también es una industria y también mueve dinero, pero es difícil pensar que el incentivo monetario sea suficiente para explicar que todos (si, todos) los ensayos clínicos sobre acupuntura publicados en China, Japón, Hong Kong o Taiwan hasta 1998 sean favorables, como encontró un estudio. Y esto no es por la efectividad de la acupuntura (que no es efectiva), ya que en el mismo estudio, en EE.UU. sólo el 53% arrojan resultados positivos.

Siguiendo con la temática, los ensayos clínicos sobre Medicina Tradicional China (MTC) en general son de mala calidad. La literatura médica está repleta de artículos evalúandolos y concluyendo unívocamente que sus métodos son malos; incluyendo uno que concluye que:

A pesar de que se publicaron muchas revisiones sistemáticas de MTC, la calidad de las mismas es preocupante. Como una potencial fuente de información para médicos e investigadores, no sólo muchas son incompletas, sino que algunas contenían errores o eran engañosas. Es urgente concentrarse en mejorar la calidad de las mismas en vez de continuar publicándolas en grandes cantidades si se quiere incrementar el valor de estos estudios.

Una situación similar ocurre en India con los ensayos sobre yoga, donde más del 99% arrojó resultados positivos (comparado con 75% en EE.UU.).

La magnitud de este sesgo es extremo, mucho más grande que el presente en la industria farmacéutica y debería hacer temblar a los defensores de la medicina alternativa.

En cualquier área de investigación con una fuerte componente ideológica, siempre hay que tener en cuenta todos los sesgos posibles. Que un estudio esté financiado por la industria es algo que nos tiene que hacer dudar y mirarlo con ojos críticos, pero lo mismo vale (y quizás más aún) cuando los autores tienen otras motivaciones que pueden ser menos tangibles que un fajo de billetes, pero no por eso menos reales.

Comentarios (9) Trackbacks (2)
  1. sabes la cantidad de reviewers que me han criticado diciendo “abstengase de mostrar resultados no significativos”?
    el sistema yanky y la búsqueda constante resultados para obtener subsidios hizo que se perdiera la cultura de reportar resultados, ahora solo se buscan diferencias significativas…
    igualmente “si los sujetos varían en sexo, edad, condición social, o cualquier otra variable, se puede analizar cada subgrupo uno por uno hasta encontrar un resultado positivo”
    ojo que eso no es hacer “trampa” ya que los test estadísticos tienen en cuenta la multiplicidad de grupos y se vuelven más conservadores

    • Sí, claro, pero muchas veces no se hacen las correcciones pertinentes y aún cuando se hacen, no deja de ser un estudio exploratorio que debe ser confirmado con un set de datos independiente.

  2. Con la ciencia prostituida por los intereses económicos se puede tratar demostrar cualquier cosa. Me acuerdo de un artículo en esta página que defendía a Monsanto. Algunas puestas de artículos no tienen el menor signo de escepticismo. Este artículo en si termina mal y si uno se pone a discernir ve claramente por donde viene la “mano”.
    Todo cambia y vuelve a sus fuentes. Hoy ya no existe la pirámide de la nutrición, científicamente se descubrió lo que científicamente fue mal promocionado hace 25 años, con todo los perjuicios que ello ha traído. La única que no miente es la naturaleza, lo del medio lo hacemos todos los hombres.

    • Pues no, el artículo de la página no defendía a Monsanto. Solo explicaba el grado de peligro que representa el glifosato, absurdamente demonizado por los ignorantes, que confunden Monsanto con glifosato. No solo los resultados pueden ser distorsionados por la ideología. La interpretación de un texto también.

      • Hola Fernando: lamento que una referencia mía haya trasladado un tema de otro posteo en la página del Círculo. No entiendo su respuesta, ni los términos usados, mas aun teniendo en cuenta otras opiniones suyas al respecto. No se puede separar la palabra glifosato de su creador, usted debería saberlo mas que nadie. Pero hice la referencia en este artículo como un claro ejemplo de la industria que utiliza a los científicos prostituyéndolos y escondiendo pruebas para acelerar procesos de autorización. No se contagie con las desviaciones, no es bueno etiquetar a la gente ni minimizar los riesgos si se trata de salud. Lo de la ideología y la interpretación de texto lo dejamos para conversar en otra ocasión.

  3. Hola, recién estoy empezando a ver la página (y el grupo de FB) y me resulta muy atractiva, por el debate constante, aunque hay algo que me preocupa un poco. La ideología, es decir, lo que nosotros, sujetos, traemos previamente a pensar y analizar algo, influye en los resultados (o al menos en nuestra interpretación de los mismos). Este artículo podría concentrarse en las influencias de los poderes económicos en la investigaciones científicas, pero en cambio eso es sólo un pequeño preludio para atacar, básicamente, a la acupuntura y el yoga. Sí, los intereses “ideológicos” como los etiqueta el autor, existen, pero estos pueden ser interpretados también como intereses económicos, y el hecho de que en USA los resultados sean contrarios también puede hablar de los distintos mercados. No estoy defendiendo a los clavadores de agujas, para nada. Lo que digo es … ¿En serio? ¿Las influencias secretas en la investigación científica que quieren destacar son… El saludo del sol? Eso se traduce, al fin y al cabo, sólo como otro interés económico.

    • Juan, el patrón de sesgos en acupuntura y yoga responde a patrones culturales más que nada, no tanto económicos. A eso me refiero con las influencias de la ideología.

      • Sí, se entedió. Justamente estoy queriendo decir que te estas creando una dicotomía cultural-económico, cuando estos patrones culturales que nombras crean intereses económicos, que son las verdaderas influencias de los sesgos en mi opinión.

        • El problema es que vemos la magnitud de la influencia que tienen los intereses económicos y que, además, estos son distintos para distintos individuos.
          El impacto que tienen los sesgos ideológicos es mucho más grande. No se puede comparar. Además es difícil pensar que TODOS los investigadores chinos tienen un conflicto de intereses monetario al investigar la acupuntura. Sin embargo, sí es razonable pensar que están afectados por los mismos sesgos culturales.


Es recomendable (aunque no indispensable) que antes de postear un comentario te loguees o registres. De esa manera, tu comentario aparecerá con tu avatar seleccionado y será relacionado con tu usuario.

Deja un comentario

*