1Jul/159

Influencias secretas en la investigación científica

Está ampliamente documentado que los ensayos publicados financiados por empresas con fines de lucro suelen ser más favorables que las financiadas por entes estatales o organizaciones sin fines de lucro.

Por ejemplo, en ensayos clínicos sobre enfermedades cardiovasculares, el 65% de los financiados por la industria dieron resultados que favorecían el tratamiento nuevo que querían evaluar, comparado con sólo el 50% de los ensayos financiados por organizaciones sin fines de lucro. Esta diferencia de 15% es significativa e importante. En el ámbito de la nutrición, un estudio encontró una relación similar de 65% vs. 45%.

Hay varias formas de explicar la diferencia. Siendo muy caritativos y dando mucho (¿demasiado?) beneficio a la duda, es posible que la industria financie ensayos para tratamientos para los cuales ya haya más evidencia de efectividad. La Administración de Alimentos y Medicamentos de EE.UU (FDA) exige tres ensayos clínicos para aprobación de nuevas drogas y sólo las aprueba para su uso en enfermedades específicas y, a veces, en poblaciones específicas. Por esto la industria farmacéutica tiene que realizar múltiples ensayos sobre drogas que quizás ya se utilizan, por lo que es lógico pensar que es más posible que éstos den resultados positivos.

Si bien es posible que haya algo de eso, la realidad es que lo que principalmente está pasando es lo que se denomina sesgo de publicación y no es difícil de entender. Para la industria, está más que claro que un resultado nulo no brinda beneficios económicos. Gastar millones en el desarrollo de un nuevo tratamiento para que después no resulte mejor que los tratamientos ya existentes no es negocio. El incentivo para ellos es el de ocultar los resultados nulos o negativos y resaltar los positivos.

experimenter-bias

Pero como esto sería desperdiciar el tiempo y dinero que llevó hacer el ensayo en un principio, se pueden usar técnicas más sutiles. Si se miden muchas variables, siempre se puede reportar sólo las que dan resultados favorables; si los sujetos varían en sexo, edad, condición social, o cualquier otra variable, se puede analizar cada subgrupo uno por uno hasta encontrar un resultado positivo. También se puede ir “espiando” los datos mientras son recolectados y decidir sobre cuales quedarte y cuales no, o cuando dejar de tomarlos. Simonsohn denominó a estas técnicas “grados de libertad del investigador” y en su paper demostró que más de la mitad de las veces se podía sacar resultados positivos que no eran más que falsos positivos.

Pero todos estos problemas no son necesariamente fruto de la perversidad de la farmafia, sino que pueden surgir del trabajo honesto de un investigador que no se da cuenta de lo que está haciendo. Como los resultados positivos son más llamativos y "venden" más, los investigadores están siempre incentivados a escribir y mandar a publicar más que nada resultados positivos. Los editores, además, tienen el incentivo de vender subscripciones a su revista y van a tender a rechazar publicaciones negativas.

Tanto sesgo de publicación como los grados de libertad del investigador son problemas muy serios en medicina donde la información puede salvar vidas. Si la información publicada está sesgada, entonces los médicos no pueden hacer bien su trabajo. Y si bien el problema no es exclusivo de la industria, el financiamiento y el rédito económico agregan un grado más de incentivos perversos.

La mejor recomendación para atacar el problema es, en mi opinión, la idea de pre-registrar los métodos de un estudio antes de siquiera ponerse a recolectar datos y obligar a que se publiquen todos los ensayos que se registren. Ben Goldacre hace tiempo lanzó la campaña All Trials que busca precisamente esto.

Ideología mata galán.

Pero si este artículo comenzó con algo que todos debemos reconocer como obvio, va a terminar con algo que quizás no todos saben. El sesgo y los incentivos no siempre tienen su origen en el vil metal; la ideología y las creencias muy aferradas son una fuente importante de distorsión en la literatura científica. Y no hay ejemplo más dramático, en mi opinión, que lo que sucede en la medicina alternativa.

La medicina alternativa también es una industria y también mueve dinero, pero es difícil pensar que el incentivo monetario sea suficiente para explicar que todos (si, todos) los ensayos clínicos sobre acupuntura publicados en China, Japón, Hong Kong o Taiwan hasta 1998 sean favorables, como encontró un estudio. Y esto no es por la efectividad de la acupuntura (que no es efectiva), ya que en el mismo estudio, en EE.UU. sólo el 53% arrojan resultados positivos.

Siguiendo con la temática, los ensayos clínicos sobre Medicina Tradicional China (MTC) en general son de mala calidad. La literatura médica está repleta de artículos evalúandolos y concluyendo unívocamente que sus métodos son malos; incluyendo uno que concluye que:

A pesar de que se publicaron muchas revisiones sistemáticas de MTC, la calidad de las mismas es preocupante. Como una potencial fuente de información para médicos e investigadores, no sólo muchas son incompletas, sino que algunas contenían errores o eran engañosas. Es urgente concentrarse en mejorar la calidad de las mismas en vez de continuar publicándolas en grandes cantidades si se quiere incrementar el valor de estos estudios.

Una situación similar ocurre en India con los ensayos sobre yoga, donde más del 99% arrojó resultados positivos (comparado con 75% en EE.UU.).

La magnitud de este sesgo es extremo, mucho más grande que el presente en la industria farmacéutica y debería hacer temblar a los defensores de la medicina alternativa.

En cualquier área de investigación con una fuerte componente ideológica, siempre hay que tener en cuenta todos los sesgos posibles. Que un estudio esté financiado por la industria es algo que nos tiene que hacer dudar y mirarlo con ojos críticos, pero lo mismo vale (y quizás más aún) cuando los autores tienen otras motivaciones que pueden ser menos tangibles que un fajo de billetes, pero no por eso menos reales.