El síndrome del estudio único

Uno de los pilares de la ciencia es que todo conocimiento es provisorio y puede ser refutado por investigaciones posteriores. Esto no es un capricho, sino un reconocimiento de que la ciencia es una actividad humana y como tal está sujeta a errores, sesgos y problemas que hacen probables las conclusiones falsas. Además la realidad es compleja y observarla, aún más.

Para entender la naturaleza no basta con mirarla una sola vez. Para distinguir entre una nave extraterrestre y un reflejo de la cámara, por ejemplo, hace falta mirar el mismo evento desde varios ángulos. Con la evidencia científica pasa algo muy similar.

Los escépticos estamos familiarizados con el mantra de “correlación no implica causa”, es decir: que dos eventos A y B se den juntos no significa que A cause B. (Puede ser que B cause A, que ambos sean causados por otro evento C, que la asociación sea puramente accidental o que ni siquiera exista relación alguna entre ellos.) Pero si uno hace varios estudios distintos mirando a la relación entre A y B desde diferentes ángulos y ésta siempre aparece, entonces uno va ganando confianza en que efectivamente hay una relación causal.

Por ejemplo, uno puede ver que muchas personas que tienen una cierta dolencia también tienen una cierta bacteria en la sangre. Eso no significa necesariamente que la bacteria cause la enfermedad; podría ser que la enfermedad afecte el sistema inmune y esa bacteria se aproveche, o que la bacteria esté asociada a una cierta toxina que es la verdadera causa de la enfermedad. Pero si luego vemos que ratas sanas desarrollan la enfermedad luego de ser expuestas a la bacteria, que se curan cuando se les da antibióticos y que ninguna otra bacteria parece enfermarlas, entonces uno ya tiene buenas razones para inferir una relación causal.

En el medio de todo este proceso pueden aparecer resultados contradictorios. Quizás algún laboratorio no logra detectar la bacteria en el tejido de animales enfermos pero luego se descubre que era un error técnico. O quizás se ve que hay otra bacteria distinta que causa la misma enfermedad y se sugiere que en realidad es ésa la verdadera causa.

Muchos medios, incluso los especializados en ciencia, pueden sufrir de “Síndrome de Estudio Único”, una enfermedad particularmente virulenta que hace que cada nuevo estudio publicado sea tomado como definitivo. Publicaciones que apoyan las creencias previas se reportan como “Estudio confirma que…” y los que van en contra reciben títulos como “Refutada la teoría de…”.

Esto da lugar a hilarantes resultados como el que me encontré un día buscando sobre la hipótesis de la higiene:

La hipótesis de la higiene es la idea de que la causa del aumento en las alergias y las enfermedades autoinmunes es que nos criamos en ambientes demasiado limpios. La noción básica es que la estimulación temprana por medio de gérmenes patógenos es necesaria para el correcto desarrollo del sistema inmune. Fue propuesta en 1989 por D. P. Strachan en un paper (Hay fever, hygiene, and household size) publicado en el British Journal of Medicine para explicar por qué había una relación inversa entre las enfermedades autoinmunes y la cantidad de hermanos. Las personas con muchos hermanos tienen menos riesgo de tener asma.

A pesar de que esta noción simple y en cierto modo intuitiva quedó como cierta en la cultura popular (“Ensuciarse hace bien” es el lema de una empresa de jabón en polvo), incluso siendo citada tácitamente en el videojuego Mass Effect, investigaciones posteriores demostraron que el mecanismo es mucho más complejo. No es de extrañar ya que nuestro sistema inmune es un enorme entramado de células especializadas que desafía la comprensión.

En una revisión sistemática de la literatura publicada por el Foro Científico Internacional sobre Higiene Hogareña se puede leer sobre las distintas líneas de evidencia que avalan la hipótesis de la higiene y las que la contradicen. Actualmente la relación lineal entre infecciones en la infancia y enfermedades autoinmunes es rechazada por la literatura científica, dando preferencia a otras teorías más sofisticadas que tienen en cuenta el tipo de infecciones y la variedad de gérmenes.

Este no el único caso. Otro ejemplo de fallas periodísticas es el infame tabloide británico The Daily Mail, que tiene la reputación de catalogar todo objeto inanimado como cancerígeno o anticancerígeno, encontrándose varios que previenen y causan cáncer al mismo tiempo.

Un uso menos inocente de este síndrome es la distorsión de la ciencia por grupos ideológicos. Se puede tener la certeza de que cada estudio que encuentre algún efecto secundario o ponga en duda la efectividad de alguna vacuna va a ser considerado por los grupos antivacunación como “prueba” de que las vacunas son dañinas. Los negacionistas del cambio climático proclaman a los gritos que se ha clavado “el último clavo en el ataúd del cambio climático” cada vez que sale algún artículo mostrando algún problema con algún aspecto de la climatología actual. En ambos casos se ignora la montaña de literatura científica que los contradice salvo citando algún que otro estudio para criticarlo.

Grupos antiabortistas muestran estudios sobre el inexistente síndrome post-aborto mientras ignoran el grueso de la literatura científica que no lo encuentra por ningún lado. Por su parte, grupos en contra de las uniones homosexuales suelen citar estudios puntuales para mostrar el daño que causa a los chicos el ser criados en una familia homoparental; sin embargo, una revisión de la literatura muestra que las diferencias son mínimas y por cada medida donde hay diferencias, hay 4 o más en las que son idénticas.

Los árboles y el bosque

Tanto en los casos de fallas inocentes como en los de selección deliberada de los datos, lo que está faltando es el contexto en el que se inserta cada nueva publicación. No es lo mismo una gota de arsénico en una taza de té que en el océano Pacífico.

Es por esto que no se puede confiar en los medios generalistas para informarse científicamente. Los medios especializados suelen hacer un mejor trabajo, entrevistando a científicos para que opinen sobre la importancia y relevancia de los nuevos supuestos descubrimientos. Muchas veces éstos responden que es algo nuevo que va en contra de todo lo conocido, por lo que debe ser replicado; lo cual sirve para darse una idea de la probabilidad de que sea verdad.

Pero tampoco se puede confiar en papers individuales. Si quiero saber si la hipótesis de la higiene es cierta y leyera uno o dos papers, podría encontrar sólo los trabajos que apoyan la teoría e ignoraría completamente los estudios que la contradicen. Lo mejor es leer revisiones sistemáticas, que tratan de buscar todas las publicaciones pertinentes a un tema y compararlas, evaluar la calidad de cada una y dar una idea de qué conclusiones se pueden sacar.

+2

0