8Ene/142

De la orientación de los perros al defecar

1742-9994-10-80

Hay ciertas noticias de ciencia que tienen “éxito mediático” escrito en su ADN. Historias que son ridículas pero a la vez razonables; perfectos candidatos para ganar un premio Ig Nobel para logros que “primero hacen reír y luego pensar”. Este es el caso de un nuevo estudio publicado en la revista Fronteers of Zoology (de acceso gratuito) que afirma haber descubierto que los perros se alinean con el campo magnético de la Tierra cuando… hacen sus necesidades.

El artículo fue reportado en muchísimos medios, llegando incluso a La Nación que publica una nota sin firmar que básicamente copia un artículo de BBC. Haciendo gala de una gran creatividad (y no muy buena redacción), el diario El Comercio titula “Revelan por qué los perros dan vueltas antes de ‘ir al baño’, según estudio”, aunque el estudio original no dice nada de eso y en realidad no es más que una (mala) traducción del titular de Yahoo News. Todo esto, por supuesto, puede seguirse hasta el comunicado de prensa original de la Universidad de Duisburgo.

En principio el descubrimiento es ridículo, pero un poco de reflexión comienza a darle sentido. No es el primer animal que podría sentir campos magnéticos. Las aves migratorias usan el campo magnético terrestre para orientarse en sus viajes y los tiburones pueden percibir la electricidad producida por los músculos de sus potenciales víctimas. ¿Por qué un perro no podría también tener ese “sexto sentido”? El problema es que es falso.

Para ser justos, no es que el paper no exista o sus conclusiones hayan sido severamente distorsionadas como en otros casos -cualquiera puede leerlo y ver que los autores afirman lo que los artículos periodísticos dicen que afirman- sino que el problema es que el paper es muy poco convincente y es una excelente ilustración de un importante problema en la ciencia: los grados de libertad del investigador.

Tomado a prima facie lo que el estudio muestra es que los perros prefieren alinearse en dirección Norte-Sur para defecar y orinar. Los investigadores usaron 70 perros y casi 2000 casos de defecación en distintas condiciones y encontraron esta preferencia. En realidad esto podría tener otra explicación que la dirección del campo magnético (posición del Sol, por ejemplo) pero  los autores dicen rechazar esta hipótesis porque la hora de defecación no predice la orientación y por algunas excusas poco creíbles.

Todo parece bien en la superficie pero en realidad no resiste un análisis crítico. Lo que sucede en este caso es que el análisis de datos toma sólo un subconjunto de los mismos de manera de obtener los resultados que querían. A diferencia de muchos otros casos en la literatura, por suerte este caso es bien transparente ya que tenemos la confesión de los propios investigadores en el comunicado de prensa. El Prof. Dr. Hynek Burda dice que luego de recoger los datos, “el análisis estadístico fue decepcionante. Parecía mostrar que no había preferencia de ninguna alineación”.

Entonces los investigadores probaron ver sólo algún conjunto de datos buscando cuál daba una orientación preferencial. Usaron distintas medidas de las perturbaciones en el campo magnético terrestre (se mencionan tres, el índice K, el cambio en la intensidad y el cambio en la declinación) y “ordenar los datos de acuerdo con [la declinación] proveyó los resultados más significativos”. Esto se puede ver claramente en la Figura 1 del paper.

image

En la figura, cada par de puntos enfrentados muestra la orientación de una observación, la doble flecha central es la dirección promedio y el círculo pequeño en el centro indica el límite de significancia estadística. Sólo se puede decir que se detectó un efecto si la doble flecha es más grande que el círculo. Como se ve sólo se encuentra una dirección preferencial cuando el cambio en la declinación es nula mientras que en todos los casos esto no es así.

Los autores nos quieren hacer creer que los perros se orientan según el campo magnético terrestre pero sólo cuando éste está perfectamente calmo (menos del 20% de todas las observaciones). Incluso un minúsculo cambio de menos de 0,02 grados de declinación por hora es suficiente para que el efecto desaparezca.

Quizás sea difícil entender la importancia de este punto, pero es la diferencia entre un análisis exploratorio, en el que uno va probando distintas formas de ver los datos para encontrar relaciones interesantes, y un análisis confirmatorio, en el que uno tiene una hipótesis precisa y toma datos para confirmarla o no. Mientras que éste último realmente puede demostrar la existencia de un efecto, el primero sólo puede sugerir futuras hipótesis que luego deberán ser confirmadas.

El tema de “hacer trampa” y cambiar la hipótesis que se está probando además es importantísimo en el análisis estadístico por lo que se denomina los “grados de libertad del investigador” (introducido por Simmons et. al. 2011). El círculo central en la figura anterior lo que dice es que si se encuentra un efecto más grande que ese límite, la probabilidad de haberlo obtenerlo al azar aún cuando el efecto realmente no existe (un falso positivo) es menor a un 5%. Pero esto vale sólo si se hace una prueba. A medida que se aumenta el número de pruebas también aumenta la probabilidad de tener falsos positivos de la misma forma que la probabilidad de obtener 10 caras seguidas al tirar una moneda aumenta a medida que se tiran más y más monedas aún cuando la moneda esté perfectamente balanceada.

En este estudio los investigadores hicieron como mínimo 4 pruebas lo cual equivale a una probabilidad de falso positivo de más de 20%. Si asumimos que los autores hicieron análisis similares con las otras 2 medidas de perturbación en el campo magnético (es decir, 10 pruebas en total), la probabilidad de un falso positvo ya roza el 60%.

Para ponerlo en lenguaje menos técnico, lo que hicieron fue torturar los datos hasta obtener lo que querían. El problema es que las confesiones bajo tortura son notoriamente por poco fiables, igual que esta investigación.

28Jun/135

El síndrome del estudio único

estudio

Uno de los pilares de la ciencia es que todo conocimiento es provisorio y puede ser refutado por investigaciones posteriores. Esto no es un capricho, sino un reconocimiento de que la ciencia es una actividad humana y como tal está sujeta a errores, sesgos y problemas que hacen probables las conclusiones falsas. Además la realidad es compleja y observarla, aún más.

Para entender la naturaleza no basta con mirarla una sola vez. Para distinguir entre una nave extraterrestre y un reflejo de la cámara, por ejemplo, hace falta mirar el mismo evento desde varios ángulos. Con la evidencia científica pasa algo muy similar.

Los escépticos estamos familiarizados con el mantra de “correlación no implica causa”, es decir: que dos eventos A y B se den juntos no significa que A cause B. (Puede ser que B cause A, que ambos sean causados por otro evento C, que la asociación sea puramente accidental o que ni siquiera exista relación alguna entre ellos.) Pero si uno hace varios estudios distintos mirando a la relación entre A y B desde diferentes ángulos y ésta siempre aparece, entonces uno va ganando confianza en que efectivamente hay una relación causal.

Por ejemplo, uno puede ver que muchas personas que tienen una cierta dolencia también tienen una cierta bacteria en la sangre. Eso no significa necesariamente que la bacteria cause la enfermedad; podría ser que la enfermedad afecte el sistema inmune y esa bacteria se aproveche, o que la bacteria esté asociada a una cierta toxina que es la verdadera causa de la enfermedad. Pero si luego vemos que ratas sanas desarrollan la enfermedad luego de ser expuestas a la bacteria, que se curan cuando se les da antibióticos y que ninguna otra bacteria parece enfermarlas, entonces uno ya tiene buenas razones para inferir una relación causal.

En el medio de todo este proceso pueden aparecer resultados contradictorios. Quizás algún laboratorio no logra detectar la bacteria en el tejido de animales enfermos pero luego se descubre que era un error técnico. O quizás se ve que hay otra bacteria distinta que causa la misma enfermedad y se sugiere que en realidad es ésa la verdadera causa.

Muchos medios, incluso los especializados en ciencia, pueden sufrir de “Síndrome de Estudio Único”, una enfermedad particularmente virulenta que hace que cada nuevo estudio publicado sea tomado como definitivo. Publicaciones que apoyan las creencias previas se reportan como “Estudio confirma que…” y los que van en contra reciben títulos como “Refutada la teoría de…”.

Esto da lugar a hilarantes resultados como el que me encontré un día buscando sobre la hipótesis de la higiene:

hipótesis higiene

La hipótesis de la higiene: verdadera y falsa a la vez según el diario ABC

La hipótesis de la higiene es la idea de que la causa del aumento en las alergias y las enfermedades autoinmunes es que nos criamos en ambientes demasiado limpios. La noción básica es que la estimulación temprana por medio de gérmenes patógenos es necesaria para el correcto desarrollo del sistema inmune. Fue propuesta en 1989 por D. P. Strachan en un paper (Hay fever, hygiene, and household size) publicado en el British Journal of Medicine para explicar por qué había una relación inversa entre las enfermedades autoinmunes y la cantidad de hermanos. Las personas con muchos hermanos tienen menos riesgo de tener asma.

A pesar de que esta noción simple y en cierto modo intuitiva quedó como cierta en la cultura popular (“Ensuciarse hace bien” es el lema de una empresa de jabón en polvo), incluso siendo citada tácitamente en el videojuego Mass Effect, investigaciones posteriores demostraron que el mecanismo es mucho más complejo. No es de extrañar ya que nuestro sistema inmune es un enorme entramado de células especializadas que desafía la comprensión.

En una revisión sistemática de la literatura publicada por el Foro Científico Internacional sobre Higiene Hogareña se puede leer sobre las distintas líneas de evidencia que avalan la hipótesis de la higiene y las que la contradicen. Actualmente la relación lineal entre infecciones en la infancia y enfermedades autoinmunes es rechazada por la literatura científica, dando preferencia a otras teorías más sofisticadas que tienen en cuenta el tipo de infecciones y la variedad de gérmenes.

Este no el único caso. Otro ejemplo de fallas periodísticas es el infame tabloide británico The Daily Mail, que tiene la reputación de catalogar todo objeto inanimado como cancerígeno o anticancerígeno, encontrándose varios que previenen y causan cáncer al mismo tiempo.

Un uso menos inocente de este síndrome es la distorsión de la ciencia por grupos ideológicos. Se puede tener la certeza de que cada estudio que encuentre algún efecto secundario o ponga en duda la efectividad de alguna vacuna va a ser considerado por los grupos antivacunación como “prueba” de que las vacunas son dañinas. Los negacionistas del cambio climático proclaman a los gritos que se ha clavado “el último clavo en el ataúd del cambio climático” cada vez que sale algún artículo mostrando algún problema con algún aspecto de la climatología actual. En ambos casos se ignora la montaña de literatura científica que los contradice salvo citando algún que otro estudio para criticarlo.

Grupos antiabortistas muestran estudios sobre el inexistente síndrome post-aborto mientras ignoran el grueso de la literatura científica que no lo encuentra por ningún lado. Por su parte, grupos en contra de las uniones homosexuales suelen citar estudios puntuales para mostrar el daño que causa a los chicos el ser criados en una familia homoparental; sin embargo, una revisión de la literatura muestra que las diferencias son mínimas y por cada medida donde hay diferencias, hay 4 o más en las que son idénticas.

Los árboles y el bosque

Tanto en los casos de fallas inocentes como en los de selección deliberada de los datos, lo que está faltando es el contexto en el que se inserta cada nueva publicación. No es lo mismo una gota de arsénico en una taza de té que en el océano Pacífico.

Es por esto que no se puede confiar en los medios generalistas para informarse científicamente. Los medios especializados suelen hacer un mejor trabajo, entrevistando a científicos para que opinen sobre la importancia y relevancia de los nuevos supuestos descubrimientos. Muchas veces éstos responden que es algo nuevo que va en contra de todo lo conocido, por lo que debe ser replicado; lo cual sirve para darse una idea de la probabilidad de que sea verdad.

Pero tampoco se puede confiar en papers individuales. Si quiero saber si la hipótesis de la higiene es cierta y leyera uno o dos papers, podría encontrar sólo los trabajos que apoyan la teoría e ignoraría completamente los estudios que la contradicen. Lo mejor es leer revisiones sistemáticas, que tratan de buscar todas las publicaciones pertinentes a un tema y compararlas, evaluar la calidad de cada una y dar una idea de qué conclusiones se pueden sacar.

2Nov/123

Escapando de la disonancia cognitiva.

Hace un tiempo nos llegó un mail de una mujer (que llamaré María) que me hizo acordar un principio básico del escepticismo. En ella comenzaba manifestando su interés por nuestra página luego de haber encontrado el artículo sobre el Tratamiento Inmunomodulador del Dr. Crescenti (un médico que comercializa un tratamiento para el cáncer sin pruebas de efectividad ni aprobación estatal) pero luego se lamentaba de que tratáramos al psicoanálisis “con los mismos criterios que al médico de las terapias ilusorias”. Esta diferencia de opiniones hizo que perdiera el interés en el Círculo Escéptico.

María, al parecer, no tiene problema con que analicemos críticamente a algunas ideas pero rechaza que se aplique el mismo tratamiento a otras. Eso no es pensamiento crítico. Éste no sólo nos exige aplicar los mismos estándares de evidencia para todas las afirmaciones sino que también implica no aferrarse a las conclusiones sino al proceso.

El sesgo de confirmación es un fenómeno harto estudiado en la literatura científica y experimentado por todos. Ya en el siglo V AEC, Tulcídes escribía que “es un hábito de la humanidad (…) usar la razón para desestimar lo que no les gusta”. Cuando razonamos, el camino de menor resistencia es el de buscar la información que apoya nuestras creencias. Esto es algo que todos hacemos inconscientemente y no hay caso en negarlo; leer cosas que chocan contra nuestras ideas nos produce disonancia cognitiva y nos es aversivo. Reorganizar las opiniones es más trabajoso que simplemente evitar que sean puestas en duda.

Una forma de luchar contra este fenómeno es justamente lo que María no parece apreciar. Lo que nos tiene que importar, lo que tiene que formar el núcleo de nuestras ideas no son las conclusiones a las que llegamos, sino el proceso que usamos para llegar a ellas. Si ponemos el valor en el proceso, entonces lo que nos va a producir disonancia cognitiva no va a ser encontrar evidencia contradictoria sino, por el contrario, el no buscarla.

Probablemente uno nunca pueda hacer este cambio de forma absoluta. No puedo negar que tengo cierto apego por las conclusiones a las que llegué en mi artículo sobre el Dr. Crescenti, por ejemplo, pero la idea es apegarse más a cómo se llegó a ellas. Buscar en la literatura científica, pedir evidencias, ir a las fuentes. Si mañana Crescenti viniera con 10 ensayos clínicos mostrando la eficacia de su producto, me tendría que ser más doloroso negarlos que cambiar de opinión.

Enfocarse en el proceso también significa que puede racionalizar un cambio de opinión de forma que uno siempre tuvo la razón. Quizás no en el sentido de llegar a la conclusión correcta, pero al menos en el sentido de haber razonado correctamente.  Si tu método es válido, entonces tu único pecado sería haber tenido premisas falsas, y eso es algo que pasa hasta en las mejores familias.