De la orientación de los perros al defecar

Hay ciertas noticias de ciencia que tienen “éxito mediático” escrito en su ADN. Historias que son ridículas pero a la vez razonables; perfectos candidatos para ganar un premio Ig Nobel para logros que “primero hacen reír y luego pensar”. Este es el caso de un nuevo estudio publicado en la revista Fronteers of Zoology (de acceso gratuito) que afirma haber descubierto que los perros se alinean con el campo magnético de la Tierra cuando… hacen sus necesidades.

El artículo fue reportado en muchísimos medios, llegando incluso a La Nación que publica una nota sin firmar que básicamente copia un artículo de BBC. Haciendo gala de una gran creatividad (y no muy buena redacción), el diario El Comercio titula “Revelan por qué los perros dan vueltas antes de ‘ir al baño’, según estudio”, aunque el estudio original no dice nada de eso y en realidad no es más que una (mala) traducción del titular de Yahoo News. Todo esto, por supuesto, puede seguirse hasta el comunicado de prensa original de la Universidad de Duisburgo.

En principio el descubrimiento es ridículo, pero un poco de reflexión comienza a darle sentido. No es el primer animal que podría sentir campos magnéticos. Las aves migratorias usan el campo magnético terrestre para orientarse en sus viajes y los tiburones pueden percibir la electricidad producida por los músculos de sus potenciales víctimas. ¿Por qué un perro no podría también tener ese “sexto sentido”? El problema es que es falso.

Para ser justos, no es que el paper no exista o sus conclusiones hayan sido severamente distorsionadas como en otros casos -cualquiera puede leerlo y ver que los autores afirman lo que los artículos periodísticos dicen que afirman- sino que el problema es que el paper es muy poco convincente y es una excelente ilustración de un importante problema en la ciencia: los grados de libertad del investigador.

Tomado a prima facie lo que el estudio muestra es que los perros prefieren alinearse en dirección Norte-Sur para defecar y orinar. Los investigadores usaron 70 perros y casi 2000 casos de defecación en distintas condiciones y encontraron esta preferencia. En realidad esto podría tener otra explicación que la dirección del campo magnético (posición del Sol, por ejemplo) pero  los autores dicen rechazar esta hipótesis porque la hora de defecación no predice la orientación y por algunas excusas poco creíbles.

Todo parece bien en la superficie pero en realidad no resiste un análisis crítico. Lo que sucede en este caso es que el análisis de datos toma sólo un subconjunto de los mismos de manera de obtener los resultados que querían. A diferencia de muchos otros casos en la literatura, por suerte este caso es bien transparente ya que tenemos la confesión de los propios investigadores en el comunicado de prensa. El Prof. Dr. Hynek Burda dice que luego de recoger los datos, “el análisis estadístico fue decepcionante. Parecía mostrar que no había preferencia de ninguna alineación”.

Entonces los investigadores probaron ver sólo algún conjunto de datos buscando cuál daba una orientación preferencial. Usaron distintas medidas de las perturbaciones en el campo magnético terrestre (se mencionan tres, el índice K, el cambio en la intensidad y el cambio en la declinación) y “ordenar los datos de acuerdo con [la declinación] proveyó los resultados más significativos”. Esto se puede ver claramente en la Figura 1 del paper.

En la figura, cada par de puntos enfrentados muestra la orientación de una observación, la doble flecha central es la dirección promedio y el círculo pequeño en el centro indica el límite de significancia estadística. Sólo se puede decir que se detectó un efecto si la doble flecha es más grande que el círculo. Como se ve sólo se encuentra una dirección preferencial cuando el cambio en la declinación es nula mientras que en todos los casos esto no es así.

Los autores nos quieren hacer creer que los perros se orientan según el campo magnético terrestre pero sólo cuando éste está perfectamente calmo (menos del 20% de todas las observaciones). Incluso un minúsculo cambio de menos de 0,02 grados de declinación por hora es suficiente para que el efecto desaparezca.

Quizás sea difícil entender la importancia de este punto, pero es la diferencia entre un análisis exploratorio, en el que uno va probando distintas formas de ver los datos para encontrar relaciones interesantes, y un análisis confirmatorio, en el que uno tiene una hipótesis precisa y toma datos para confirmarla o no. Mientras que éste último realmente puede demostrar la existencia de un efecto, el primero sólo puede sugerir futuras hipótesis que luego deberán ser confirmadas.

El tema de “hacer trampa” y cambiar la hipótesis que se está probando además es importantísimo en el análisis estadístico por lo que se denomina los “grados de libertad del investigador” (introducido por Simmons et. al. 2011). El círculo central en la figura anterior lo que dice es que si se encuentra un efecto más grande que ese límite, la probabilidad de haberlo obtenerlo al azar aún cuando el efecto realmente no existe (un falso positivo) es menor a un 5%. Pero esto vale sólo si se hace una prueba. A medida que se aumenta el número de pruebas también aumenta la probabilidad de tener falsos positivos de la misma forma que la probabilidad de obtener 10 caras seguidas al tirar una moneda aumenta a medida que se tiran más y más monedas aún cuando la moneda esté perfectamente balanceada.

En este estudio los investigadores hicieron como mínimo 4 pruebas lo cual equivale a una probabilidad de falso positivo de más de 20%. Si asumimos que los autores hicieron análisis similares con las otras 2 medidas de perturbación en el campo magnético (es decir, 10 pruebas en total), la probabilidad de un falso positvo ya roza el 60%.

Para ponerlo en lenguaje menos técnico, lo que hicieron fue torturar los datos hasta obtener lo que querían. El problema es que las confesiones bajo tortura son notoriamente por poco fiables, igual que esta investigación.

+4

0