Experimento no encuentra precognición

Investigaciones científicas concluirían que Isaac Mendez (Héroes) sería un personaje de ficción.

En noviembre de 2010 un parapsicólogo llamado Daryl Bem afirmó haber descubierto evidencia de precognición. Lejos de producir una revolución en nuestro entendimiento, la publicación de su paper en una prestigiosa revista de psicología demostró varios problemas existentes en el sistema de publicación científica. Más de un año después del artículo original, Stuart Ritchie, Richard Wiseman y Christopher French publicaron un paper con tres intentos de replicación, Failing the Future: Three Unsuccessful Attempts to Replicate Bem's ‘Retroactive Facilitation of Recall’ Effect.

El trabajo original de Bem consistía en el uso de tests psicológicos estandarizados pero con el orden de los pasos invertidos. Por ejemplo, el experimento que mostró el mayor efecto era una modificación de un test de memoria en el que a los participantes se les da una lista de palabras para “practicar”, luego se les muestra una lista más larga de palabras que también contiene a las ya practicadas y finalmente tienen que escribir todas las palabras que recuerden. Como es de esperarse, los participantes suelen recordar mejor las palabras que ya habían practicado de antemano.

En su trabajo Bem invirtió este orden. Los participantes primero veían una larga lista de palabras, luego tenían que escribir las que recordaran y recién después se les daba un subconjunto para “practicar”. Lo que Bem supuestamente encontró es que los participantes recordaron más las palabras que luego practicarían. Algo así como estudiar después de un examen pero aún así sacarse una buena nota.

Los experimentos de Ritchie, Wiseman y French replicaron exactamente el protocolo de Bem. No lograron encontrar un efecto. Es decir, los participantes recordaron las palabras sin importar si luego las practicaban o no.

Problemas con la ciencia

Análisis exploratorio vs. análisis confirmatorio

Las técnicas estadísticas utilizadas por Bem eran altamente sospechosas. En un comentario publicado al mismo tiempo que el paper original, Wagenmakers et al [PDF] argumentan que Bem básicamente se encargó de probar todas las relaciones que podía y sólo reportar las que daban resultados positivos. Por ejemplo, en uno de los experimentos Bem encontró evidencia de PES sólo en las mujeres y sólo con imágenes eróticas (el experimento consistía en predecir dónde iba a aparecer una imagen).

Esto no es exclusivo de la parapsicología. De hecho, el autor de cierto blog de psicología decía que su jefe le recomendaba buscar relaciones entre todas las variables para ver qué encontraba. Esto aumenta la probabilidad de encontrar alguna relación significativa sólo por azar, y en realidad no está mal, pero este tipo de investigación, llamada “investigación exploratoria”, no sirve para establecer hipótesis, sólo para proponerlas.

El problema con las replicaciones

Un segundo problema resaltado por el paper de Bem es más serio y apunta al corazón de la publicación científica. El Journal of Personality and Social Psychology (JPSP) publicó el controvertido y casi ciertamente erróneo paper de Bem, en el que el propio autor invita a la comunidad científica a replicar el experimento para confirmar o refutar sus hallazgos. El equipo de Wiseman hizo exactamente esto. Luego trataron de publicar sus resultados en esa revista… y les respondieron que el JPSP “no publica replicaciones”.

Las replicaciones son fundamentales en ciencia; son lo que permiten que la ciencia “reemplace el prejuicio privado por la evidencia públicamente verificable”. Sirven para controlar los sesgos de los investigadores, las coincidencias e incluso el fraude. Sin embargo las revistas importantes tienen una política de no publicar replicaciones. Son aburridas, no son novedad y no aumentan la popularidad del editor.

Esta actitud es terriblemente perjudicial porque permite que resultados extraordinarios pero falsos no puedan ser refutados. Además incrementa el “efecto cajonera” (file drawer effect), un sesgo de publicación según el cual los resultados negativos tienden a no ser publicados.

El Haitiano te va a arruinar tu investigación paranormal.

Problemas con la parapsicología

Daryl Bem publicó un comentario [PDF] sobre este trabajo. Tiene algunos puntos medianamente válidos sobre la cantidad de participantes en los experimentos de Wiseman y afirma que hay dos otras replicaciones que sí lograron resultados significativos. También contiene argumentos muy poco convincentes que fallan al tener en cuenta la extrema implausiblidad de sus creencias. Pero el toque de gracia en el comentario de Bem es su apelación al “efecto del experimentador”.

El efecto del experimentaror es el comodín de los parapsicólogos para desestimar cualquier evidencia en contra de las hipótesis PSI. Es la idea de que cuando quien realiza la investigación no cree en el fenómeno, éste desaparece. Algo así como que los escépticos tenemos un campo de energía que impide que los dotados demuestren sus habilidades psíquicas. Quien haya visto Héroes puede relacionarlo con El Haitiano.

El efecto del experimentador es, en mi opinión, no sólo una institucionalización del argumento ad hominem, sino también una demostración palpable de que la parapsicología es una pseudociencia pura y dura. Al introducir este concepto se tiran a la basura 400 años de desarrollo en el método científico y se abren las puertas al relativismo extremo. Nadie tendría ninguna base para negar nada; cualquier contraejemplo, experimento o anécdota puede ser dejado a un lado como una manifestación de ese efecto.

Imaginen a un ejecutivo de una farmacéutica argumentando que su producto es efectivo y seguro porque las investigaciones independientes que demostraron lo contrario sufren del “efecto del experimentador”. O a un ingeniero diciendo que sus cálculos fueron perfectos pero que el edificio se desplomó porque la gente en su interior no creía que así fuera.

Esto es absurdo, destructivo y completamente anticientífico. Da la casualidad de que lo sobrenatural se comporta de tal forma de que es imposible de conocer. Es una muestra de por qué lo sobrenatural por definición es ininteligible.

Ritchie, S., Wiseman, R., & French, C. (2012). Failing the Future: Three Unsuccessful Attempts to Replicate Bem's ‘Retroactive Facilitation of Recall’ Effect PLoS ONE, 7 (3) DOI: 10.1371/journal.pone.0033423