El problema con las anécdotas

Imaginen que quieren ir a ver una película y buscando críticas por Internet, encuentran una que dice que es divertida e interesante pero sólo para amantes del género. ¿Pueden concluir que la película no es mala? Claro que no, quizás esa persona en particular es un amante del género, o es una persona que siempre da un buen puntaje. Si uno quiere tener una perspectiva más sólida, lo que va a hacer es mirar más críticas. Mejor aún, buscar algún servicio como Rotten Tomatoes que tome muchísimas críticas distintas y las promedie para generar un consenso. En este caso, podemos ver que Stealth tiene un 13% aun cuando Catalina Dlugi, crítica de cine del grupo Clarín, no la haya calificado como mala.

Ahora supongamos que queremos saber si un tratamiento médico funciona o no, ¿confiaríamos en la opinión de una Catalina o preferiríamos conocer el consenso de toda la crítica? En otras palabras, ¿confiaríamos en el testimonio que leímos en internet o en el peso de la evidencia científica?

El problema con los testimonios es que no sirven para evaluar si una intervención funcionó o no.

Imposible de verificar

Salvo los casos clínicos que están sustentados en documentos, en general no hay forma de evaluar si los testimonios que leemos por internet son verídicos o no. Cualquiera puede escribir una lista enorme de personas ficticias apoyando el tratamiento. ¿Es cierto? ¿Son personas reales?

Aún si fueran personas reales, ¿cómo sabemos que efectivamente estaban enfermas y que efectivamente se curaron? A falta de registros médicos (que son confidenciales) no podemos saber si hubo un diagnóstico o si éste fue correcto. Tampoco sabemos si el paciente se curó o simplemente se siente mejor.

Múltiples factores de confusión

Incluso el testimonio más legítimo va a estar viciado. ¿Cómo sabemos que el tratamiento que nos quieren vender es lo que lo curó? Quizás también realizó cambios en sus hábitos de vida, o tomó otros medicamentos o directamente fue el curso normal de la enfermedad lo que hizo que se mejore. ¿Bajó de peso por tomar pastillas para adelgazar o porque además se inscribió a un gimnasio e hizo dieta? Las anécdotas, a diferencia de los ensayos clínicos, no nos permiten separar la contribución de todos estos factores.

Sesgo de selección

Finalmente, si hiciéramos caso omiso a todos esos problemas, está el sesgo de selección. Por cada anécdota positiva puede que haya 100 negativas. Pero ningún vendedor va a querer dar a conocer los casos en los cuales si producto falló, por lo que nunca vamos a leer un testimonio negativo.

Esto es un problema también en la literatura científica. Hay varios casos de empresas farmacéuticas que no publicaron resultados negativos de sus medicamentos. Una forma de contrarrestarlo es la creación de registros de ensayos clínicos en los que las empresas están obligadas a publicar los resultados. No es perfecto, pero es algo.

Pero si esto sucede en el mundo de los ensayos clínicos lleno de regulaciones, cuánto peor es en el ámbito de una página web que no tiene que responder a nadie.

¿Qué hacer?

Por todo esto, en el CEA decidimos que vamos a moderar los comentarios en el blog que sean testimonios. El artículo sobre el Método Crescenti es uno que tiene varios de esos. Dado que no podemos determinar su validez y que en definitiva son irrelevantes a la cuestión de la efectividad del tratamiento, no vamos a publicar esos comentarios. No sólo los testimonios a favor de los tratamientos, sino también lo que estén en contra.