CEACiencia

El problema con las anécdotas

Imaginen que quieren ir a ver una película y buscando críticas por Internet, encuentran una que dice que es divertida e interesante pero sólo para amantes del género. ¿Pueden concluir que la película no es mala? Claro que no, quizás esa persona en particular es un amante del género, o es una persona que siempre da un buen puntaje. Si uno quiere tener una perspectiva más sólida, lo que va a hacer es mirar más críticas. Mejor aún, buscar algún servicio como Rotten Tomatoes que tome muchísimas críticas distintas y las promedie para generar un consenso. En este caso, podemos ver que Stealth tiene un 13% aun cuando Catalina Dlugi, crítica de cine del grupo Clarín, no la haya calificado como mala.

Ahora supongamos que queremos saber si un tratamiento médico funciona o no, ¿confiaríamos en la opinión de una Catalina o preferiríamos conocer el consenso de toda la crítica? En otras palabras, ¿confiaríamos en el testimonio que leímos en internet o en el peso de la evidencia científica?

El problema con los testimonios es que no sirven para evaluar si una intervención funcionó o no.

Imposible de verificar

Salvo los casos clínicos que están sustentados en documentos, en general no hay forma de evaluar si los testimonios que leemos por internet son verídicos o no. Cualquiera puede escribir una lista enorme de personas ficticias apoyando el tratamiento. ¿Es cierto? ¿Son personas reales?

Aún si fueran personas reales, ¿cómo sabemos que efectivamente estaban enfermas y que efectivamente se curaron? A falta de registros médicos (que son confidenciales) no podemos saber si hubo un diagnóstico o si éste fue correcto. Tampoco sabemos si el paciente se curó o simplemente se siente mejor.

Múltiples factores de confusión

Incluso el testimonio más legítimo va a estar viciado. ¿Cómo sabemos que el tratamiento que nos quieren vender es lo que lo curó? Quizás también realizó cambios en sus hábitos de vida, o tomó otros medicamentos o directamente fue el curso normal de la enfermedad lo que hizo que se mejore. ¿Bajó de peso por tomar pastillas para adelgazar o porque además se inscribió a un gimnasio e hizo dieta? Las anécdotas, a diferencia de los ensayos clínicos, no nos permiten separar la contribución de todos estos factores.

Sesgo de selección

Finalmente, si hiciéramos caso omiso a todos esos problemas, está el sesgo de selección. Por cada anécdota positiva puede que haya 100 negativas. Pero ningún vendedor va a querer dar a conocer los casos en los cuales si producto falló, por lo que nunca vamos a leer un testimonio negativo.

Esto es un problema también en la literatura científica. Hay varios casos de empresas farmacéuticas que no publicaron resultados negativos de sus medicamentos. Una forma de contrarrestarlo es la creación de registros de ensayos clínicos en los que las empresas están obligadas a publicar los resultados. No es perfecto, pero es algo.

Pero si esto sucede en el mundo de los ensayos clínicos lleno de regulaciones, cuánto peor es en el ámbito de una página web que no tiene que responder a nadie.

¿Qué hacer?

Por todo esto, en el CEA decidimos que vamos a moderar los comentarios en el blog que sean testimonios. El artículo sobre el Método Crescenti es uno que tiene varios de esos. Dado que no podemos determinar su validez y que en definitiva son irrelevantes a la cuestión de la efectividad del tratamiento, no vamos a publicar esos comentarios. No sólo los testimonios a favor de los tratamientos, sino también lo que estén en contra.

23 comentarios en «El problema con las anécdotas»

  • Excelente artículo.
    El sesgo de SELECCIÓN es una de las aproximadamente 8 amenazas a la validez interna que podrían afectar al análisis de varianza, que es la que se utiliza habitualmente para controlar la validez de los resultados en una investigación.
    El ejercicio de Metaanálisis (promedio de resultados de investigaciones) es una de las mejores maneras acercarse a resultados verosímiles en cuestiones de investigación.
    Es interesante tu aporte por ser tan asimilable y sencillo para la comprensión.
    Agradezco esto y valoro tu desición de publicar artículos de esta naturaleza.
    Éxitos…

    Respuesta
  • Muy bueno. A mí, una vez me pasó que… ¡No, mentira! XD

    Una pregunta: ¿Eso se extenderá al foro? Porque si es así, allí ya habría que ser más finos con el criterio de moderación, ya que muchos artículos del foro se basan, justamente, en experiencias de cada uno.

    Saludos.

    Respuesta
    • Es una buena pregunta. En principio no, porque todavía no tuvimos problema con eso y la necesidad de registrarse para participar probablemente sea filtro suficiente. Además quien entre al foro probablemente esté dispuesto a tener una conversación mientras que quienes dejan comentarios en un blog suelen ir por su camino.

      Respuesta
  • Me extraña, araña. Yo cuando quiero saber si una película es buena o mala acudo a Movie Review Query Engine (www.mrqe.com).

    Respuesta
  • No es del todo así, a un vecino mio le funcionan las anécdotas…

    Muy buen post Daneel!

    saludos,

    PS: para las pelis IMDB.com

    Respuesta
  • Cuando elijo hotel por internet, hago una tablita de excel con la relación puntaje/precio, estableciendo un mínimo de puntaje y un máximo de precio, y ordeno de mayor a menor. Con las pelis, mi criterio es nunca menos de 6 en imdb.
    Si bien estoy de acuerdo con los argumentos del artículo, no con conclusión. Un foro no es un proyecto de investigación y los comentarios allí expuestos deberían tomarse como lo que son, comentarios, y de paso uno entrena el escepticismo y la retórica.
    Casi todo lo que expresamos cotidianamente está relacionado con la experiencia propia, la vida es más compleja que citar papers. Y la moderación (eufemismo de censura) a mi humilde entender, debe usarse solo en casos donde se violen derechos más importantes que el derecho a expresarse (agresiones, discriminación, incitación al delito).
    Igual, la página es de uds. y así como estoy a favor de la libertad de expresión, estoy a favor de que cada uno haga con su página lo que se le cante y al que no le gusta que se abra una y sea feliz. A mi nadie me dice como administrar mi blog y si alguien algún día lo hace, creo que haría caso omiso a su opinión. Y este es el momento en que percibo con profundidad que todo lo expresado es vano y dudo entre borrar el comentario o apretar enviar.

    Saludos.

    Respuesta
    • Es muy bueno tu punto, pero como bien decís hay ciertas situaciones en las que se justifica la moderación.
      Vos hablás de «agresiones, discriminación, incitación al delito» y yo te pregunto: ¿acaso esos testimonios no terminan siendo una incitación a que la gente opte por alternativas que no lo son? ¿a que la gente termine recurriendo a tratamientos que en el mejor de los casos no probaron que funcionen?
      Con todo lo que eso implica en cuanto a costo económico, costo de oportunidad (tan importante en patologías como el cáncer sino preguntale a Steve Jobs), riesgos añadidos, riesgo de que se abandone un tratamiento efectivo por uno que no lo es, etc.
      Entonces, esos simples testimonios que no son más que un comentario, pueden terminar en daños y perjuicios reales en personas reales.
      Este es el motivo por el cual no hay que tomar tan a la ligera el tema de los comentarios y la moderación (llamándola «censura»).
      Saludos!

      Respuesta
    • A mí tampoco me gusta moderar pero es un tema de practicidad. Sabemos que la gente responde mucho más a las anécdotas que a los datos estadísticos y los argumentos razonados. Nuestra idea con las entradas como la del Método Crescenti es que sirvan no sólo para los escépticos que quieran aprender sobre pensamiento crítico, sino también para los posibles pacientes que escucharon sobre eso y deciden buscarlo por internet. Que lean que el tratamiento no está aprobado, que no hay trabajos publicados y que se informen sobre el proceso de aprobación de un medicamento. Todo ese trabajo se va a la mierda si después se ponen a leer los comentarios y ven anécdotas de gente que dice haberse mejorado sin importar cuántas veces responda en los comentarios que las anécdotas no valen.

      En definitiva es un juicio de valor que uno tiene que tomar.

      Respuesta
  • Pagaría por escuchar a Catalina Dlugi haciendo críticas de películas porno.

    Respuesta
    • Pido perdón que me fui de tema pero la sola mención de ese personaje tan risible me impulsó a comentar semejante extravagancia.

      Volviendo al tema en cuestión… he escuchado en algunos podcast del CEA la frase «a mi me funcionó» para ironizar por supuesto a quienes inducen falsas verdades a partir de experiencias personales sin correlación cierta.

      Otra muletilla similar es la clásica «dicen que…». Esta es utilizada casi siempre con el mismo propósito pero con el atenuante de la responsabilidad de quien argumenta, atribuyendo la fuente del hecho a terceros desconocidos. Por ejemplo: «dicen que en unos días marte se va a ver mas grande que la luna», «dicen que necesitas tomar 2 litros de agua diariamente para que tu cuerpo este bien», etc

      Respuesta
  • daneel estas criticando lo que haces vos!! criticas, no tenes identidad propia (dudo que seas un robot), y estas un poquito visciado, nadie no lo esta en este mundoo
    besitosss

    Respuesta
    • Yo tengo identidad. Cualquiera que vaya a las reuniones, por ejemplo, puede verme y tocarme. Pero más importante, yo no estoy presentando mi experiencia anecdótica. Cuando yo escribo trato de hacer referencia a evidencia pública y verificable y hago lo posible por poner links a todo y mostrar todas mis fuentes.

      Respuesta
      • entonces quiero conocerte, me gustaria hablar con vos, hacerte preguntas.

        pero te veo muy perfil pibe militante k, no creo que quieras responder a mis preguntas. te rodeas de gente como vos, atras de un alias y te crees que las sabes todas. acepta que hay otro mundo y no es en el que vive tu cabeza y tus 10 gatos locos. atacas a todos, estas lleno de odio y resentimiento

        Respuesta
          • seguis sin decirme como puedo hablar con vos, obvias responder, por ahora para mi seguis siendo un robot de historietas, por lo tanto como puedo creer en tu criterio? como justificas tus dichos?

          • José, ahora mismo estás hablando conimgo. También podés seguirme en twitter @d_olivaw o comentar en mi blog.
            Si por alguna razón te interesa hacerlo personalmente, podés ir a las reuniones que armamos periódicamente. Igual si vas a ir con mala onda, te recomiendo que ni te gastes.

            Lo que digo lo justifico citando fuentes o haciendo argumentos que se sostienen (o no) por sus propios méritos.

          • no me interesan las reuniones, al ser un lector de este blog me gustaria saber verdaderamente quien sos, nada mas. usar una mascara para ocultarte de todas las cosas que decis me parece de poco hombre. si crees en todo lo que escribis, si criticas a tanta gente y estas seguro de lo q haces, no deberias tener miedo en dar tu identidad. pero bueno, segui oculto es el camino mas facil para atacar

          • No me oculto para nada, este es mi pseudónimo y lo uso siempre. De hecho, algunos compañeros del CEA creían que era mi verdadero nombre y aún luego de saberlo me siguen llamando Daneel. No sé qué tipo de poder mágico creés que puede tener un nombre, igual.
            Yo tampoco puedo saber si «José» es tu verdadero nombre y poco me importa. Mis (o tus) argumentos se deben sostener por su propio mérito.

  • Lindo articulo, me gusto mucho la web. Concretamente con el metodo crescenti, tengo un familiar en estado terminal de cancer y la familia entera esta de acuerdo con inyectarle por cuenta propia lo que provee el doctor crescenti. Aun cuando mostre que no esta aprobada la droga por la ANMAT, ellos lo justifican por el lado de los años de trayectoria, que es un clinica conocida y que mucha gente se ha tratado, que son medicos no bobos y que la homeopatia que le van a inyectar es la misma que la que el tomaba en gotas….Obviamente no les da el coraje como para llamar a un medico de la asistencial a la que se encuentra asociado para consultarle (cosa que aconseje hacer), bajo el pretexto de que «el oncologo oficial dijo que podia «tomar» lo que quisiera»
    La verdad me parece un poco irresponsable que una clinica mande un inyectable intravenoso para que se lo coloque otra persona x desconocida para la clinica igual supongo que si es tan medico prestigioso lo que le manda en realidad no le va a hacer nada pero me preocupa el aspecto de higiene a la hora de colocar un inyectable.
    Mirando un poco la pagina del Dr. Crescenti lo que si veo son muchos trabajos en ratas y en tejidos nada de ensayos en personas, yo no entiendo mucho como ese tipo de clincas no se regulan.
    En particular estoy estudiando ingenieria electronica considerando seguir la opcion biomedica y la verdad que en cuanto a lo que a control de calidad se refiere hay muchas exigencias. Es dificil tratar con personas que si bien se benefician y exigen soluciones por parte de la ciencia y tecnologia, la ven como magia y cuando te ofreces a proveerles material como para comprender un poco lo rechazan. Sin embargo se creen que «todos los quimicos son malos, hay que usar productos naturales» aunque se toman todas las mañanas un vaso con cloruro de magnesio diluido en agua porque es «natural» y la pagina de homeopatia de internet les menciono la cantidad de beneficios que tenia si presentar al menos un estudio concreto. Tambien ideas como que «las farmaceuticas y los gobiernos conspiran, hay muchos intereses economicos, tienen la cura del cancer y la esconden» pero en 5 min buscando en google podes encontrar la cura con algun mineral milagroso, el ritual del pan bendecido o la sal del himalaya. La verdad a uno le saca coraje….de todas maneras en el ambito academico, por suerte, no paso por estas situaciones.

    Respuesta
    • me gustaria saber lo mismo…
      Vi que arriba se discute quien es Daneel realmente..lo cual, me parece irrelevante porque a la hora de argumentar, tu cargo o nombre no deberia ser considerado a la hora de validar… desestimar o apoyar un argumento segun quien es el que lo argumenta es una falacia.

      Respuesta
  • Censores de mierda… free speech no es para cualquier retardado. Confirman que son pobres infelices. Y como hablan de dietas casi seguro con sobrepeso.. jeje Ah.. Cierto, no creen en el BMI (como todos los «gorditos») 😛

    Respuesta
  • Pingback: Péptido RjLB-14 de Labiofam, ¿cura para el cáncer o falsas ilusiones? | Círculo Escéptico Argentino

  • Pingback: Tratamiento Crescenti: $200.000 de multa por irregularidades en ensayo clínico | Círculo Escéptico Argentino

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*