En 2018 se generó una gran crisis en la investigación psicológica debido a la preocupación por la falta de credibilidad de los hallazgos de los estudios realizados hasta la fecha, debido a que los resultados de más de la mitad de las investigaciones realizadas eran imposibles de replicar, la investigación fue publicada originalmente por la revista Nature.
Por esta razón, muchos científicos han cuestionado la exactitud de los resultados de cientos de investigaciones publicadas, lo que ha generado un mayor escrutinio de los nuevos estudios, lo que incluye a la neurociencia.
Con los avances de los escáneres cerebrales se ha logrado obtener información cada vez mas detallada y precisa de la actividad neuronal, actualmente los neurocientíficos se concentran en indagar sobre lo que sucede en el cerebro de personas con trastornos psiquiátricos y neurológicos.
Los hallazgos permiten tener cada vez una imagen mas real de la correlación entre anatomía, función cerebral y la patología, lo cual abre la posibilidad de nuevas y mas efectivas formas de diagnosticar y tratar los trastornos mentales y neurológicos.
Sin embargo, un reciente estudio vuelve a generar dudas al respecto de la replicabilidad y validez estadística de una serie de experimentos en el área de la neurociencia, los cuales se fundamentan en la técnica de neuroimagen e intentan vincular los resultados de escáneres cerebrales con síntomas y estados psiquiátricos.
Problemas con la asociación
Los resultados publicados por Nature, sugieren que una gran cantidad de los citados estudios de asociación amplia del cerebro (BWAS, por sus siglas en inglés) pueden tener poca relevancia estadística. «Este artículo específico se centra en la reproducibilidad de vincular medidas de neuroimagen con fenotipos conductuales complejos, de la misma manera que los genetistas se centran en vincular genes con fenotipos complejos similares«, explica el Dr. Scott Marek, coautor del estudio y docente en el departamento de psiquiatría en la Escuela de Medicina de la Universidad de Washington.
Los estudios de investigación en el área de neuroimagen son increíblemente variados. Algunos de los trabajos más fundamentales en esta área han relacionado procesos cognitivos generales, como la memoria, con regiones del cerebro que albergan las neuronas que controlan dichos procesos.
Otros diseños de estudio monitorean cómo los cambios en la oxigenación de la sangre reflejan la activación de ciertas áreas del cerebro en respuesta a tareas conductuales.
Los estudios BWAS difieren de estos estudios de neuroimagen más clásicos en varios aspectos. Al enfocarse en conductas psiquiátricas complejas, la investigación de BWAS intenta fijar una firma biológica a los procesos cerebrales que son variables injustificadas.
Si bien sería una maravilla médica descubrir un cerebro que no utiliza las estructuras del hipocampo en el proceso de recuperación de la memoria, es mucho más común encontrar dos personas con depresión resistente al tratamiento que tienen diferentes niveles de actividad cerebral. Esto significa que el tamaño de la asociación involucrada es menos significativo.
Retirando la investigación por iniciativa propia
Marek y sus colegas querían evaluar qué significaban estos tamaños de efecto más pequeños para el diseño ideal del estudio BWAS.
Para resolver esto, utilizaron datos de tres estudios que representan las obras maestras actuales de la investigación BWAS. Estos son el estudio Desarrollo Cognitivo del Cerebro Adolescente (ABCD), el Proyecto Conectoma Humano (HCP) y el Biobanco del Reino Unido.
Estos esfuerzos de investigación robustos, patrocinados y realizados por consorcios internacionales bien financiados contienen un gran volumen de datos cerebrales: el mérito de casi 50,000 escaneos.
Con este vasto y muy real conjunto de datos, Marek y su equipo utilizaron una técnica estadística llamada bootstrapping para crear una serie de conjuntos de datos virtuales, que varían en tamaño desde los tamaños pequeños más utilizados (n=25) hasta análisis enormes de decenas de miles de escaneos
Luego, el equipo de Marek esencialmente modeló qué tan precisos y reproducibles eran los hallazgos de cada uno de estos conjuntos de datos hipotéticos. Sus resultados sugieren que los enfoques BWAS actuales pueden requerir un cambio sísmico para garantizar que sus datos sean confiables.
El efecto de los tamaños inflados
El equipo descubrió que, independientemente del tamaño, los tipos de asociación analizados en los estudios BWAS eran extremadamente propensos a inflarse por el azar. Esto significó que los hallazgos de los estudios simulados más pequeños de Marek fueron en gran medida irreproducibles. Solo una vez que los experimentos se modelaron con miles de escáneres cerebrales, los tamaños de los efectos inflados comenzaron a disminuir.
Esencialmente, es muy probable que los pequeños estudios BWAS, creados para analizar efectos potenciales minúsculos con un bajo número de escaneos, sean irreproducibles. Además, en estos estudios más pequeños, escriben los autores, son los mismos hallazgos que están más inflados por el azar y menos confiables los que tienen más probabilidades de ser encontrados «estadísticamente significativos» y llegar a la publicación.
Marek es cuidadoso y afirma que otros tipos de análisis de neuroimagen son mucho más confiables en tamaños de muestra reducidos. “La reproducibilidad, o la falta de ella, es el resultado de la naturaleza correlacional de estos estudios, en lugar de la neuroimagen en general”, explica. “Algunos estudios de neuroimagen (p. ej., mapeo cerebral básico de funciones específicas, efectos inducidos por tareas, etc.) no se incluyen bajo la potestad de BWAS”.
También enfatiza que incluso los estudios BWAS tienen una forma clara, aunque difícil de corregir, mejorar su reproducibilidad: más muestras, lo que en última instancia significa que se requiere más financiación. “La forma más sencilla de mejorar BWAS sería aumentar el tamaño de las muestras, como se hizo recientemente con los estudios de asociación del genoma completo (GWAS). Esto se puede hacer a través de grandes consorcios, como los estudios ABCD, HCP y UK Biobank o mediante la agregación de datos en múltiples laboratorios”, señala.
Siguiendo los pasos del GWAS
Los análisis GWAS, que relacionan las métricas fisiológicas o psiquiátricas con firmas genéticas particulares, han pasado por su propio viaje de replicación durante el siglo XXI. Los tamaños de muestra iniciales de menos de 100 genomas estaban plagados de irreproducibilidad.
En respuesta a estas dificultades, y al desplome del precio de la secuenciación genómica, los estudios GWAS han podido expandir enormemente su número de muestras a millones. No está claro de inmediato cómo ese enfoque es compatible con las prácticas BWAS actuales, donde los laboratorios pequeños, que operan con presupuestos ajustados, usan un tamaño de muestra promedio de 23.
Marek también sugiere que un informe más claro de los tamaños del efecto, independientemente de su importancia estadística, ayudaría a aclarar las razones de la irreproducibilidad.
Finalmente, Marek está dispuesto a recalcar que los estudios BWAS valen la pena, dado un diseño de muestra adecuado: «Dada la falta de reproducibilidad de BWAS con los tamaños de muestra actuales, se podría argumentar que tenemos mucho que aprender sobre cómo el cerebro se relaciona con fenotipos complejos«.
Los investigadores que intentan comprender la compleja variabilidad del cerebro, expresa Marek, deben aplicar un conjunto igualmente variable y poderoso de enfoques experimentales. “Si un investigador quiere realizar un estudio BWAS, debe hacerlo solo en el conjunto de datos más grande disponible e informar sobre todos los tamaños de la muestra”, concluye.
Puede consultar más detalles de esta investigación en la nota de prensa de la Escuela de Medicina de la Universidad de Washington.
Referencia:
Marek, S, Tervo-Clemmens, B, Calabro, FJ, et al. Reproducible brain-wide association studies require thousands of individuals. Nature. 2022. doi: 10.1038/s41586-022-04492-9
Psicólogo y Administrador en Servicios de Salud graduado en la Universidad de Antioquia, con experiencia en intervención individual y grupal con niños, adultos y familias. Experiencia en investigación cuantitativa, evaluación, diagnóstico e intervención psicológica con niños, adultos y familias. Intervención grupal con niños, adolescentes y padres de familia, Planeación y formulación de Políticas Públicas en Salud
