Metodología

¿COMO COMPRENDER LA REPRODUCIBILIDAD Y LA REPLICABILIDAD?

En 2013, la historia de portada de The Economist, "How Science Goes Wrong", atrajo la atención pública a los problemas de reproducibilidad y replicabilidad en la ciencia e ingeniería, implica análisis el cómo ha evolucionado la práctica de la ciencia y cómo estos cambios han introducido desafíos para la reproducibilidad y la replicabilidad en el contexto de la comunidad científica.

Debido a que los términos reproducibilidad y replicabilidad se usan de manera distinta en las disciplinas científicas, generando confusión a un conjunto complicado de desafíos y soluciones, es contextual, también detallar definiciones y destacar el alcance de la expresión de los problemas de no reproducibilidad y no replicabilidad en la ciencia e investigación en general.

En las prácticas evolutivas de la ciencia, la investigación científica se ha desarrollado de una actividad realizada principalmente, por personas que operan en algunos lugares a muchos equipos, grandes comunidades y organizaciones complejas que involucran a cientos o miles de personas en todo el mundo. En el siglo XVII, los científicos se comunicaban a través de cartas y podían comprender y asimilar desarrollos importantes en todas las disciplinas principales emergentes; en el 2019, el año más reciente para el que hay datos disponibles, se publicaron más de 2,295,000 artículos de investigación científica e ingeniería en todo el mundo (National Science Foundation, 2019e).

Además, el número de campos científicos e ingeniería y subcampos de investigación, se ha expandido enormemente en las últimas décadas, especialmente en campos que intersectan disciplinas (por ejemplo, biofísica); ahora se pueden identificar más de 230 campos y subcampos distintos. La literatura publicada es tan voluminosa y especializada que algunos investigadores buscan técnicas de recuperación de información, aprendizaje automático e inteligencia artificial para rastrear y aprehender el importante trabajo en sus propios campos.

Otra revolución trascendental en la ciencia llegó, con la reciente disponibilidad de grandes cantidades de datos en combinación con recursos informáticos, ampliamente disponibles y asequibles. Estos cambios han innovado muchas disciplinas, permitido importantes descubrimientos científicos y conducidos a cambios importantes en la ciencia.

Además, el uso del análisis estadístico de datos se ha expandido, y muchas disciplinas han llegado a depender de instrumentación compleja y costosa que genera y puede automatizar el análisis de grandes conjuntos de datos físicos y digitales.

La informática a gran escala se ha adoptado en campos tan diversos como la astronomía, la genética, la geociencia, la física de partículas y las ciencias sociales, ha agregado alcance a campos como la inteligencia artificial. La democratización de los datos y la computación ha creado nuevas formas de realizar investigaciones.

En particular, el cómputo a gran escala permite a los científicos realizar investigaciones, que no eran posibles hace unas décadas. Por ejemplo, los investigadores de salud pública, extraen grandes bases de datos a partir de redes sociales, en busca de patrones, mientras que los científicos de área tecnológica, ejecutan simulaciones masivas de sistemas complejos para aprender sobre el pasado, lo que puede ofrecer información sobre posibles eventos futuros.

Otro cambio en la ciencia es una mayor presión para publicar nuevos descubrimientos científicos en prestigiosas revistas y lo que algunos consideran revistas de alto impacto, como Nature o Science.

Esta presión se siente en todo el mundo, en todas las disciplinas y por los investigadores en todos los niveles, pero quizás sea más aguda para los investigadores al inicio de sus carreras científicas, que aspiran establecer un sólido historial científico para aumentar sus posibilidades de obtener la posesión o formar parte en una institución académica que subvencione económicamente trabajos futuros de investigación.

Tradicionalmente, las decisiones de posesión o tenencia se han tomado sobre la base del registro científico (es decir, artículos publicados de importantes resultados nuevos en un campo) y han dado mayor peso a las publicaciones en revistas más prestigiosas. La competitividad por las subvenciones federales, una gran fuente de financiación de investigación académica, la competencia es intensa ya que el número de solicitantes crece a un ritmo mayor que el aumento de los presupuestos federales de investigación; estos factores múltiples crean incentivos para los investigadores, promoviendo circunstancialmente exagerar la importancia de sus resultados y aumentar el riesgo de sesgo, ya sea consciente o inconsciente, en la recopilación de datos, análisis e informes.

En el contexto de estos cambios dinámicos, las preguntas y los problemas relacionados con la reproducibilidad y la replicabilidad siguen siendo fundamentales para el desarrollo y la evolución de la ciencia, entonces ¿Cómo deberían diseñarse los estudios y otros enfoques de investigación para generar eficientemente conocimiento confiable? ¿Cómo podrían comunicarse mejor las hipótesis y los resultados para permitir que otros los confirmen, refuten o construyan sobre ellos? ¿Cómo pueden entenderse, identificarse y exponerse los posibles sesgos de los propios científicos para mejorar la precisión en la generación e interpretación de los resultados de la investigación? ¿Cómo se puede detectar y eliminar la tergiversación intencional y el fraude?

En respuesta la comunidad de investigadores han propuesto enfoques para responder algunas de las preguntas en las últimas décadas. Ya en la década de 1960, Jacob Cohen encuestó artículos de psicología desde la perspectiva del poder estadístico para detectar tamaños de efectos, un enfoque que lanzó muchas encuestas de poder posteriores (también conocidas como metanálisis) en las ciencias sociales en los años posteriores ( Cohen, 1988).