DEFINICIÓN DE REPLICABILIDAD Y REPRODUCIBILIDAD
Segunda Parte
La terminología adoptada por la Association for Computing
Machinery (ACM) para informática, publicada el 2016, como un sistema para las
insignias adjuntas a los artículos publicados por la misma institución,
estableció que sus definiciones están imbuidas en el vocabulario de metrología,
y se asoció con el uso de artefactos digitales de un autor original para "replicabilidad"
y el desarrollo de artefactos digitales completamente nuevos para
"reproducibilidad".
Estas distinciones terminológicas contradicen el uso en la
ciencia computacional, donde la reproducibilidad se asocia con la transparencia
y el acceso a los artefactos digitales del autor, como también con las ciencias
sociales, la economía, los estudios clínicos y otras áreas, donde los estudios
de replicación recopilan nuevos datos para verificar los hallazgos originales.
Considerando que a principios de la década de 1990, los
investigadores comenzaron a utilizar el término "investigación
reproducible" para estudios que proporcionaban un compendio digital
completo de datos y código para reproducir sus análisis, particularmente en el
procesamiento de registros de ondas sísmicas según Claerbout y Karrenbach (1992)
como también Buckheit y Donoho (1995).
El énfasis estaba en asegurar que un análisis computacional
fuera transparente y documentado para que otros investigadores pudieran
verificarlo.
La noción de reproducibilidad de acuerdo a las situaciones
en las que un investigador reúne nuevos datos con la perspectiva de verificar
independientemente los resultados anteriores o una inferencia científica es bastante
diferente de, algunos campos científicos usan el término reproducibilidad para
referirse a esta práctica.
Según Peng y Col (2006), se describió a ese escenario como
"replicabilidad", señalando: La evidencia científica se fortalece
cuando los resultados importantes son replicados por múltiples investigadores
independientes utilizando datos independientes, métodos analíticos,
laboratorios e instrumentos".
A pesar de los esfuerzos para unirse en torno al uso de
estos términos, la falta de consenso persiste en todas las disciplinas.
La confusión resultante es un obstáculo para avanzar y mejorar
la reproducibilidad y la replicabilidad, según Barba (2018).
Con el objetivo de definir estos términos de manera que se
apliquen a través de múltiples disciplinas científicas, la Association for
Computing Machinery (ACM) y la Organización Internacional de Normalización, han
elegido establecer la distinción entre reproducibilidad y replicabilidad entre
la segunda y la tercera pregunta.
Por lo tanto, la reproducibilidad incluye el acto de un
segundo investigador que vuelve a calcular los resultados originales, y puede
satisfacerse con la disponibilidad de datos, código y métodos que hacen posible
ese recálculo.
Esta definición de reproducibilidad se refiere a la
transparencia y reproducibilidad de los cálculos: es decir, es sinónimo de
"reproducibilidad computacional".
Cuando se realiza un nuevo estudio y se recopilan nuevos
datos, dirigidos a la misma pregunta científica o similar a la anterior, la
definimos como una replicación.
Los mismos investigadores podrían realizar un intento de
replicación en el mismo laboratorio para verificar el resultado original, o
podrían realizarlo nuevos investigadores en un nuevo laboratorio o contexto,
utilizando los mismos o diferentes métodos y condiciones de análisis.
Si este segundo estudio, dirigido a la misma pregunta
científica pero recolectando datos nuevos, encuentra resultados consistentes o
puede sacar conclusiones consistentes, la investigación es replicable.
Por lo tanto, después de una extensa revisión de las formas en
que estos términos son utilizados por diferentes comunidades científicas, la
Association for Computing Machinery (ACM) adoptó definiciones específicas, así
la reproducibilidad es obtener resultados consistentes utilizando los mismos
datos de entrada, con pasos computacionales, métodos y código y condiciones de
análisis.
La replicabilidad es obtener resultados consistentes en
todos los estudios destinados a responder la misma pregunta científica, cada
uno de los cuales ha obtenido sus propios datos.
Se puede considerar que dos estudios se han replicado si
obtienen resultados consistentes dado el nivel de incertidumbre inherente al
sistema en estudio.
En estudios que miden una entidad física (es decir, un
mensurando), los resultados pueden ser los conjuntos de mediciones del mismo
mensurando obtenidos por diferentes laboratorios.
En los estudios destinados a detectar un efecto de una
intervención intencional o un evento natural, los resultados pueden ser el tipo
y el tamaño de los efectos encontrados en diferentes estudios destinados a
responder la misma pregunta.
En general, cada vez que se obtienen nuevos datos que
constituyen los resultados de un estudio destinado a responder la misma
pregunta científica que otro estudio, el grado de consistencia de los
resultados de los dos estudios constituye su grado de replicación.
Dos limitaciones importantes sobre la replicabilidad de los
resultados científicos, implica a la precisión de la medición y al potencial de
resultados alterados debido a la variación a veces sutil en los métodos y pasos
realizados en un estudio científico.
Comentarios
Publicar un comentario