Metodología

 

DEFINICIÓN DE REPLICABILIDAD Y REPRODUCIBILIDAD

Primera Parte

Diferentes disciplinas e instituciones científicas usan las palabras replicabilidad y reproducibilidad de manera inconsistente o incluso contradictoria, lo que un grupo científico quiere decir con una palabra, el otro grupo quiere decir con la otra palabra.

Estos términos, y otros, como la repetibilidad, se han utilizado durante mucho tiempo en relación con el concepto general de un experimento o estudio que confirma los resultados de otro.

Dentro de este concepto general, sin embargo, no ha surgido ninguna forma terminológicamente consistente de hacer distinciones; en cambio, han florecido términos contradictorios e inconsistentes.

Las dificultades para evaluar la replicabilidad y la reproducibilidad, se complican por la ausencia de definiciones estándar para estos términos.

En algunos campos, se ha utilizado un término para cubrir todos los conceptos relacionados, por ejemplo, la "replicación" cubrió históricamente todas las preocupaciones en ciencias políticas según King (1995).

En muchos entornos, los términos replicable y reproducible tienen significados distintos, pero diferentes comunidades adoptaron definiciones opuestas, según Claerbout y Karrenbach (1992) Peng et al. (2006) en Association for Computing Machinery (2018).

Algunos han agregado términos calificativos, como la reproducibilidad de métodos, la reproducibilidad de resultados y la reproducibilidad inferencial al léxico según Goodman et al. (2016)

En particular, ha surgido tensión entre el uso recientemente adoptado en informática y la forma en que para el caso negativo, tanto "no reproducible" como "irreproducible" se utilizan en el trabajo científico y son sinónimos.

En un documento de revisión sobre el uso de los términos reproducibilidad y replicabilidad, según Barba (2018), quien describió tres categorías de uso, que caracterizó como A, B1 y B2:

A: Los términos se usan sin distinción entre ellos.

B1: "Reproducibilidad" se refiere a instancias en las que los datos del investigador original y los códigos de computadora se utilizan para regenerar los resultados, mientras que "replicabilidad" se refiere a instancias en las que un investigador recopila datos nuevos para llegar a los mismos hallazgos científicos que en un estudio anterior.

B2: "Reproducibilidad" se refiere a investigadores independientes que llegan a los mismos resultados utilizando sus propios datos y métodos, mientras que "replicabilidad" se refiere a un equipo diferente que llega a los mismos resultados utilizando los artefactos del autor original.

B1 y B2 se oponen entre sí con respecto a qué término implica la reutilización de los artefactos digitales de investigación de los autores originales ("compendio de investigación") y que implica artefactos digitales creados de forma independiente.

Barba (2018) recopiló datos sobre el uso de estos términos en una variedad de disciplinas, pero independientemente de los términos específicos utilizados, los conceptos subyacentes han desempeñado durante mucho tiempo papeles esenciales en todas las disciplinas científicas.

Estos conceptos están estrechamente relacionados con las siguientes preguntas generales sobre resultados científicos:

1.       ¿Se presentan los datos y el análisis con suficiente transparencia y claridad para poder verificar los resultados?

2.       Si se marca, ¿los datos y el análisis que se ofrecen para respaldar el resultado respaldan de hecho ese resultado?

3.       Si se muestra que los datos y el análisis respaldan el resultado original, ¿se puede encontrar nuevamente el resultado informado en el contexto de estudio específico investigado?

4.       ¿Se puede encontrar nuevamente el resultado informado o la inferencia extraída en un conjunto más amplio de contextos de estudio?

Los científicos computacionales generalmente usan el término reproducibilidad para responder solo a la primera pregunta, es decir, la investigación reproducible es una investigación que puede verificarse porque los datos, el código y los métodos de análisis están disponibles para otros investigadores.

El término reproducibilidad también se puede usar en el contexto de la segunda pregunta: la investigación es reproducible si otro investigador realmente usa los datos y el código disponibles y obtiene los mismos resultados.

La diferencia entre la primera y la segunda pregunta es la acción de otro investigador; el primero se refiere a la disponibilidad de los datos, el código y los métodos de análisis, mientras que el segundo se refiere al acto de volver a calcular los resultados utilizando los datos, el código y los métodos de análisis disponibles.

Para responder las preguntas primera y segunda, un segundo investigador usa datos y código de la primera; el segundo investigador no crea datos o códigos nuevos.

La reproducibilidad depende solo de si los métodos del análisis computacional se informaron de forma transparente y precisa y si esos datos, código u otros materiales se utilizaron para reproducir los resultados originales.

En contraste, para responder la pregunta tres, un investigador debe rehacer el estudio, siguiendo los métodos originales lo más cerca posible y recolectando datos nuevos.

Para responder a la pregunta cuatro, un investigador podría tomar una variedad de caminos: elegir una nueva condición de análisis, realizar el mismo estudio en un nuevo contexto o realizar un nuevo estudio dirigido a la misma pregunta de investigación o similar.

Visita mi artículo sobre Precisión de Medición en Observaciones Científicas