La
contribución de la serie sobre fraude científico de la entrada de hoy se
concentra no solo en las consecuencias
académicas de publicar resultados no contrastables, sino en la necesidad de tomar
conciencia sobre las consecuencias sociales de publicar resultados claramente sesgados porque responden
a intereses de poderosos monopolios.
Por ejemplo, hay claros antecedentes de cómo los informes de la industria farmacéutica suelen soslayar los datos sobre graves efectos secundarios
reales sobre el organismo humano con tal de
conseguir la patente del producto para su distribución masiva.
Aunque el
artículo se concentra en las publicaciones sobre ciencias naturales, abre la
reflexión sobre publicaciones procedentes en ciencias sociales. La nota de
Sevilla incorpora aquellos datos procedentes del ámbito de la psicología que no permiten replicarse, lo que introduce claras dudas sobre la metodología empleada, o al menos, de los sesgos que no advierten sobre las variables particulares que incidieron sobre datos presentados con carácter universal.
Si de abordajes en ciencias sociales se trata, no
puedo dejar de mencionar el modo en que se viene saltando directamente el
umbral de lo aceptable en metodología de investigación periodística como las que venimos padeciendo en Latinoamérica hace
tiempo. Aunque afirman haber sido realizadas con metodología rigurosa, llama la
atención que ni se molestan en pedir
disculpas cuando rápidamente se descubre su carácter
fraudulento. Resulta éticamente alarmante que a no se ocupen en reconocer que
se equivocaron por haber publicado fotos o noticias que no se correspondían con
los hechos iniciales, cuando no admitir tal error constituye una abusiva
demostración de poder.
Las lamentables fallas en las publicaciones académicas
que se analizan hoy, aunque se presentan como simples errores de la pluma y la palabra introducen graves consecuencias sociales que muchas veces terminan matando de
manera literal.
Fraude
científico (IV). Algunas consecuencias
Por Joaquín
Sevilla
La existencia del fraude en
investigación no es exclusivo de la investigación científica, como el
recientemente destapado escándalo respecto de investigación forense del FBI
(1). Afecta a las pruebas de concordancia de cabellos que se han utilizado como
prueba de cargo en centenares de casos. Revisiones independientes de las
pruebas llevan a una falta de reproducibilidad masiva que pone en cuestión la
validez de la propia técnica.
Estos investigadores, convencidos de
la culpabilidad del acusado, ven pruebas
más allá de donde realmente las hay del mismo modo que los científicos
convencidos de su hipótesis pueden caer en la ciencia patológica.
Es interesante comprobar que, también
en este caso, la repetición de las pruebas y el avance del conocimiento van
corrigiendo los errores. En el caso forense las consecuencias de los errores
han podido ser fatales dado que hay casos revisados en los que los acusados
fueron condenados a muerte y se ha ejecutado ya la sentencia.
En el caso de los artículos
científicos ¿cuáles son las consecuencias
de errores y fraudes? Fundamentalmente dos: retractación de artículos e
irreproducibilidad de los resultados.
Cuando se publica un resultado incorrecto y se descubre el fallo hay
varias posibilidades. Si el error no invalida las conclusiones del trabajo se publica una fe de erratas en un
número posterior de la revista indicando el problema existente en la
publicación original. Si el error sí
invalida las conclusiones el trabajo debe ser retractado, eliminándolo de
la publicación. La retracción pueden realizarla los autores o los editores de
la revista dependiendo del caso. También puede ocurrir que haya errores que
pasen desapercibidos, en este caso permanecerán en la literatura científica
indefinidamente.
Figura 1. Tomada de Nature 2011 (3)
sobre el aumento de retractaciones con el paso del tiempo
La proporción de artículos
retractados respecto de los publicados es insignificante. Sin embargo, desde el
año 2000 aproximadamente, el número de retractaciones viene creciendo
exponencialmente, incrementándose significativamente la proporción de
retractaciones respecto de artículos publicados, aunque sigue estando muy por
debajo del uno por mil (2,3). Otra
observación interesante es la correlación que se observa entre la proporción de
artículos retractados y la calidad de las revistas de las que se retiran
(considerada a través de su índice de impacto). Las revistas más citadas son
también las que sufren más retractaciones (4). Los expertos que analizan estas
tendencias no creen estemos viviendo una explosión del fraude científico, sino
que es su detección lo que se facilita, sobre todo a partir del año 2000 cuando
se incorpora de forma masiva el uso de internet al manejo de la literatura
científica por parte de los investigadores. Esto ha supuesto que sea más fácil
consultar lo publicado, lo que se refleja en que los artículos incluyen más
citas (5) y probablemente en que se cuestione más lo publicado, encontrándose
más errores que dan lugar a retractaciones. Esto explicaría también la
correlación con el índice de impacto: las revistas más leídas, obviamente, se
ven sometidas a un escrutinio más riguroso que hace aflorar errores y con ellos
las retractaciones. Es por tanto probable que en revistas con índice de impacto
más bajo haya errores que nadie detecta y que permanecen en la literatura. Lo
que ocurre es que esos resultados fallidos no sirven de cimiento para
posteriores trabajos; si son erróneos pero fundamentalmente irrelevantes
tampoco es un gran inconveniente.
Un segundo problema relacionado con
las malas prácticas científicas es la irreproducibilidad de los resultados. Se
ha llegado a publicar que “la mayoría de
los resultados de investigación publicados son falsos” (6). La afirmación
se basa en una comparación estadística entre los resultados publicados y las
distribuciones que serían esperables.
El estudio se concentra en trabajos
de medicina. Se puede criticar que para una afirmación tan gruesa las pruebas
que se aportan son demasiado circunstanciales ya que no se identifica ningún
caso concreto de fraude ni nada parecido. Recientemente se ha realizado un
amplio estudio sobre la reproducibilidad
de resultados publicados, en psicología en este caso (7), obteniéndose
datos alarmantes: el 61% de los resultados no se reproducían en absoluto y en el
resto solo parcialmente.
El problema está lejos de ser
anecdótico, especialmente en disciplinas en las que es necesario repetir
ensayos sobre gran cantidad de individuos y donde hay muchas variables que
pueden interferir en los resultados (como medicina y psicología entre otros).
Las características de estas
disciplinas dejan unos huecos para las prácticas cuestionables que son
difíciles de imaginar en otras en que los sistemas de estudio son más limpios y
la evolución disciplinar más acumulativa (como la ingeniería de comunicaciones
o la física teórica, por ejemplo). No es que en estas últimas no haya casos de
fraude de los dos tipos estudiados, pero es difícil imaginar toda una carrera
científica larga y muy exitosa montada sobre resultados fraudulentos, como el
escandaloso caso del psicólogo Diederik A. Stapel. (8)
Figura 2. Tomada de Nature 2015 (7)
respecto de la reproducibilidad de resultados procedentes de 100 trabajos en investigación social..
No importa cuál sea la razón última de la falta
de reproducibilidad, presión por publicaciones positivas, tendencia a tamaños
de muestra demasiado pequeños (por ahorrar costes), descuido en la realización
de controles o fraude más o menos abierto.
Sea como fuere, el resultado es que el avance real de las disciplinas afectadas
está seriamente comprometido ante la
falta de seguridad que ofrece la literatura establecida.
Con el fin de atajar este problema se han
propuesto desde soluciones un tanto peregrinas, como exigir a los doctorandos
la repetición de resultados publicados (9) hasta planes de actuación más
complejos a largo plazo como la propuesta de Ioanidis sobre cómo publicar ciencia con cierto nivel de
credibilidad (10).
Su propuesta incluye cosas como: La
adopción de proyectos colaborativos a gran escala, la cultura de la
replicación, el registro, establecimiento de buenas prácticas de
reproducibilidad, mejora de métodos estadísticos, estandarización de
definiciones y análisis, etc.
De alguna forma parece que el umbral
de lo aceptable se ha desplazado en algunas disciplinas hasta límites que en
realidad no queríamos aceptar y es necesario un trabajo de fondo para
devolverlo a un lugar más razonable.
Referencias:
(2) “Por qué los editores
de revistas científicas no quieren usar programas antiplagio y antifraud” Francisco Villatoro
en La ciencia de la mula Francis, 5 de octubre de 2011,
(4) “Retracted Science and the Retraction Index”, F.C. Fang, A.
Casadevall and R. P. Morrison, Infect. Immun.October 2011 vol.
79 no. 10 3855-3859 http://iai.asm.org/content/79/10/3855
(5) “Growth in the number of references in engineering journal papers during
the 1972–2013 period” I. Ucar, F. López-Fernandino, P.
Rodriguez-Ulibarri, L. Sesma-Sanchez, V. Urrea-Micó and J. Sevilla. Scientometrics 98
(3), 1855-1864.
(6) Ioannidis JPA (2005) Why Most Published Research Findings Are
False. PLoS Med 2(8): e124. doi: 10.1371/journal.pmed.0020124
(7) “First
results from psychology’s largest reproducibility test” Monya Baker. Nature
News, 30 April 2015. http://www.nature.com/news/first-results-from-psychology-s-largest-reproducibility-test-1.17433
(8) “Escándalo
científico por el fraude de un psicólogo social holandés que inventó sus
investigaciones y las publicó en 'Science”.
Diario el País (1 de noviembre de 2011) http://sociedad.elpais.com/sociedad/2011/11/03/actualidad/1320274813_850215.html
(9) “Could students solve the irreproducibility crisis?”. Chris
Woolston. Nature 524,
9 (06 August 2015) doi:10.1038/524009f http://www.nature.com/news/could-students-solve-the-irreproducibility-crisis-1.18095
(10) Ioannidis
JPA (2014) How to Make More Published Research True. PLoS Med 11(10): e1001747 http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1001747
No hay comentarios:
Publicar un comentario