viernes, 19 de agosto de 2016

La profesionalidad en el sistema de revisión de artículos cientificos #Scientia #noticias


Ayer, tras 4 meses de investigaciones en el laboratorio y una semana de redacción, envié un artículo científico a una revista internacional del área "Bioquímica y Biología Molecular". En el momento que pulsé el botón "enviar" empezó su proceso de evaluación.

El primer revisor siempre es el editor. Comprobará si el artículo se ajusta a los objetivos de la revista (scope) y si le parece interesante. En caso de que así sea lo enviará a una serie de revisores internacionales (3 o 4 normalmente) para que emitan exhaustivos informes que valoren el trabajo en base a diferentes criterios como originalidad, importancia, actualidad, rigurosidad, etc. Posteriormente el editor leerá detenidamente dichos informes, tomará una decisión acerca de mi trabajo y me la comunicará a través de un e-mail que siempre da miedo abrir. Es lo que se conoce como "proceso de revisión por pares" ("peer review" en inglés), un sistema que está siendo puesto en tela de juicio por muchísima gente y sobre el que hoy quiero aportar mi pequeño grano de arena. Concretamente me centraré en uno de los aspectos del peer review que me parece muy importante y del que poco se habla: los revisores.

vtgbsqtx-1402449234

¿Quiénes son los encargados de evaluar los trabajos científicos enviados por los investigadores? En teoría son científicos expertos en el tema que van a revisar. Sin embargo, la realidad en muchas ocasiones no es esa y, en mi modesta opinión, existe una razón. Vayamos por partes.

¿Qué trabajo debe hacer el evaluador? Cuando recibe al artículo suele hacer una primera lectura para conocer el trabajo que va a evaluar. Solo en caso de considerarse un experto en el tema aceptará revisar el trabajo. A continuación debe hacer una revisión bibliográfica de lo que han publicado otros autores en el mismo campo para conocer si el articulo que le ha enviado el editor aporta algo nuevo a lo ya publicado. Más tarde volverá a leer el trabajo pero con mucha más profundidad, analizando detenidamente cada una de las secciones (resumen, introducción, materiales y métodos, resultados, discusión y bibliografía) y anotando los fallos que observe en cada una de ellas. Finalmente redactará un informe que enviará a la revista para que el editor lo sume a los informes realizados por los otros evaluadores. En dicho informe aparte de los aspectos concretos que crea oportuno el evaluador da su opinión sobre el status final que merece el articulo.

Los cuatro status posibles son los siguientes:

  • Aceptado sin modificación alguna. Es la respuesta ideal pero la más infrecuente. De hecho a mí solo me ocurrió una vez. Precisamente en mi primer artículo científico publicado en el año 1994. Después del miedo que me habían metidos mis jefes con el proceso peer review no tuve que cambiar ni una letra por lo que pensé que esto de publicar era pan comido. A partir de ahí todo fue a peor…ni uno más de mis artículos ha merecido hasta ahora esa consideración. No estoy de coña.
  • Aceptado con pequeñas correcciones (minor revisions). Puedes respirar tranquilo. Lo tienes casi aprobado. El revisor te sugiere hacer ligeros cambios en el manuscrito normalmente referidas al estilo de escritura, fallos en la bibliografía, etc. También suele formularte alguna pregunta de las consideradas "fáciles" de contestar.
  • Aceptado con grandes correcciones (major revisions). Estás al límite de que no te lo acepten. El revisor considera que debes hacer cambios muy significativos en tu artículo si quieres que sea aceptado. Suele proponerte que hagas nuevos experimentos para avalar tus hipótesis, te hace una batería de preguntas que te ponen en serias dificultades… estás jodío pero aun puedes salvar los muebles. No es la peor de las respuestas.
  • La has cagao. Tu trabajo no le ha gustado nada al evaluador. Te ha mandado a galeras a remar. No hay nada que hacer. De hecho no acepta ni que le contestes a sus comentarios. Es el momento en el que buscas mil excusas y te sueles acordar de las familias del revisor, del editor…da igual. Está OUT del proceso si el editor sigue la recomendación del revisor.

Cuando el editor recibe las opiniones de los distintos evaluadores las valora, hace su informe final y se lo comunica al pobre investigador que está esperando como agua de mayo la decisión final: Accepted; Minor revisions; Major revisions o Reject. Si da opción al investigador a contestar a las preguntas de los revisores (casos 2 y 3), el editor habitualmente remite las respuestas de nuevo a los evaluadores para ver si están de acuerdo. Si lo están, el artículo pasa a ser aceptado. Si no, pueden seguir preguntando o mandarte al garete. Todo este proceso puede durar desde unas horas (mal síntoma) hasta varios meses.

Captura de pantalla 2016-08-19 a la(s) 09.57.24

Hasta aquí todo correcto. Les he explicado brevemente cómo funciona (o debería funcionar) el sistema de revisión por pares. Sin embargo, la realidad se aleja mucho de la teoría. Y aquí es donde voy a meter el dedo en la llaga.

¿Qué reciben los evaluadores de artículos a cambio de su importantísima labor? Nada… o al menos que yo sepa. Soy evaluador de varias revistas científicas y jamás he cobrado por ello ni he recibido nada a cambio. Tampoco ser revisor es un mérito importante en un curriculum vitae. ¿Debería remunerarse la labor del evaluador? Por supuesto. ¿Eso influye en la calidad de las publicaciones? Mucho. Veamos.

Las editoriales que publican trabajos científicos cobran a las instituciones o a las personas individuales que quieren acceder a sus artículos. Entonces…¿por qué van a hacer su trabajo gratis las personas que evalúan los trabajos que publican las editoriales? Como han apreciado el trabajo del evaluador no es ninguna tontería. Para hacer su informe debe usar su gran experiencia en el específico tema a evaluar, leer muy detenidamente el trabajo y hacer un informe minucioso que puede incluir recomendaciones y preguntas a los responsables del trabajo. Además, debe estar dispuesto a recibir las respuestas y juzgarlas. Eso lleva mucho tiempo (si se hace con rigurosidad) y, sobre todo, poner encima de la mesa todos los conocimientos que el evaluador ha acumulado gracias a su trabajo de muchos años.

Por otra parte la responsabilidad de juzgar el trabajo de otros investigadores es mucha. De su decisión depende si el trabajo realizado durante meses por varios investigadores merece ser publicado o no…y de ello depende los curriculum vitae, posibles financiaciones, etc. Evaluar a la ligera puede tener graves consecuencias. Sigamos.

revistas cientificas

¿Y por qué afirmo que el hecho de que los evaluadores no sean recompensados por su trabajo está teniendo consecuencias sobre la calidad de los artículos publicados? Por una razón de la que poco se habla. Muchos investigadores, entre los cuales me encuentro, hemos comenzado a renunciar a revisar trabajos científicos en estas condiciones. Eso ha llevado a que el número de revisores que tienen los editores a su disposición esté reduciéndose considerablemente. ¿Y esto es importante? Sí… porque en realidad, y debido a la alta especialización de los trabajos que se publican, no hay tantos investigadores en el mundo capaces de revisar un trabajo científico concreto.

Los trabajos científicos abordan cuestiones muy especificas de un campo de investigación. En mi caso, y como conocen los seguidores de la serie "La ciencia de El Señor de los Anillos", mi área es la encapsulación molecular de compuestos bioactivos. Para ello empleo como agentes encapsulantes las ciclodextrinas, como compuestos bioactivos preferentemente estíbenos, ácidos grasos o elicitores y como técnicas de análisis la espectrofotometría, la fluorescencia o la cromatografía líquida normalmente.

Como se podrán imaginar no son muchos los científicos que abordan esos tres campos (ciclodextrinas + compuesto bioactivo + técnica analítica) conjuntamente. Es cierto que se podría recurrir a tres revisores que sean cada uno especialista en una de esas áreas pero la conexión entre ellas es tan grande que no es tarea fácil encontrar a revisores adecuados… y menos si por el hecho de que no se reconozca su labor muchos potenciales revisores renuncian a evaluar trabajos.

Captura de pantalla 2016-08-19 a la(s) 10.05.15

Vale, entendido, el número de investigadores internacionales capaz de evaluar trabajos muy específicos no es alto… ¿pero por qué el que se haya reducido el número de investigadores dispuestos a evaluar un trabajo científico puede afectar a la calidad de las publicaciones? Porque las revistas están recurriendo a procesos de selección de revisores que, en muchos casos, no aseguran ni la calidad en la evaluación ni su objetividad. Les pondré dos ejemplos.

En los últimos tiempos estoy recibiendo innumerables solicitudes por parte de editores de revistas científicas para que evalúe artículos que no tienen nada que ver con mi área de trabajo. Hace unos años eso no ocurría. Evidentemente los rechazo pero no solo por la razón que les he dado antes sino porque sería un disparate juzgar un trabajo que no es de mi especialidad. Científicamente podría caer en infinidad de errores y, éticamente, sería deshonesto con el sistema de publicaciones científicas e injusto con el trabajo de otros colegas. Podría informar positivamente sobre un trabajo que tuviera grandes lagunas en aspectos de los que no soy especialista o, por el contrario, podría negarme a la publicación de artículos que con una simple revisión cumplirían los mínimos exigibles para su aprobación. Estoy seguro que el poco conocimiento del tema evaluado es una de las explicaciones que justifican las surrealistas respuestas que, a veces, dan algunos revisores de artículos científicos… y lo peor es que no dan opción a responder.

Desgraciadamente conozco muchos casos donde investigadores aceptan evaluar artículos que no son de su campo de trabajo. Debido a ello aparecen de vez en cuando artículo en revistas científicas que nadie se explica cómo han pasado el proceso de revisión. Yo les acabo de dar una posible explicación: el revisor no estaba capacitado.

Otro ejemplo de las consecuencias de la reducción del número de evaluadores lo encontramos en la posibilidad que ofrecen algunas revistas a los investigadores de proponer revisores para sus propios trabajos… sí, lo que que han leído. ¿Lo recomiendo? No. Seamos sinceros. Si a un investigador le dicen que proponga 3 o 4 potenciales revisores de su trabajo…¿a quién van a elegir? ¿A enemigos? Yo, desde luego, no.

Peer-review-1

Y ante todo esto…¿existe alguna solución posible? Desde mi humilde punto de vista, sí: profesionalizar el sistema de evaluación de trabajos científicos. Es necesario que un editor disponga de una buena cartera de revisores a los que mandarles los trabajos científicos que lleguen a su revista. Para ello es imprescindible que las editoriales cambien su modus operandi y encuentren la forma de recompensar el trabajo de estos revisores. Con ello se tendrá a verdaderos expertos en cada materia que aseguren la rigurosidad y la justicia del proceso de revisión, no existirá la posibilidad de que un trabajo caiga en manos de alguien que no entienda el tema abordado y se ganará en transparencia ya que no hará falta que los investigadores recomienden o veten revisores. La profesionalidad en el sistema de revisión de artículos científicos, como todo en la vida, es fundamental.

¿Significa todo esto que todos los revisores actuales no hacen bien su trabajo? En absoluto. Hay muchos (la mayoría) investigadores serios y responsables que hace bien su trabajo de evaluación … pero al no darse las condiciones adecuadas también hay muchos que no lo hacen y eso hay que mejorarlo. Mi propuesta es clara: profesionalicemos el proceso de revisión por pares.

Como bien dice el profesor de la Universidad de Málaga Francisco Villatoro en su excepcional blog "La Ciencia de la Mula Francis" en el que pueden encontrar muchos artículos que abordan brillantemente este tema, "el crecimiento exponencial del número de revistas y de artículos científicos publicados al año ha puesto contra las cuerdas el sistema de revisión por pares". Por tanto, la ecuación es fácil: "Si hay mayor número de artículos y menor número de revisores…el problema está asegurado".

Estimados lectores, el sistema de revisión de artículos científicos necesita mejorar en muchos aspectos y hoy me he centrado en uno de ellos. Hay otros muchos que abordar. Sin embargo, no estoy de acuerdo con aquellos que dicen que el peer review es un fraude. Tampoco con aquellos que afirman que solo sirve para que las editoriales científicas se lucren, que los artículos se quedan obsoletos nada más publicarse o que no sirven para transmitir la ciencia. Una cosa es que un sistema sea mejorable y otra muy distinta que esté podrido. Seamos serios.

Jose

  • Si te ha gustado el post puedes difundirlo en MNM pinchando en este enlace. Gracias.

Nota: Este post forma parte de la serie "La maratón universitaria" a la que pueden acceder pinchando este enlace.