DOI: 10.25012/blog.16.10.2018

El 18 septiembre Redalyc dirigió una carta a los más de mil editores de las revistas incluidas en este reconocido sistema de información, comunicando que para la inclusión y permanencia en dicho sistema las revistas deberían firmar la declaración de San Francisco DORA. Días después, en las redes se recibía información de decenas de revistas adhiriéndose. Es temprano, para saber el desenlace, pero nos interesó conocer los detalles de un hecho que puede ser significativo en el futuro de las revistas en la región. Por ello, platicamos con la Dra. Arianna Becerril, directora Ejecutiva de Redalyc.

Juan Felipe Vargas: Gracias Arianna por aceptar dialogar sobre las razones y los posibles efectos de la decisión de Redalyc de solicitar la firma de la Declaración de San Francisco para la evaluación de la investigación, mejor conocida por sus siglas en inglés DORA.

Arianna Becerril: Te agradezco Juan Felipe, porque será una oportunidad para dar mayor información sobre un tema que creemos es de mayor interés para editores, investigadores, universidades y consejos de ciencia y tecnología. Pero, primero un poco de historia que nos permita situar esto en contexto.

A fines de 2012 La Sociedad Americana de Biología Celular se reunió para anunciar la San Francisco Declaration on Research Assessment (DORA), que en en resumen -luego me gustaría ampliar algunos puntos- dice que hay que frenar la práctica, cada vez más extendida, de asociar el Factor de Impacto -que se otorga a las revistas- con los méritos de la contribución a la ciencia. En consecuencia, se opone -como miles de críticos- a utilizar dicho indicador como medida de calidad de los artículos individuales, y que sea tomado en cuenta como factor importante en la contratación o promoción de los investigadores o en el financiamiento de proyectos. En resumen, ha sido una demanda continua e histórica de investigadores y bibliómetras. Los mismos creadores están de acuerdo. Eugene Garfield siempre alertó por el uso excesivo del FI y su extrapolación; Felix de Moya, creador del SJR, ha afirmado recientemente en las redes que “El problema del FI es el mal uso en las políticas públicas”.

Isidro Aguillo, bibliómetra experto, utiliza buena parte de sus presentaciones públicas para mostrar los límites y abusos en el uso del “Infame Factor de Impacto” como él le llama. Francisco Osorio, editor de una magnífica revista de epistemología -por cierto una de las primeras que ingreso a Redalyc hace más de 15 años- cuando afirma citando no recuerdo a quién: el FI es una falacia y hay mucha y variada literatura en apoyo a dicha afirmación y se hace la pregunta ¿entonces por qué lo seguimos utilizando?, más cuando todos sabemos que Garfield lo diseñó para otra cosa, para decirles a los bibliotecarios qué era lo que estaba leyendo y valoraba la comunidad científica, como elementos para apoyar la adquisición de suscripciones en su biblioteca.

Pero, si revisamos los procesos de evaluación en ANECA (España) donde piden un número de artículos en los cuartiles superiores del JCR, en Ecuador donde le otorgan diez puntos a WOS o Scopus y 1 a Scielo y Redalyc; la política del CONICYT en Chile, COLCIENCIAS en Colombia y CONACYT en México, aún si observamos los procesos de estímulos a los investigadores a nivel de universidades, se identifica claramente que se ubica en el rango más alto la publicación en revistas que ocupan los cuartiles 1 y 2.

Este es el punto que trataré de enfatizar y resumir. Precisamente es la crítica de DORA: evaluar a la revista sobre la calidad del artículo, ésta es la cuestión. Esta forma de evaluación le está otorgando el prestigio -mediante el FI- a la revista y el artículo pudo no ser siquiera citado o leído. Claramente es un error ¿no crees?. Más aún cuando es conocido y aceptado que una proporción importante de artículos no reciben citas.

Aclaremos qué dice y qué propone DORA. En primer lugar destaca un conjunto de límites del Factor de Impacto, textualmente dice:

“las distribuciones de citas dentro de las revistas son muy sesgadas, las propiedades del factor de impacto son específicas de cada campo: es un compuesto de múltiples tipos de artículos altamente diversos, incluyendo trabajos de investigación primaria y revisiones, los factores de impacto pueden ser manipulados por la política editorial, y los datos utilizados para calcular el factor de impacto no son transparentes ni están abiertamente disponibles para el público.”

Por ello recomiendan de manera general (cito textual):

“No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.”

JFV: Si todo mundo está de acuerdo, como planteas, o la mayoría, ¿por qué entonces no ha habido un pronunciamiento o adhesión de forma significativa en la región y por qué es Redalyc quien da un paso firme en este sentido?

AB: Precisamente por eso toma la decisión Redalyc, pero la ausencia de postura o aparente desinterés en la región, podría explicarse por la manera como Latinoamérica ha adoptado los indicadores y el peso, o sobrepeso que le ha dado en los procesos de evaluación. Pero lo único que hace Redalyc es sumarse, sí, sumarse a los principales centros de investigación, universidades y revistas del mundo que se han adherido a DORA. Por ejemplo, han firmado centros de excelencia de investigación del nivel de la Royal Society en el Reino Unido, el Centro Nacional de Investigaciones Científicas mejor conocido como CNRS o el Instituto Pasteur de Francia, la Asociación Europea de Sociología, el International Council for Science: Entre universidades podemos mencionar a la Universidad de Sussex, la Universidad de Manchester, el Imperial College, la Universidad de Birmingham, Universidad de Oxford, en fin muchos se han pronunciado a favor.

Entre las revistas destacan Nature, Nature Cell Biology, Plos, eLife, PeerJ, BMJ, y dentro de las fundaciones y sistemas de apoyo a la ciencia podemos mencionar la Fundación Bill y Melinda Gates, Figshare, DOAJ, OASPA, AJOL, Impact Story. Esas son algunas que recuerdo. Redalyc se suma a este movimiento que ha sido respaldado por las principales organizaciones científicas del mundo, donde llama la atención el aislamiento al respecto de nuestra región. Para darnos cuenta de la dimensión es importante decir que han firmado más de 550 instituciones dedicadas a la ciencia del mundo y más de 12,500 científicos e investigadores del mundo, cientos de organizaciones y miles de investigadores, por lo que podemos considerarlo un movimiento, que con la adecuada promoción podría crecer de forma importante, y buscamos que se convierta en un referente también en nuestra región.

Arianna Becerril: “Una cantidad importante de editores nos felicita por la iniciativa y dice que no sólo firmó como revista -que es la petición- comentan que se han adherido a título personal y que incluirán el logo de DORA en su sitio web”.

Adherirse no obliga a nadie a no participar en Web of Science (por ejemplo) donde se obtiene el FI, pero sí es significativo que las revistas que tienen este indicador al adherirse muestren e inviten a reflexionar sobre el uso y abuso de las métricas.

Pero particularmente queremos invitar a la reflexión sobre los sistemas de evaluación y sus efectos en la investigación, en la docencia, en la sociedad, etc., bajo estos criterios que no revisan el contenido ni la calidad del mismo, sino que cuantifican las citas y que tienen problemas de replicabilidad, porque la categoría citables y no citables permite clasificaciones no objetivas y posibles alteraciones.

Además, en América Latina hay más de 15 mil revistas vigentes y en los sistemas que generan las métricas (WoS-Scopus) sólo encuentras alrededor una pequeña porción de estas. No quisimos hacer una invitación, porque en general las invitaciones no funcionan o lo hacen de manera débil y a muy largo plazo, como lo demuestran por ejemplo, los mandatos nacionales e institucionales de Acceso Abierto que cuando no son vinculantes no causan mayor efecto.

Redalyc utiliza recursos públicos y su única finalidad es dar visibilidad, brindar tecnología y acompañar a las revistas en su consolidación. Lo ha hecho a lo largo de 16 años de existencia. Hoy requerimos de la voz de los editores, de su toma de postura para garantizar el sentido y la supervivencia de iniciativas y sistemas como éste. Debemos reconocer, como sociedad, que abrir el acceso a la ciencia no es suficiente, es necesario pensar en la sostenibilidad para garantizar que la ciencia siga abierta, justamente evaluada y en manos de la academia. Y la sostenibilidad sólo podrá lograrse si compartimos principios respecto a la publicación abierta. Un principio en defensa de la publicación abierta es rechazar el FI y al SJR como únicos indicadores de calidad, prestigio e impacto.

JFV: Gracias Arianna, las respuestas están aclarando las razones. Pero cuando te busqué para la entrevista me interesaba en particular la respuesta de los editores, ¿qué nos puedes decir al respecto?

AB: Hoy es 15 de octubre, ha pasado un mes y sólo ha habido felicitaciones y respuestas positivas. Hay 275 respuestas positivas, y de ellas todas, exceptuando dos -de las que luego hablaré- han firmado, nos han mandado la evidencia y, algo muy satisfactorio, es que muchos nos han enviado cartas de agradecimiento y compromiso con el proyecto. Una cantidad importante de editores nos felicita por la iniciativa y dice que no sólo firmó como revista -que es la petición- comentan que se han adherido a título personal y que incluirán el logo de DORA en su sitio web. Han sido días muy agradables, en ese sentido. Profundamente gratificantes. Han nutrido de sentido, el esfuerzo y quehacer de todo el equipo de Redalyc.

Antes de que me preguntes o valores si las respuestas son pocas o muchas, te diré que creemos que habrá una magnífica respuesta, que la totalidad o la gran mayoría de las revistas nos acompañarán en esta nueva aventura de construir una plataforma de comunicación basada en principios. En principios que justifican nuestra existencia y nuestro quehacer.

Considero que muchos editores ni siquiera la han leído y otros no conocen DORA aún, otras pensarán que pueden tener repercusiones en los sistemas a los que de una u otra manera les gustaría estar incluidos, lo que evidentemente no es cierto y se constata al ver que muchas revistas reconocidas la han signado.

Es trabajo de comunicación que hay que hacer y agradezco esta entrevista, porque ayudará a este propósito. Estoy convencida que los editores deben erigir una voz en contra de un sistema de valoración que no reconoce a los más y los reconocidos muestran las deficiencias del sistema.

Pongamos como ejemplo Colombia. La revista Co-herencia queda como una de las mejores revistas de Colombia, clasificada en A2 porque en SJR está clasificada en el cuartil 2, pero alcanzó ese lugar con 4 citas recibidas en 2017, 7 en 2016 y 5 en 2015; o sea por 16 citas en los últimos 3 años está clasificada entre las mejores 13 revistas del país de un sistema que reconoce alrededor de 300.

Podemos mencionar la Revista Derecho del Estado de la Universidad de Externado que recibió 8 citas en los últimos tres años y también está situada dentro de las trece revistas más importantes del país en la categoría A2. Algo está mal, salta a la vista. Si con esas citas se pueden alcanzar esos lugares de posicionamiento, algo no está bien.

Podría seguir algún tiempo mostrando cosas extrañas o irregularidades como les quieras llamar: la valoración del desempeño y de la contribución está en otro lado, pero si lo restringimos a 8 citas recibidas en tres años, sólo puedo decirte que muestra claramente el mal uso y abuso de los indicadores y eso es lo que está enfatizando DORA.

Para cerrar, retomo algo que mencioné, que sólo ha habido hasta el momento dos editores que se han opuesto y la razón no ha sido lo expresado por DORA, sino que consideraron que la petición era una intervención en la política editorial de la revista y eso no era aceptable.

Redalyc trabaja para el empoderamiento de los editores de la región, su tecnología y sentido del trabajo es fortalecer el ecosistema de publicación académica de acceso abierto de la región. Tenemos requisitos como cualquier sistema de indización, específicamente tenemos 21 requisitos obligatorios, que van desde tener un ISSN, contar con XML-JATS, mantener un porcentaje de exogeneidad del Comité Editorial, un porcentaje de artículos de investigación, sistema de revisión por pares con reglas explícitas, una política de acceso abierto, una licencia de acceso abierto y ahora la adhesión a DORA. Todos son requisitos que garantizan la calidad, la sustentabilidad y el sentido del proyecto. Creo que una buena comunicación con los editores nos permitiría hacer una voz.

JFV: Arianna, lo están definiendo como requisito de inclusión y permanencia. En consecuencia ¿existe la posibilidad de que un número de revistas ya no pertenezcan al Sistema de Información Científica Redalyc?

AB: Estoy muy segura de lo que te expreso, conocemos a nuestros editores. La respuesta seguirá como esta siendo y cuando tengamos 1000 revistas con adhesión a DORA, habrá una voz de todos los editores de la región, de las principales revistas manifestando su postura, llevan años trabajando para garantizar la calidad, originalidad y relevancia de nuestras publicaciones; han construido una comunidad institucional, nacional, regional e internacional con recursos escasos y mucho compromiso, han entregado los contenidos a la sociedad, contribuyendo al ecosistema editorial de la región, a la investigación, a la docencia. Los trabajos reunidos con un sello editorial y el respaldo de una universidad han tenido un impacto en la ciencia expresado en múltiples sentidos y lugares. Han tenido impacto científico, político, organizativo, tecnológico, económico, en salud y condiciones de vida; también un impacto cultural, ambiental, social, simbólico y educativo -según el trabajo de Godin y Goré-; no es adecuado reducir un quehacer complejo a unas cuantas citas que divididas entre los documentos publicados dan un índice de impacto. Por favor, no reduzcan el trabajo de los editores a esto. Entonces el ecosistema de acceso abierto latinoamericano podrá pedir a una voz, que reflexionemos sobre el por qué y para qué de la publicación científica, sobre el cómo la evaluación puede convertirse en un refuerzo a la publicación académica y no en una forma excesiva de jerarquización y segmentación. Esta voz de los editores podrá poner en un justo término y valor las distintas métricas.

Así me gusta pensar y estoy segura que Redalyc lo va a lograr, pero lo que sí es claro, es que es una decisión tomada firmemente para fortalecer el ecosistema de publicación académica de acceso abierto latinoamericano de las ciencias sociales y humanidades, principalmente.

JFV: Gracias Arianna, estaremos pendientes del proceso y seguiremos con atención lo que datos de adhesión que publican en la página que ha destinado a ello ( http://www.redalyc.org/redalyc/periscopio/dora-es.html ). También nosotros creemos que es una decisión que tendrá efectos importantes en el mundo editorial científico regional.