Editorial: Incertidumbre ante la implementación del nuevo modelo de medición de revistas científicas en Colombia

La revista Tecno Lógicas (ISSN 0123-7799), publicada por el Instituto Tecnológico Metropolitano, muy amablemente nos comparte el editorial del volumen 20 número 38 de 2017 dedicada al proceso de evaluación de revistas de Publindex.

En el año de 1996, el hoy Departamento Administrativo de Ciencia, Tecnología e Innovación – Colciencias, llevó a cabo la primera convocatoria para la indexación de revistas científicas en Colombia, que incluyó tan solo 26 revistas. En 2002, el Gobierno Nacional promulgó el decreto 1279, que estableció el régimen salarial y prestacional de los docentes de las universidades estatales, y asignó a Colciencias la función de construir y mantener el Sistema Nacional de Indexación y Homologación de Publicaciones Especializadas de Ciencia, Tecnología e Innovación (PUBLINDEX), indexación que reconoce y clasifica las revistas científicas en una de cuatro categorías A1, A2, B o C.

Desde su creación, el proceso de clasificación de una revista en PUBLINDEX se ha basado en cuatro criterios: la calidad científica, relacionada con la organización técnica y administrativa de la revista (editor, comité científico, pares evaluadores, personal de apoyo, entre otros) y la calidad de los documentos propiamente dicha, valorada por el proceso de evaluación y en el número de contribuciones científicas (artículos de investigación, reflexión y revisión) publicadas; la calidad editorial, valorada en la publicación expresa de normas editoriales, guía para autores y objeto de la revista; la estabilidad o regularidad, que incluye la antigüedad y el cumplimiento estricto de la periodicidad declarada y; la visibilidad, que hace referencia a los niveles de accesibilidad y a la integración en bases de datos secundarias tanto a nivel nacional como internacional. Año tras año, cada convocatoria incrementó los niveles de exigencia de cada uno de estos criterios, pero esto no fue impedimento para el crecimiento en el número de revistas indexadas en cada categoría. La última actualización, publicada en enero de 2015, indexó 526 revistas a nivel nacional, 54 de las cuales correspondían al área de ingeniería¹.

El 16 de agosto de 2016 Colciencias lanzó la convocatoria 768 para la “Indexación de Revistas Científicas Colombianas Especializadas – PUBLINDEX, con base en un rediseño del modelo de indexación, que incorporó el nivel de citación como criterio para valorar el impacto de las publicaciones científicas. De acuerdo con el nuevo modelo [1], los criterios anteriores pasan a ser de obligatorio cumplimiento para participar en el proceso de indexación, y la clasificación solo es determinada por el nivel de citaciones de la revista, el cual es definido por indicadores cienciométricos conocidos, entre los que se incluyen el cuartil de la revista en el Journal Citation Report (JCR) o en el Scimago Journal Ranking (SJR) ó el índice H5, caso particular de índice H propuesto por Hirsh [2], para las revistas que no se encuentran indexadas en JCR o SJR. De acuerdo con estos indicadores, la Tabla 1 presenta los criterios definidos por Colciencias para cada una de las cuatro categorías del modelo PUBLINDEX.

Tabla 1. criterios para la clasificación de revistas de investigación en Colombia, de acuerdo con el modelo PUBLINDEX 2016.

Al respecto, se debe saber que tan solo 12 revistas colombianas están indexadas en la actualización de 2015 del JCR y 78 en la del SJR. Con relación a los cuartiles, de acuerdo con el índice Scimago, 8 revistas se ubican en el cuartil dos (Q2), 28 en el cuartil tres (Q3) y 42 en el cuartil cuatro (Q4), lo que significa que no tendremos ninguna revista nacional en la categoría A1 y solo 8 de ellas se ubicarán en la categoría A2. Con respecto a las áreas de conocimiento, el área con mayor número de revistas indexadas en SJR es la de artes y humanidades (15), seguida de ciencias sociales (13), medicina (13), agricultura y ciencias biológicas (10), psicología (7) y economía (5). Por debajo de estas, se ubican las revistas de ingeniería (4), ciencias de la tierra y matemáticas (con dos revistas cada una) y química, física, energía y medicina veterinaria, que tan solo cuentan con una revista por área².

Con relación al índice H5, se debe aclarar que, si bien es un indicador cienciométrico bastante reconocido, no es usado comúnmente para determinar la calidad o el impacto de las revistas científicas, por lo cual no existe una fuente que provea una clasificación por cuartiles y mucho menos para revistas específicas de un país.  Por lo anterior, tal y como lo establece el modelo de clasificación de revistas científicas, publicado como anexo B del documento denominado “Política nacional para mejorar el impacto de las publicaciones científicas nacionales”[1], una vez superadas las fases de declaración del cumplimiento del proceso de gestión editorial y validación del proceso de evaluación y visibilidad, el proceso de indexación incluirá el cálculo del H5 y la identificación de cuartiles de acuerdo al área de conocimiento declarado por la revista.  Es precisamente este el punto que mayor incertidumbre genera para las más de 400 revistas que no se encuentran indexadas en SJR o JCR, dadas las aparentes inconsistencias que se han denunciado en diferentes foros de socialización del modelo y que a la fecha no han sido aclaradas completamente por parte de Colciencias.

Una de las grandes inconsistencias, que algunos encontramos en este proceso, surge de la definición del índice H5. Pues, aunque el modelo de clasificación establece que “se realiza el cálculo del índice H5 para cada una de las revistas científicas, utilizando como fuente el Google Scholar”, no es claro cómo será usada dicha fuente, dado que se observa una diferencia entre el concepto de H5 establecido por Colciencias en la convocatoria 768 y el definido por Google Académico. En concreto, los términos de referencia de la mencionada convocatoria indican que el índice H5 “contempla el número de citas por artículo identificadas en el periodo comprendido entre el 1 enero de 2011 y el 31 de diciembre de 2015 (5 años)” y aclara en el documento de preguntas frecuentes, publicado como anexo a la misma convocatoria, que este hace referencia al “cálculo a las citaciones recibidas por una publicación científica en los últimos 5 años, independientemente de su fecha de publicación”; mientras que en la sección de estadísticas de Google Académico se indica que “El índice h5 es el índice h de los artículos publicados en los últimos 5 años completos” y, para el caso de consultas realizadas en 2016, “Se trata del número mayor h en cuanto a que h artículos publicados entre 2011 – 2015 deben tener al menos h citas cada uno”³ Aunque las dos definiciones hacen uso del concepto original de índice H, hay una diferencia importante en los aspectos valorados en cada caso; pues mientras la definición de Colciencias valora la vigencia de la producción científica, sin importar su fecha de publicación, la de Google Académico valora el impacto de las publicaciones recientes. En el caso de la revista Tecno Lógicas, no hay una gran diferencia al aplicar los dos criterios (7 y 6, respectivamente); sin embargo, una revisión simple de otra revista nacional nos indica una diferencia de 7 puntos (15 y 8, en cada caso), lo que seguramente generaría un efecto importante en la indexación de todas las revistas del área, al calcular los cuartiles respectivos.

Adicionalmente, Colciencias ha sugerido en diferentes espacios y documentos el uso de la herramienta Hazard’s Publish or Perish(PoP)[3] para el cálculo del índice H5, tanto para revistas como para miembros del comité evaluador y pares evaluadores, dado que esta herramienta usa Google Académico como fuente de consulta para generar los índices que reporta. Sin embargo, dicha herramienta tampoco permite consultar el índice en los términos definidos por Colciencias, lo que deja un vacío de procedimiento que debe ser resuelto. Además, PoP presenta errores importantes en la información, que incluyen citas duplicadas, pérdida de citas, problemas en la identificación de la fecha de publicación, entre otras. Incluso reporta hallazgos diferentes para una misma revista, dependiendo de si en la consulta se usa el ISSN o el nombre para realizar la búsqueda. Por su parte, Google Académico, parece incluir algoritmos de detección de estos errores, reportando resultados bastante disímiles para la misma búsqueda. Así, por ejemplo, al realizar la consulta del índice H de una revista X entre 2011 y 2015 en PoP se obtiene un valor de 11, mientras que Google Académico reporta 8. Un análisis de los resultados de PoP, muestra que esta herramienta encuentra archivos agregados al repositorio recientemente, pero que corresponde a publicaciones de años anteriores al de la búsqueda. Obviamente, se supone que quien (persona o entidad) realice el proceso de indexación deberá garantizar la calidad de la información, pero no parece haber claridad de cómo un tercero podrá identificar todos los errores que pueda generar la herramienta, en caso de que esta fuera la manera establecida para realizar el cálculo.

Por estas ambigüedades, entre muchos otros aspectos, el modelo descrito ha sido sujeto de innumerables críticas que van desde aquellos que promueven el uso exclusivo de las bases de datos citacionales basadas en JCR y SJR, dadas las falencias que presenta el índice H5 en relación a la rigurosidad con que se calculan tales índices, hasta quienes rechazan por completo su uso y promueven mantener los criterios empleados en las mediciones anteriores. Por tal razón, y más allá de las críticas al modelo, es indispensable que se informe con exactitud el proceso que será empleado en esta medición para garantizar la calidad de la información y la reproducibilidad de los resultados, máxime cuando el resultado determinará la continuidad de muchas revistas científicas que con esfuerzo han intentado ganar una posición en el índice nacional, ajustándose a lo que hasta ahora eran las exigencias del modelo de medición.

Por otro lado, cabe recordar que en principio este nuevo modelo busca “incrementar el impacto de la producción científica colombiana, el número de revistas científicas nacionales incluidas en Índices Bibliográficos Citacionales (IBC) y la consolidación de revistas científicas nacionales en las áreas priorizadas en la política nacional de CTeI” [1], lo anterior como respuesta a los lineamientos definidos en el PND 2014-2018 para aumentar la producción científica de alto impacto que priorizan la necesidad de “Amplia[r] la base de actores del sistema y mejora[r] la eficiencia de los mecanismos de clasificación y evaluación de estos actores para mejorar la conexión entre calidad y estímulos al desarrollo científico y tecnológico del país”. En este sentido, es claro que los cambios introducidos al modelo permitirán valorar con mayor rigurosidad la producción científica de los investigadores nacionales, al asignar una mejor clasificación a revistas que tienen un mayor impacto en el ámbito internacional. También obligará a las revistas nacionales a propender por ingresar y ascender en los denominados Índices Bibliográficos Citacionales. Sin embargo, es preocupante que la búsqueda de tan importantes propósitos no esté realmente acompañada de estrategias para mejorar el impacto de las publicaciones científicas nacionales, más allá de “desaparecer” (al menos del Publindex) las revistas que, por las razones que sea, se hayan concentrado en dar cumplimiento a los criterios hasta hoy exigidos y hayan descuidado el importante valor de las citaciones.

Ante tanta incertidumbre, solo podremos garantizar a nuestros autores y lectores que la Revista TecnoLógicas continuará orientando sus esfuerzos en mantener los procesos de calidad editorial y la rigurosidad en la evaluación de la calidad científica de los artículos y a procurar una mayor accesibilidad e impacto de sus contribuciones. Como parte de estos esfuerzos, a partir de este número anunciamos algunos cambios en la publicación de la revista.

• Incorporación del DOI (siglas en inglés de Digital Object Identifier). A partir del presente número todos los artículos que sean publicados en la revista TecnoLógicas contarán con este identificador, lo cual contribuirá a mejorar la accesibilidad a cada uno de los documentos y a garantizar la trazabilidad de sus citas.
• Cambios en la periodicidad de publicación. Con el fin de mejorar la circulación de nuestras publicaciones hemos decidido cambiar la periodicidad a tres números por año en los siguientes periodos: enero-abril, mayo-agosto y septiembre-diciembre. Así mismo, implementaremos la publicación de artículos de forma anticipada, es decir el artículo será diagramado y estará en línea una vez sea aceptado para publicación.
• Priorización de las publicaciones en inglés. Aunque la revista continuará recibiendo artículos publicados en español e inglés, se dará mayor prioridad en el proceso de evaluación de los artículos recibidos originalmente en inglés, es decir que estos artículos tendrán un tiempo de respuesta menor sobre la decisión de publicación en la revista, claro está, sin reducir las exigencias sobre la calidad científica del trabajo.
• Presencia en redes sociales y Google Académico. Hemos creado páginas específicas de la revista en Google Académico, Facebook y un Grupo en Mendeley, con el fin de mejorar la divulgación de los diferentes números de la revista y facilitar el acceso a los artículos publicados.

Adicionalmente estamos trabajando para mejorar el sistema de gestión de la publicación (OJS) y la página Web de la revista, para facilitar la consulta de los artículos y la divulgación de material adicional.

Notas

¹ Información consultada en la base de datos Publindex de Colciencias: http://publindex.Colciencias.gov.co:8084/publindex/EnIbnPublindex/

² Scimago Journal & Country Rank. http://www.scimagojr.com/. Consultado el 17 de diciembre de 2016.

³ Google Académico. https://scholar.google.com/citations?view_op=top_venues&hl=es

Referencias

[1] Departamento Administrativo de Ciencia Tecnología e Innovación – Colciencias, Política para mejorar la calidad de las publicaciones científicas nacionales. Documento 1601. 2016, p. 92.

[2] J.E. Hirsch, “An index to quantify an individual’s scientific research output,” PNAS, vol. 102, no. 46, pp. 16569-16572, 2005.

[3] A.W. Harzing, “Publish or Perish,” 2007.

Gloria Mercedes Díaz

Editora Revista TecnoLógicas, Instituto Tecnológico Metropolitano
Medellín-Colombia gloriadiaz@itm.edu.co