En la ciencia española, el tamaño importa.

En el año 2015, el Ministerio de Educación, Cultura y Deporte español aprueba el Real Decreto 415/2015, de 29 de mayo, en el que se indica la necesidad de disponer de un conjunto de criterios para alcanzar la acreditación para el acceso a los cuerpos docentes universitarios. Esta acreditación es imprescindible para poder concursar a una plaza de profesor e investigador en el sistema universitario español. Tras más de un año sin que el Estado Español publicase los criterios precisos para que los profesores de universidad e investigadores puedan promocionar en su figura profesional, en noviembre del año 2016, la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) los publica.

Tal fue el revuelo y la falta de criterio en las exigencias planteadas, que apenas dos semanas después de su publicación, diferentes partidos políticos de la oposición realizaron preguntas concretas y críticas en el Congreso de los Diputados al Ministro responsable. En su comparecencia, con fecha de 14 de diciembre del 2016, el Ministro de educación español acuerda reunirse con la Conferencia de Rectores de las Universidades Españolas (CRUE) y con sindicatos para revisar y en su caso, modificar, estos nuevos criterios. Tras un año de espera, los nuevos criterios son publicados en noviembre 2017. De nuevo la comunidad universitaria en general, y en concreto la CRUE, vuelve a denunciar la falta de coherencia y sentido académico en muchos de estos criterios indicados. Ello no ha obstado para que dichos criterios estén siendo utilizados en la actualidad.

Dentro de los cambios planteados, el Ministerio ha decido realizar una evaluación más cercana a los criterios propios de cada área de conocimiento, para lo cual en lugar de disponer de 5 grandes tribunales (Artes y Humanidades; Ciencias; Ciencias de la Salud; Ciencias Sociales y Jurídicas; Ingeniería y Arquitectura), ha pasado a tener 21. Este aspecto ha sido valorado positivamente por la mayoría de los implicados.

Una de las 21 áreas, es el Área de Ciencias de la Educación. Para la promoción de profesores de universidad en esta área, se aprecia una clara supremacía de los criterios de investigación sobre los docentes. Dentro de los criterios investigadores, sin lugar a dudas, el criterio que tiene mayor peso en la evaluación de la calidad científica de los investigadores son sus publicaciones científicas en general y sus publicaciones en revistas indexadas en el Journal Citation Report (JCR) del Social Science Citacion index y del Science Citation Index. Así, a modo de ejemplo, para optar a la figura de Catedrático de Universidad dentro del área de Ciencias de la Educación, es necesario publicar al menos 12 artículos en revistas indexas en el JCR, que como bien es sabido, pertenece a la empresa privada Clarivate Analytics, de la cual el propio Ministerio español es uno de sus principales clientes. En este sentido, se aprecian grandes críticas a que una empresa privada y extranjera sea la escogida por el Ministerio español para gestionar el principal elemento para la evaluación de la calidad de sus investigadores. Por otro lado, otros investigadores defienden que sea precisamente una empresa extranjera y ajena a los intereses particulares de los investigadores, la responsable de este aspecto.

Una vez superado este debate, para que los investigadores españoles del área de Ciencias de la Educación puedan progresar en su carrera académica, además de publicar un determinado número de artículos en revistas indexadas en estas bases de datos, deben de hacerlo siguiendo cuatro criterios:

1. Factor de impacto. Este aspecto es el más habitual en la mayoría de los criterios para la evaluación de la ciencia. No es suficiente con publicar en revistas con JCR, ahora, además, será necesario publicar en las revistas situadas entre las primeras de cada especialidad. Para establecer el orden, la empresa Clarivate Analytics, apuesta exclusivamente por el conocido factor de impacto, a pesar de ser tremendamente criticado, especialmente por los investigadores de mayor prestigio (Borchardt, Moran, Cantrill, Chemjobber, & Hartings, 2018; Tregoning, 2018). En cualquier caso basta con conocer el índice de impacto y enviar los trabajos a las revistas con un índice mayor.
2. Número de Autores. La reciente normativa del Ministerio español señala que los artículos publicados serán penalizados si el número de autores es superior a cuatro. En este sentido, se han encontrado estudios de investigadores que están a favor de minimizar la autoría y que, tras realizar estudios bibliométricos al respecto, señalan que el número de cuatro autores es el número habitual de investigadores que participan en artículos de esta área (Robinson-García, &  Amat, 2018). Sin embargo, otro de los criterios que deben tener los investigadores para poder promocionar es participar como investigadores en proyectos de investigación, dentro de los cuales uno de sus principales aspectos a ser evaluados es la confección de grandes y multidisciplinares grupos de investigación. Aspecto que obviamente choca con la reducción del número de autores en las publicaciones que se obtienen de esos proyectos. En cualquier caso, los investigadores españoles tienen claro que un artículo con más de cuatro autores será un artículo penalizado. Bastará simplemente, con dejar a algún compañero, por sorteo, por fuerza mayor, etc., fuera de la publicación. Este hecho ha provocado rupturas en redes de investigación que estaban funcionando e, incluso, ha roto la unidad de equipos de investigación, fomentando el individualismo de los investigadores frente a las estrategias de trabajo en equipo.
3. Orden de la autoría. En esta nueva normativa de 2017 el Ministerio señala que el autor deberá o ser único autor o ser firmante de referencia (primer autor o autor de correspondencia). Este criterio vuelve de nuevo a ser cuestionado (Macfarlane, 2017), además de contradictorio con el elevado número de miembros de un equipo de investigación. Sin embargo, es claro y sencillo de valorar. Únicamente bastará con, de nuevo, tener suerte o ser simplemente más fuerte.

Hasta ahora, estos tres criterios, si bien cuestionables, han sido habitualmente utilizados para la evaluación de la calidad de la ciencia, tanto en otras convocatorias españolas, como en convocatorias de otros países. Estaremos de acuerdo o no, pero se aprecian, evidencias científicas en un sentido y en otro, por lo que nos gusten o no, entendemos que pueden ser considerados.

Sin embargo, aparece un nuevo e inexplicable protagonista como elemento clave para la evolución de la calidad de la ciencia española en el área de la Educación: “El número de páginas del manuscrito publicado”.

En la normativa publicada en noviembre del 2017 dentro del área de Ciencias de la Educación, se indica que, los artículos tienen que tener una extensión mínima de 8 páginas. Ante este hecho, en las primeras evaluaciones que la comisión de Educación está realizando, están señalando que únicamente se valoran aquellos artículos que tengan ocho o más páginas, independientemente de los tres criterios anteriores (índice de impacto, número de autores y posición). Así a modo de ejemplo a continuación se indica, de manera literal, la contestación realizada a una solicitud de PTU: “El solicitante presente un total de 31 artículos, considerándose 23 publicaciones como relevantes (16 JCR y 7 SJR). Entre estas aportaciones, un total de 6 no cumplen el requisito de 8 páginas (aportaciones 7, 11, 24, 25 y 28) por lo que no se consideran.” Es decir, directamente se rechazan los artículos con menos de 8 páginas.

Por más que se ha buscado en las multitudinarias evidencias científicas al respecto, no se ha encontrado ningún estudio que avale que el valor de una aportación científica se pueda medir ni por la extensión de sus aportaciones, ni por el tamaño de su publicación. De hecho, las pocas evidencias al respecto señalan que a menor número de palabras en el título (Letchford, Preis, & Moat, 2015) y de palabras en el resumen (Letchford, Preis, & Moat,2016), mayor número de citas tiene un artículo.

La mayoría de publicaciones científicas de alto impacto actualmente están limitando el número de palabras que pueden contener sus trabajos, siguiendo el principio de que lo bueno y breve, dos veces bueno. Además, ese criterio tiene mucho que ver con la maquetación de cada revista. El mismo número de palabras puede diferir en número de páginas en función de la maquetación de la misma. Si bien no se han encontrado evidencias científicas al respecto y a nosotros nos parece en cualquier caso aberrante, podría considerarse que un artículo sea valorado si su extensión en palabras supera un determinado número. De esta manera, por ejemplo, se podría considerar un artículo si supera un mínimo de, pongamos, 5000 palabras. Pero esto no es lo que indica la normativa publicada por el Ministerio español en 2017. El Ministerio español señala claramente la expresión “ocho páginas”. Es decir, o el artículo publicado tiene una extensión de 8 páginas o, simplemente, no es ni siquiera evaluado.

En este sentido, se expone un ejemplo de lo ridículo del presente criterio. Al analizar en la base de datos de la Colección principal de Web of Science, todos los artículos publicados desde el año 2000 hasta la actualidad (2018) con la palabra “Nature” en nombre de la revista y “education*” en tema, se aprecian un total de 70 artículos. De esos artículos sólo un artículo (1.43%) supera las 8 páginas (tiene un total de 10 páginas), el 4.29% (3 artículos) tienen 6 páginas, el 4.29% (3 artículos) tienen 5 páginas, el 5.71% (4 artículos) tienen 3 páginas, el 5.71% (4 artículos) tienen 4 páginas, el 21.43% (15 artículos) tienen 2 páginas y el 57.14% (40 artículos) tiene una sola página. Este ejemplo demuestra que publicar en la considerada la mejor revista del mundo a nivel científico no supondría ningún mérito según la propuesta señalada por el Ministerio español.  Al hacer el mismo estudio en la revista Science, se encontraron 168 artículos, donde únicamente tres superaban las 8 páginas

La paradoja de este asunto es que es el mismo Ministerio el que propone criterios en contra de sus propias políticas. Recientemente uno de los objetivos establecidos en la política de investigación española es potenciar el ascenso de la posición de las universidades españolas en los rankings universitarios internacionales. Así por ejemplo al analizar uno de los más prestigiosos, el Ranking de Shanghai, se aprecia que el número de artículos publicados en la revista Nature y/o Science es el 20% de su evaluación. Pero, ¿qué investigador español del área de educación va a intentar publicar en Nature si es imposible que la revista publique su artículo si tiene más de 8 páginas? ¿Van los investigadores españoles en educación a publicar en revistas en contra de sus propios criterios para promocionar como profesionales?

A su vez, dirigir el foco de publicación a revistas de menos impacto pero que admiten mayor extensión de páginas impedirá que investigadores españoles podamos competir de manera exitosa en convocatorias europeas y mundiales. Si hay que anteponer el criterio del número de páginas para poder promocionar profesionalmente en España, es posible que nuestros CVs se resientan ante los ojos del resto del mundo académico y estemos en peores condiciones para competir internacionalmente.

De igual modo, nos planteamos multitud de preguntas a las que no encontramos respuestas claras, como por ejemplo: ¿Qué asegura que un gran trabajo de investigación únicamente se obtiene con un mínimo de 8 páginas? ¿Qué evidencias científicas señalan que deben ser 8? ¿De dónde sale esas 8 páginas? ¿Por qué no 9? ¿No influye el tamaño de letra? ¿No influye la propia maquetación de la revista?, ¿y si en medio del artículo hay publicidad? etc… Es posible que un gran trabajo, incluso con mayor número de palabras que un trabajo de menor calidad, debido a que la revista tenga un tamaño de letra menor, no sea considerado evaluable por el propio Ministerio.

A partir de esta nueva y absurda normativa será necesario que, además del factor de impacto, los investigadores en educación tengamos que valorar el tamaño de letra de las revistas científicas, antes de enviar un artículo a una u otra, ya que, como hemos señalado, pudiera ocurrir que un mismo trabajo publicado en una revista (con tamaño de letra grande) compute para que el investigador pueda promocionar, mientras que otro no sería ni siquiera considerado como mérito.

Este aspecto, no queda más remedio que denunciarlo, y que los responsables del Ministerio, lo aprecien y lo modifiquen[1].

Obviamente, el TAMAÑO, en la educación y en la ciencia, NO IMPORTA. ¿O sí?

P.D. Los investigadores rogamos a los editores y maquetadores de la revista que sean comprensivos con las solicitudes de colegas españoles cuando les pidan para sus artículos aceptados que agranden la letra, introduzcan publicidad en medio o alguna tabla innecesaria de relleno; todo para llegar al objetivo de la ciencia de la educación en España: que el artículo tenga al menos 8 páginas.

Notas

[1] En la actualidad hay una propuesta de una de las comisiones que juzgan los CVs de los candidatos a obtener la acreditación como personal docente de las universidades españolas que propone la supresión de este criterio, si bien dicha propuesta aún no ha sido aceptada.

Referencias:

Borchardt, R., Moran, C., Cantrill, S., Chemjobber, O., & Hartings, M.R. (2018) Perception of the importance of chemistry research papers and comparison to citation rates. PLoS ONE 13(3): e0194903. https://doi.org/10.1371/journal. pone.0194903

Letchford, A., Preis, T., & Moat, H. S. (2016). The advantage of simple paper abstracts. Journal of Informetrics, 10(1), 1-8.

Letchford, A., Moat, H.S. & Preis, T. (2015). The advantage of short paper titles. Royal Society Open Science, 2 (8), 150266.

Macfarlane, B. (2017). The ethics of multiple authorship: Power, performativity and the gift economy. Studies in higher education, 42(7), 1194-1210.

Robinson-Garcia, N., & Amat, C. B. (2018). ¿Tiene sentido limitar la coautoría científica? No existe inflación de autores en Ciencias Sociales y Educación en España. Revista Española de Documentación Científica, 41 (2): e201. https://doi.org/10.3989/redc.2018.2.1499

Tregoning, J. (2018).  How will you judge me if not by impact factor?.  Nature 558, 345, https://doi.org/10.1038/d41586-018-05467-5

Autores

Enrique Ortega Toro. Profesor de la Facultad de Ciencias del Deporte, Universidad de Murcia.

Aurelio Olmedilla Zafra. Profesor Titular de Psicología. Universidad de Murcia

Cecilia Ruiz-Esteban. Profesora de Psicología, Universidad de Murcia

Gema Torres-Luque. Coordinadora Área Didáctica de la Expresión Corporal. Universidad de Jaén

Víctor Rubio Franco. Doctor en Psicología. Psicólogo clínico del Centro de Psicología de la Universidad Autónoma de Madrid.

Alex García-Mas. Doctor en Psicología por la Universidad de Barcelona y profesor en la Universidad de las Islas Baleares.