Resumen de la mesa redonda por el cambio en la evaluación científica en España

Tras la adhesión a la Declaración de San Francisco sobre Evaluación (DORA) por parte de la Agencia Estatal de Investigación y algunas universidades como la UOC y la UPV, los investigadores firmantes de la Carta: Por un cambio radical en la evaluación de la investigación en España organizaron el pasado 22 de julio una mesa redonda por el cambio en la evaluación científica en España. En la misma participaron expertos de agencias de evaluación, gestión universitaria, bibliometría y políticas de investigación.

Una de las recomendaciones principales de DORA es no utilizar las métricas basadas en revistas científicas (factores de impacto) como indicadores de la calidad de un artículo científico, ni para evaluar las contribuciones de un investigador, ni para seleccionar o promover personal, ni para decisiones sobre financiación.

En la mesa redonda se plantearon dos cuestiones:

• ¿Es necesario cambiar la política y por qué?
• ¿Cuáles son las alternativas?

A continuación, resumimos las aportaciones de los distintos expertos.

Es necesario cambiar la política y por qué

• Para evaluar investigadores es injusto el Factor de Impacto porque se valoran fundamentalmente las publicaciones y se dejan fuera otras actividades académicas.
• Hay que evaluar los avances cualitativos y no la cantidad.
• El sistema actual perjudica a los que inician su actividad investigadora.
• La ciencia está cambiando: ciencia en equipo, ciencia ciudadana, multidisciplinar, desafíos sociales… y los procesos de evaluación actuales no se adecúan a estos cambios.
• Hay que evaluar también hacia el futuro, no solo el pasado.
• Hay que tener en cuenta el compromiso de las personas con los objetivos de la institución.
• El Factor de Impacto perjudica la investigación local.
• No hay que prescindir de las métricas pero se requiere un cambio.

¿Cuáles son las alternativas?

La Agencia Estatal de Investigación ya está primando la calidad frente a la cantidad. En concreto ya están pidiendo resaltar las 10 aportaciones más importantes en su carrera (no tienen por qué ser publicaciones y no tienen en cuenta Factor de Impacto ni cuartiles) y van a valorar las circunstancias que han tenido, los movimientos realizados, el reconocimiento internacional.

La UOC ha añadido en sus convocatorias internas la calidad y no tiene en cuenta el Factor de Impacto. Con ello pretende no perjudicar a pre y postdoctorales.

La CNEAI está en proceso de revisión de los criterios de sexenios, Academia y PEP con un equipo de trabajo en el que participan expertos en métricas tradicionales, almétricas, ciencia abierta, equidad e igualdad… Tendrán en cuenta: nivel de contribución, repercusión mediática, integración de la investigación en la docencia, transferencia del conocimiento, visibilidad de las publicaciones, datos en abierto, informes de revisión (peer review), diversidad e inclusividad, benchmarking con otros países. También la transferencia a la sociedad o al tejido productivo, investigación colaborativa, interdisciplinariedad, dimensión de género, Objetivos de Desarrollo Sostenible, divulgación científica, enfoque a la ciencia abierta (apertura y transparencia de los datos y los resultados),  contribución al progreso y a la innovación.

Otras alternativas que se propusieron:

• Introducir varios tipos de evaluadores en las comisiones aunque tenga más coste y sea más lento.

• No evaluar todo de la misma forma: diversidad.

• Profundizar en la transparencia.

• Crear un sistema nacional de información que sea compatible con un sistema distribuido de evaluación.

• Convertir el CVN en una base de datos que permita incorporar otros indicadores como almétricas y ciencia abierta.

• Defender la aportación realizada con lo que se eliminaría la cantidad de autores de una publicación.

• Las universidades tienen que encontrar su propio sitio en relación a sus objetivos. De esa manera se podría implementar el sistema de evaluación holandés (protocolo de evaluación a nivel departamental orientado a la mejora de la estrategia y no a la distribución de recursos).

• Estrategias institucionales de verdad con sus resultados y sus impactos (la institución fija su estrategia y debe ser valorada a nivel nacional). Sistema de evaluación interno.