Introducción

En el ethos científico parece haberse instalado el “publicar o perecer” o, dicho de otro modo, publicar en una revista de prestigio internacional como máxima insoslayable del quehacer científico. Estas revistas son consideradas de calidad científica no solo por contar con referato por pares y el carácter original -inédito- de las contribuciones, dos de las características fundamentales de cualquier revista científica, sino porque además reciben una considerable cantidad de citas en ciertos sistemas de información. Estos sistemas que tienen fines comerciales, como Web of Science, de Clarivate -ex Institute for Scientific Information (ISI)-, y Scopus, de Elsevier -que es la base del Scimago Journal & Country Rank (SJR)- son reconocidos por buena parte del mundo académico como los que otorgan calidad a los resultados, hecho que los termina posicionando como organismos supranacionales de evaluación (Rozemblum et al., 2015).

La utilización de indicadores propuestos por estas bases, como el Factor de impacto, cuyo objetivo es la ponderación de revistas, se terminó trasladando a la evaluación individual de las trayectorias científicas, en algunos países haciéndose presente en políticas explícitas, pero en otros, insertándose directamente en el núcleo de la comunidad científica. Según Kreimer (2015), en países de América Latina se presenta la siguiente contradicción: mientras que en las políticas explícitas se considera relevante el uso de los conocimientos para fines sociales, al momento de realizar las evaluaciones en distintas instancias, se valoran más los trabajos publicados en revistas del mainstream, entre ellas las que tienen más citación en las bases mencionadas, donde a su vez los temas de interés local tienen menos posibilidades y, además, las pautas de publicación son impuestas por los intereses de los países centrales, especialmente de habla inglesa.

La medida del paper, para valorar las trayectorias científicas individuales de investigadoras e investigadores¹ a través de estos sistemas de indexación, parece haberse instalado más por imperativos burocráticos que por su utilidad al evaluar prácticas, procesos y sentido de la producción del conocimiento (Kreimer, 2015). Al respecto, Varsavsky (1971) señalaba que ante la dificultad que implica medir dimensiones de los sujetos, las políticas definidas y los sistemas de evaluación de los diferentes organismos de ciencia y tecnología, el paper terminó imponiéndose como instrumento principal y los criterios “contables” predominaron, dejando atrás lo que para él en verdad era relevante: que la ciencia genere conocimientos que apunten a resolver los objetivos socioeconómicos propuestos por los Estados.

Consideramos que los criterios que define cada organismo como sistema de evaluación tienen carácter normativo y “contribuyen a instaurar un modelo de perfiles y de prácticas académicas que se toma como parámetro y como patrón de comparación al evaluar casos empíricos concretos” (Piovani, 2015: 54). Se asumirá entonces que la evaluación por productos, específicamente artículos científicos, tiene una ponderación significativa en el sistema de evaluación y que la no explicitación de otros criterios hace que la cantidad y número de citas de los trabajos científicos se transforme en una política implícita (Herrera, 1975), haciendo que el productivismo se imponga a la calidad intrínseca de los artículos y se pierda la relevancia social de los mismos en las evaluaciones.

En este trabajo se analiza la valoración que se realiza de la producción científica y tecnológica de postulantes a la Carrera de Investigador Científico (CIC) del Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET) de Argentina, en la categoría inicial, denominada Investigador asistente. En particular se discuten los criterios de evaluación explicitados para el ingreso a dicha carrera en sus diferentes modalidades, difundidos por CONICET en las convocatorias 2018 y 2019, categorizados con fines comparativos para identificar el valor relativo asignado en cada área, a los distintos ítems que conforman la evaluación. Se analiza cómo se valora y se mide la productividad científica, en relación con otros criterios de evaluación. Se han tenido en cuenta, además, cuestiones observadas en dictámenes recibidos por postulantes, a fin de analizar cómo se aplican en las distintas subcomisiones, los criterios generales de evaluación establecidos para las convocatorias. Para finalizar se presentan una serie de propuestas que podrían contribuir a descentrar el lugar del paper como factor central en la evaluación.

Criterios explícitos e implícitos de evaluación en el ingreso a la CIC del CONICET

Las políticas de evaluación utilizadas por el CONICET para los concursos de ingreso y promoción a la carrera del Investigador científico, se han caracterizado históricamente por no ser públicas y abiertas al conocimiento no solo de la sociedad, sino de quienes se postulan a la misma. En los últimos años se observa cierta apertura en este sentido explicitándose en las convocatorias y dictámenes algunos criterios generales utilizados para la evaluación.

Previamente otros trabajos han indagado las prácticas de evaluación y los criterios tenidos en cuenta en los concursos de ingreso a ese organismo. Fernanda Beigel (2014) señalaba que típicamente un candidato debía tener publicados al menos 5 artículos en revistas indizadas en SCI y/o Scopus y en idioma inglés, para que un evaluador recomendara su ingreso en el área de Ciencias Naturales. En tanto en Ciencias Sociales, los artículos podían ser en español y estar publicados en revistas de circuitos regionales. Además, encontró que los evaluadores asociaban la calidad de los trabajos con el arbitraje y la indexación de la revista. Por su parte, Atrio (2018) observó al consultar a investigadores del organismo -muchos de los cuales habían sido evaluadores- que en general acordaban con que los criterios de evaluación no estaban claramente publicados, lo que le otorgaba cierta libertad de acción a las comisiones. En cuanto a la producción científica, en tanto, se mostraron de acuerdo en combinar índices nacionales/regionales con índices internacionales para evaluar las publicaciones. Sin embargo, la mayoría señalaba que se les otorga demasiado peso en el proceso de evaluación, frente a otros aspectos. Asimismo, varios resaltaron que el uso exclusivo de indicadores internacionales puede impactar a nivel regional en especial en “una reorientación de temas de las investigaciones locales”, “el fraccionamiento de publicaciones para aumentar su número” y “la afectación del desarrollo de las revistas científicas locales” (Atrio, 2018: 216).

Según el reglamento de la institución es el directorio quien establece los criterios generales que se dan a conocer en los llamados para ingreso a la CIC (Res. 033/08, CONICET, 2008 -actualizado a 2019-), luego cada comité asesor disciplinar ajusta las pautas y los criterios teniendo en cuenta las “particularidades de las especialidades" (art. 31). Estos criterios no son de conocimiento público y suelen variar con la composición de las comisiones, que cambian la mitad de sus integrantes todos los años².

En la figura 1 se detalla en porcentajes, la valoración de los distintos ítems categorizados que conforman la evaluación para el ingreso a la CIC en la categoría Asistente para las convocatoria 2018 y 2019, en las modalidades General (la cual se divide en 4 grandes áreas³) y Temas Estratégicos y Tecnología. Lo primero a mencionar es que, en la convocatoria general, hay un claro sesgo de mayor valoración de las publicaciones por sobre otras actividades en casi todas las disciplinas. Por el contrario, en el caso de Temas Estratégicos y Tecnología tiene más importancia el proyecto (45%) y el director y aparece (al igual que en el Área de Ciencias Agrarias) como una categoría relevante la “Consistencia del Perfil”. Este último criterio valora la coherencia entre el plan de trabajo, la trayectoria del postulante, la dirección y lugar de trabajo.

Figura 1

Valoración porcentual de los distintos ítems categorizados que conforman la evaluación para el ingreso a la CIC del CONICET en la categoría Asistente, para las convocatorias 2018 y 2019, por gran área temática y para temas Estratégicos y Tecnología.

Fuentes: CONICET, 2017 y 2018.

Por otro lado, en las convocatorias generales, al comparar los dos años, se observa que en la gran área Ciencias Agrarias, de las Ingenierías y Materiales, Desarrollo tecnológico y Social (KA) hay un aumento en la valoración de la producción científica en el año 2019 (40%), respecto al 2018 (25%), en detrimento del valor asignado al “Proyecto” y la “Formación académica” del postulante. En esta área los criterios utilizados para valorar la producción científica explicitan que los artículos deben estar publicados en revistas de calidad acreditada. Sin embargo, no especifica qué o quién define esa calidad⁴ y no se considera si esos artículos están o no relacionados con el tema de investigación. Por otra parte, hay un ítem que forma parte de lo considerado como producción científica, que no existe en otras áreas y es la “Transferencia de conocimientos (ejemplo cursos de capacitación a terceros) y servicios tecnológicos”. En “Extensión” se explicita que debe evaluarse la “participación en actividades de difusión y comunicación pública de la ciencia” (CONICET, 2018).

En el caso de la gran área de Ciencias Biológicas y de la Salud (KB), no aparecen diferencias en los porcentajes asignados a los distintos ítems en ambos años. Se destaca que la ponderación a la producción científica es la mayor en comparación con todas las otras áreas (62%). Mencionan que ésta “debe tener impacto tanto a nivel académico, tecnológico, socio-productivo y/o ambiental” (CONICET, 2017; 2018) y que debe guardar cierta regularidad. Al igual que en Ciencias Agrarias, se habla de “calidad de las publicaciones” pero no se define expresamente cómo medirla. En esta área se considera el “protagonismo” del postulante en sus publicaciones y el impacto de las mismas. Este se mide a través del cuartil en que está indizada la revista en que se publicó la contribución, según el SJR. El criterio de asignación de cuartil varía de acuerdo al año, debido probablemente a cambios en los integrantes de la comisión: en 2018⁵ se indica que se considera el valor más representativo dentro de un período que abarca desde los dos años previos hasta el año de publicación, mientras que, en 2016⁶, se consideró el cuartil en el año que fue publicado el artículo. En el dictamen 2018, se aclara también que las comunicaciones cortas reciben la mitad del puntaje. Se destaca que en ningún caso se hace mención al impacto social de los temas. Cabe destacar que las actividades vinculadas con la transferencia al medio socioproductivo o a entidades sociales están incluidas bajo la forma de “Otra información relevante”, incluyendo allí a la Extensión.

En la gran área de Ciencias Exactas y Naturales (KE) tampoco se modifican los puntajes entre el año 2019 y 2018, excepto diferencias poco significativas. En esta área, en la misma línea de las precedentes, tiene mucho valor la Producción Científica (42%) y se aclara que los artículos deben estar publicados en “revistas de reconocida jerarquía nacional e internacional”. Además, se valora en la publicación la “Regularidad de la investigación” (7%) entendiéndose como la “productividad sostenida en el tiempo del postulante en la investigación científica y/o tecnológica, el impacto de sus contribuciones en su área de investigación y la participación regular en proyectos de investigación” (CONICET, 2017; 2018) como una categoría aparte de la Producción Científica, dándole preponderancia a este ítem. Un aspecto particular es que se tienen en cuenta las pasantías realizadas por las/os postulantes y si fueron de corta o larga duración en el tiempo.

En la gran área de Ciencias Sociales y Humanas (KS) se observa que las publicaciones tienen un peso similar al que se le da en el resto de las áreas (45%). Además, se señala que será considerada positivamente “la trayectoria continua desde el momento de obtención del doctorado, delineando un perfil científico tecnológico de acuerdo a criterios de máxima excelencia”. En cuanto a las producciones científicas, se hace alusión a que sean trabajos originales y de “calidad científica” exigiendo que “algunos de cuyos resultados estén publicados o aceptados en revistas indizadas nacionales e internacionales, libros y capítulos de libros en editoriales con reconocimiento académico y/o referato” (CONICET, 2017; 2018). A diferencia de las otras áreas, se especifica que para valorar la producción científica se considerarán las categorías pautadas por la Resolución 2249/2014 del organismo (CONICET, 2014), en la que se jerarquizan las revistas según las bases de datos, destacándose que las conocidas como de corriente principal (mainstream) están junto con SciELO -iniciativa regional de acceso abierto- lo que apunta, según lo indicado en la normativa, a aumentar la visibilidad y repercusión de las publicaciones en español, que tengan interés editorial en publicar problemáticas regionales y/o locales. Por otro lado, llama la atención que no considera la extensión explícitamente como un ítem a evaluar. En el ítem “Otros” se hace referencia a la transferencia y a la “participación en proyectos, gestión, planeamiento, evaluación y divulgación en organismos de Ciencia y Tecnología así como en Universidades”. Se destaca además que en 2018 la formación de recursos humanos era parte importante de la evaluación, pero en 2019 dejó de tenerse en cuenta y aumentó la valoración del proyecto y director. En el dictamen de la subcomisión específica de “Literatura, lingüística y semiótica” (convocatoria 2018)⁷ en cada ítem se agrega una valoración sobre el aporte y la relación que tiene cada antecedente con la línea de investigación propuesta en el proyecto. En el caso de la Producción Científica se cuantifica separando por tipo de producción (libros, artículos, capítulos de libros, presentaciones a congresos, tesis) y se valora el aporte, la bibliografía utilizada y la claridad de exposición. La producción científica se cuantifica y se dividen los artículos por los niveles de la Resolución 2249/2014 (CONICET, 2014). En el análisis cualitativo se vuelve a mencionar la cantidad de Producción Científica lograda y se hace una diferenciación entre revistas nacionales y extranjeras. Se señalan como aspectos a evaluarse la repetición de títulos, la coautoría, el tipo de trabajo en grupo de investigación, las similitudes en metodologías y la relación con el tema propuesto. En este sentido se hace hincapié en la producción de autoría propia. También se menciona el considerar el manejo de la bibliografía, la claridad expositiva y la coherencia con el plan propuesto. Además, se hace referencia a la relación entre la cantidad de Producción Científica y la “profundidad temática”, así como a la existencia de una continuidad en la línea de investigación con el tema que propone la/el postulante a través de informes de trabajos previos.

Los criterios empleados para la evaluación en la modalidad Temas Estratégicos y Tecnología son bastante diferentes a los descriptos para la modalidad General en todas sus áreas. En la figura 1, se puede observar que el ítem “Proyecto y director” es la categoría que presenta mayor importancia porcentual con respecto a las otras (55%). Del proyecto se evalúa su “adecuación y coherencia, el abordaje metodológico y las actividades”. En el caso de que sea una propuesta tecnológica, debe tener una “carta de interés de los adoptantes o usuarios”. El proyecto se valora además en cuanto a su relevancia para la solución de problemas concretos (“Aportes del Proyecto”). Respecto a la “Producción científica y tecnológica” se destaca que se debe evaluar su calidad global y originalidad y la contribución del tema en el contexto del desarrollo de la disciplina y la especialidad. Se recomienda a los pares evaluadores la valoración de este ítem únicamente sobre los aspectos cualitativos de los resultados considerados más relevantes por quien aspira al ingreso y cuando corresponda, señalar la importancia o impacto (socioproductivo, académico, tecnológico y/o ambiental) de la aplicación de los desarrollos obtenidos. En el dictamen de la subcomisión de Salud (convocatoria 2017)⁸ se clasificó la producción científica en cuartiles de Scopus⁹ y se hace mención al impacto y la relación que tienen los trabajos con el tema presentado. En el de la subcomisión “Desarrollo y tecnología social” (convocatoria 2018)¹⁰, por su parte, se cuantifica la producción científica, el protagonismo del postulante y la relación con el proyecto presentado, pero no se valoran las publicaciones por su indización en base de datos. Otro aspecto relevante en esta convocatoria es que la “Extensión” se valora como un ítem aparte considerándola mayormente como difusión de la ciencia.

Conclusiones y propuestas

La impronta cientificista del CONICET se ve reflejada en los criterios de ingreso a CIC de la convocatoria general, sobre todo en la centralidad que tiene la productividad medida en cantidad de papers y en el uso de la indización de las revistas para medir su “calidad”, en relación con otras cuestiones evaluadas. Sumado a esto, el marco general que plantean las convocatorias deja un amplio margen para que cada subcomisión establezca, internamente, en forma no pública, y muchas veces a posteriori del llamado, sus propios criterios de acuerdo con las culturas disciplinares y el mecanismo que consideren más pertinente ante el número de postulaciones recibidas.

En los dictámenes analizados se observa que algunas de estas comisiones utilizan criterios de evaluación de bases de datos comerciales para puntuar los artículos, específicamente SJR y los cuartiles por citación en Scopus y valorar así su calidad internacional, aunque en las pautas publicitadas y en las políticas establecidas por el organismo, no se hace explícito su empleo. En este sentido, consideramos que la falta de conocimiento de los mismos por quienes son evaluadas/os, habilita a una forma de secretismo que contribuye a que se produzcan arbitrariedades. La necesaria transparencia exigida en las evaluaciones por la Ley Nacional 25.467/2001 de Ciencia, Tecnología e Innovación debe ser más que publicar criterios generales ambiguos, que luego pueden ser adaptados por cada comisión e incluso, que pueden resultar contradictorios con las pautas de los llamados. Estas prácticas, como señala Kreimer (2015), están enraizadas en parte por la burocratización de la actividad científica.

Al respecto consideramos que, si bien la indización de la revista, puede ser un elemento más de la evaluación, el mismo no debería ser el factor que determine la importancia de los trabajos y su aporte para nuestro país. Para avanzar en este sentido y sobre todo en áreas como las ciencias naturales es necesario valorar a las revistas nacionales y latinoamericanas para favorecer dos cosas. Por un lado, la proyección de investigadores en formación, que lejos están de poder financiar los onerosos costos por publicación que cobran las revistas más “prestigiosas”, y por otro, la difusión de trabajos que traten temas estratégicos para el interés local, nacional y regional, los cuales usualmente no forman parte de las agendas internacionales y por tanto suelen ser rechazados por las revistas de mayor impacto. En este sentido, estimular principalmente la publicación en revistas del mainstream puede resultar en muchos casos contradictorio con uno de los objetivos de la CIC del CONICET que propone “estimular a todas las áreas que sean de interés nacional y fomentar la transferencia de los resultados de la investigación a la sociedad”¹¹.

Como lo expresa Mato (2018,2019), la evaluación centrada en la productividad –principalmente de papers-, por sobre otras producciones, son formas “endorreferenciales” de medir el impacto del trabajo científico. Consideramos que es imprescindible retomar lo que ha sido segregado como “Extensión” entendiéndose como la articulación de acciones entre los distintos actores científicos y la sociedad a partir de dar solución a demandas locales, regionales y nacionales. En ese marco se hace necesario incorporar criterios de evaluación que permitan valorar la utilidad social de las producciones científicas y su relevancia para la sociedad. Por otro lado, como lo ha propuesto la Cátedra Libre Ciencia, Política y Sociedad (2019) resulta ineludible en estos casos incorporar instancias en las que los actores sociales involucrados puedan participar en los procesos de evaluación relevando si los aportes realizados cumplen con lo estipulado y si son apropiados.

Para operativizar estas cuestiones proponemos tres acciones concretas que ayudarían a descentrar la evaluación del paper y dar paso a nuevas perspectivas:

• Que cada comité asesor disciplinar explicite claramente los procedimientos de ponderación de la producción científica que se emplearán para la selección de los postulantes a fin de difundirlos junto con el llamado de convocatoria que el organismo difunde año a año.

• Modificar en las Convocatorias Generales los valores relativos dados a los criterios de evaluación, estableciendo porcentajes más equitativos. Los criterios usados en la convocatoria de Temas Estratégicos podrían ser tomados como ejemplo para una reestructuración o ajuste de estos porcentajes. Cuando se corresponda con el plan de trabajo, las actividades de extensión deberían tener un mayor peso que el que actualmente se les da.

• Explicitar el impacto social y los aportes de las producciones científicas realizadas. En cada trabajo, proyecto, informe, etc., incluido en el sistema de CVs los postulantes deberían poder indicar el aporte directo e indirecto que realiza a la sociedad con el fin de que, además de insumo para la evaluación, pueda ser utilizado por cualquier ente social.

Sin duda la problemática de la evaluación y sus consecuencias son aspectos de permanente debate en las instituciones del sector científico tecnológico nacional y particularmente en el ámbito del CONICET. En este sentido, es importante que se defina cuál sería el rol y las funciones de este organismo en un sistema nacional de CyT. Consideramos que aumentar el reconocimiento de la ciencia argentina a nivel internacional, lo que estaría dado por la cantidad de contribuciones en revistas del mainstream, no debería ser el objetivo de la política nacional, sino el cómo sirven los descubrimientos para el desarrollo del país. Debatir estos temas desde adentro es un intento más por avanzar hacia una evaluación en donde la vinculación social retome la centralidad.

Referencias

Atrio, J. L. (2018). ¿Cómo perciben los investigadores del CONICET al sistema institucional de evaluación de la ciencia y la tecnología? Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 13(37), 189-229. Recuperado de http://ojs.revistacts.net/index.php/CTS/article/view/57/55

Beigel, F. (2014), Publishing from the Periphery: Structural Heterogeneity and Segmented Circuits. The Evaluation of Scientific Publications for Tenure in Argentina’s CONICET. Current Sociology, 62(5), 743-765. http://dx.doi.org/10.1177/0011392114533977

Cátedra Libre Ciencia, Política y Sociedad. (2019). La evaluación en ciencia y tecnología en Argentina. Ciencia, tecnología y política, 2(3), e025. https://doi.org/10.24215/26183188e025

CONICET (2008, modificado 2019). Resolución N° 033/08. Reglamento de evaluación del CONICET. Recuperado de https://www.conicet.gov.ar/wp-content/uploads/Reglamento-Modificado-por-RESOL-2019-1870-APN-DIRCONICET-1.pdf

CONICET (2014). Resolución N° 2249, 2014. CONICET, Bases para la Categorización de Publicaciones Periódicas en Ciencias Sociales y Humanidades. http://www.caicyt-conicet.gov.ar/wp-content/uploads/2014/07/CCSH_-RD-20140625-2249.pdf

CONICET (2017). Criterios de evaluación para concurso de ingresos a la CICyT 2018. Recuperado de https://convocatorias.conicet.gov.ar/wp-content/uploads/sites/3/Criterios-de-Evaluacion-1.pdf

CONICET (2018). Criterios de evaluación para concurso de ingresos a la CICyT 2019. Recuperado de https://convocatorias.conicet.gov.ar/wp-content/uploads/sites/3/Criterios-de-Evaluacion-2019.pdf

Herrera, A. (1975). Los determinantes sociales de la política científica en América Latina. Política científica explícita y política científica implícita. En J. Sábato (Comp.) (1975). El pensamiento latinoamericano en la problemática ciencia-tecnología-desarrollo-dependencia. Buenos Aires: Paidós.

Kreimer, P. (2015). Mitos de la ciencia: desventuras de la investigación, estudios sobre ciencia y políticas científicas. Revista Nómadas,42, 33-51. Recuperado de http://www.scielo.org.co/pdf/noma/n42/n42a03.pdf

Mato, D. (2018). Repensar y transformar las universidades desde su articulación y compromiso con las sociedades de las que forman parte. Revista +E, 8(9), 38-52. https://doi.org/10.14409/extension.v8i9.Jul-Dic.7837

Mato, D., y Esteban, P. (2019, abril, 24) “La extensión universitaria enriquece la ciencia”. Página 12 [Entrevista a Mato]. Recuperado de https://www.pagina12.com.ar/189390-la-extension-universitaria-enriquece-la-ciencia

Piovani, J. I. (2015). Reflexiones metodológicas sobre la evaluación académica. En Actas de las I Jornada de Debate: Investigación y Evaluación en Humanidades y Ciencias Sociales, 26 de septiembre de 2014, Ensenada, Argentina. Recuperado de http://www.memoria.fahce.unlp.edu.ar/libros/pm.403/pm.403.pdf

Rozemblum, C., Unzurrunzaga, C., Banzato, G., y Pucacco, C. (2015). Calidad editorial y calidad científica en los parámetros para inclusión de revistas científicas en bases de datos en Acceso Abierto y comerciales. Palabra Clave, 4(2), 64-80. Recuperado de http://www.palabraclave.fahce.unlp.edu.ar/article/view/PCv4n2a01

Senado y Cámara de Diputados de la Nación Argentina, Congreso (29 de agosto de 2001). Ley de Ciencia, Tecnología e Innovación. [Ley 25.467 de 2001]. Recuperada de https://www.conicet.gov.ar/wp-content/uploads/Ley-25.467-CIENCIA-TECNOLOGIA-E-INNOVACION1.pdf

Varsavsky, O. (1971). Ciencia, política y cientificismo. Desarrollo Económico, 11(41), 157-160. https://doi.org/10.2307/3466190

Notas