Artículos centrales
Recepción: 20 Septiembre 2019
Aprobación: 07 Octubre 2019
Resumen: La evaluación es parte fundamental de la política científica y tecnológica de un país y, dado su carácter performativo, es una herramienta que permite introducir cambios en el sector. En este trabajo presentamos una crítica al paradigma hegemónico de evaluación por productos, basado fundamentalmente en indicadores cuantitativos de papers y patentes. Con este marco discutimos las principales problemáticas de la evaluación de la ciencia y la tecnología en Argentina. Entre ellas: el sesgo excesivo hacia lo cuantitativo; el anonimato y la falta de transparencia; la primacía de la evaluación ex ante y realizada exclusivamente por pares; la falta de coherencia con políticas y planes, y el solapamiento de sistemas de evaluación. Finalmente presentamos una serie de propuestas para mejorar los procesos de evaluación en el país, destacando la necesidad de alcanzar una consistencia con las políticas de Estado y con un Plan Nacional de Ciencia y Tecnología, y de incluir a los actores extra-académicos en la evaluación de la actividad científica-tecnológica. Palabras clave: Evaluación científica, carreras científicas, proyectos CyT, actores sociales, sistemas de información científica, anonimato, evaluación por pares, Argentina. Evaluation in science and technology in Argentina. State of situation and proposals
Palabras clave: Evaluación científica, carreras científicas, proyectos CyT, actores sociales, sistemas de información científica, anonimato, evaluación por pares, Argentina.
Abstract: Evaluation is a fundamental part of the scientific and technological policy of a country and, given its performative character, is a tool that allows for the introduction of changes in the sector. In this paper we present a critique of the hegemonic paradigm of product evaluation, based mainly on quantitative indicators of papers and patents. Against this background we discuss the main issues of science and technology assessment in Argentina. Among them: the excessive weight assigned to quantitative parameters; anonymity and lack of transparency; the primacy of ex ante evaluation carried out exclusively by peers; the lack of coherence with policies and plans, and the overlapping of evaluation systems. Finally, we present a series of proposals to improve the evaluation processes in Argentina, emphasizing the need to achieve consistency with State policies and a National Science and Technology Plan, and to include non-academic actors in evaluation of scientific-technological activity.
Keywords: Scientific evaluation, scientific carrers, CyT projects, social actors, systems of scientific information, anonymity, blind peer review, Argentina.
Resumo: A avaliação é parte fundamental da política científica e tecnológica de um país e, dado o seu caracter performativo, é uma herança que permite introduzir mudanças no setor. Neste trabalho, apresentamos uma crítica ao paradigma hegemônico de avaliação de produtos, baseado fundamentalmente em indicadores de quantidade de artigos e patentes. Neste marco, discutiremos os principais problemas da avaliação da ciência e tecnologia na Argentina. Entre eles: a tendência excesiva à medição quantitativo; o anonimato e a falta de transparência; a primazia da avaliação ex ante e realizada exclusivamente por pares; falta de coerência com políticas e planos, bem como o solapamento de sistemas de avaliação. Finalmente, apresentamos uma série de propostas para melhorar os processos de avaliação no país, destacando a necessidade de alcançar uma consistência com as políticas do Estado e com um Plano Nacional de Ciência e Tecnologia. Além disso, almejamos incluir os atores extra-acadêmicos na avaliação da atividade científica-tecnológica.
Palavras-chave: Avaliação científica, carreras científicas, projetos CyT, atores sociais, sistemas de informação científica, anonimato, avaliação por pares, Argentina.
La evaluación como parte de la política científica y tecnológica
La evaluación es considerada un aspecto central de las políticas de ciencia y tecnología (CyT), especialmente desde la segunda mitad del siglo XX, cuando la actividad del sector alcanzó mayores proporciones (período caracterizado como “industrialización de la ciencia” por Salomon, 1997). Este rol, sin embargo, está sujeto a permanentes debates y tensiones, fundamentalmente porque a través de los procesos de evaluación se distribuyen recursos, se accede a puestos estables de trabajo, se asciende en la carrera profesional, se consolidan o desechan líneas de investigación y se construyen o desmerecen reputaciones.
Todo proceso evaluativo pretende de forma explícita valorar progresos, medir resultados, ponderar efectos, atribuir puntajes; pero de forma implícita actúa performativamente, dando pautas que orientan, organizan y privilegian un tipo de actividades en detrimento de otras. Diversos estudios han mostrado cómo los actores del complejo científico y tecnológico adecúan sus prácticas a lo que se espera de ellos (Davyt & Velho, 1999; Fernández Esquinas et al., 2011). Por esta razón la evaluación es además una herramienta fundamental para introducir cambios en las políticas implícitas del sector CyT de un país. Re-tomando las categorías de Herrera (1975), se podría decir que modificando los procesos evaluativos se podría lograr que una política explícita (planes de CyT) se vuelva implícita (normas, valores y formas de organización que efectivamente guían las prácticas de los actores).
La evaluación es un instrumento al servicio de quien planifica, financia y/o gestiona las actividades de CyT. El objeto a evaluar es muy diverso: desde escalas macro como podrían ser las políticas, los planes de I+D y los programas nacionales; de nivel meso, como las evaluaciones institucionales, los sub-sistemas o las áreas específicas; y finalmente de nivel micro, como son las evaluaciones de individuos, grupos de investigación y proyectos particulares. Por otra parte, cabe destacar que el proceso evaluativo puede realizarse en diferentes momentos: previo al inicio de la actividad (ex ante), en el transcurso de la misma (intermedia) o al finalizar (ex post).
En síntesis, la evaluación es un tema clave y de una enorme complejidad que suele quedar oculta para la mayoría de los actores que toman parte de una fase del proceso evaluativo, lo que sumado a los procesos inherentes de burocratización que con-lleva la actividad, generan una sensación de opacidad y falta de transparencia para muchos de los/as evaluados/as (Atrio, 2018). En el presente artículo no pretendemos agotar un tema para el cual existe una abundante literatura especializada, sino recuperar las críticas emergentes en relación al modelo están-dar de evaluación por productos, analizar problemáticas concretas de la evaluación en nuestro país, y finalmente presentar una serie de propuestas desde la Cátedra Libre Ciencia, Política y Sociedad de la UNLP.
El paradigma hegemónico en cuestión: la evaluación por productos
El enfoque más extendido en evaluación de la CyT a nivel global es el consagrado en los Manuales de Frascati (1963) y de Oslo (1992) de la Organización para la Cooperación y el Desarrollo Económico (OCDE).1 Se trata de una perspectiva lineal que mide los ingresos al sistema -básicamente dinero invertido y recursos humanos existentes- en relación a los resultados obtenidos, traducidos en cantidad de artículos científicos publicados en revistas con referato (usualmente denominados papers), o bien del desarrollo tecnológico alcanzado, medido en cantidad de patentes obtenidas. Es un paradigma de evaluación que utiliza la matriz insumo-producto de la economía aplicado a la producción de CyT. Con el paso del tiempo ambos manuales tuvieron diversas ampliaciones y anexos, y aunque conservaron la matriz de análisis con que fueron hechos originalmente, se fueron complejizando e incorporando variables complementarias. Sin embargo, los papers y patentes siguen siendo los ítems más valorados en las evaluaciones académicas.
De todas las críticas y cuestionamientos que este paradigma de evaluación ha recibido, destacamos las siguientes:
El producto de la CyT se reduce a un conjunto de resultados medibles y cuantificables, minusvalorando o directamente dejando de lado aspectos como la relevancia social, la intervención en la gestión pública, la integración regional, el impacto ambiental, la comunicación pública, entre otros.
Los resultados científicos y los productos tecnológicos tienden a aparecer como de autoría individual, ocultando la dimensión social de la actividad y despreciando así el rol de los equipos y grupos de investigación, las redes científicas y la colaboración.2
No entran en consideración los escenarios institucionales, sus cambios en el tiempo y sus particularidades regionales, obviando que la relación in-sumo-producto está mediada necesariamente por estas realidades y sus especificidades.
Refuerza la imagen positivista de la CyT al asumir implícitamente una única metodología de producción y circulación de conocimientos, y considerar que todos los campos del saber pueden ser evaluados según un parámetro estándar.
El uso simplificado y descontextualizado de indicadores bibliométricos como el factor de impacto, el índice H y otros similares para la valoración de la producción científica promueven una competencia desigual entre disciplinas y regiones, favoreciendo y reforzando el poder de las bases de datos y editoriales oligopólicas.3
Diversas declaraciones y manifiestos a nivel internacional, con una amplia adhesión tanto de científicos/ as individuales como de asociaciones, instituciones y publicaciones científicas, cuestionan esta metodología de evaluación (DORA, 2002; Hicks et al., 2015). Sin embargo, la evaluación por productos continúa siendo hegemónica. Esto se debe en parte a sus méritos intrínsecos, tales como la simpleza en su aplicación, la facilidad y economía para la obtención de datos y una comparabilidad de resultados que facilita la gestión y asignación de recursos. Estos aspectos suelen imponerse frente a enfoques alternativos que plantean estrategias más elaboradas y específicas, pero que por ese mismo motivo resultan más complejas de implementar. Por otra parte, y a manera de hipótesis, señalamos que la persistencia de la evaluación por productos se corresponde con los intereses de las potencias globales expresados en la OCDE, debido a que esta lógica de evaluación tiende a fortalecer la ciencia mainstream en los países centrales y el cientificismo en la periferia (Kreimer, 2011).
Principales problemáticas de la evaluación de la CyT en Argentina
En nuestro país, al igual que en otras partes del mundo, crecieron los cuestionamientos al paradigma de evaluación vigente, especialmente durante la expansión del sector CyT impulsada por los gobiernos de Néstor Kirchner y Cristina Fernández (2003-2015). En esos años hubo debates, reflexiones y propuestas que se plasmaron en diferentes documentos y normativas, entre los que se destacan los elabora-dos por el MinCyT entre 2011 y 20124 , el Reglamento de evaluación del CONICET (2008) y sus sucesivas modificaciones, y la creación de una comisión interinstitucional para las Humanidades y Ciencias Sociales (CIECEHCS, 2014). Como consecuencia de ello, en esos años se diseñaron y propusieron nuevos proyectos y líneas de financiamiento aso-ciadas al desarrollo tecnológico, social y productivo: principalmente los Proyectos de Desarrollo Tecnológico y Social (PDTS) y los fondos sectoriales como FONTAR, FONSOFT y FONARSEC, que incorporaron mecanismos diferentes de evaluación.5 También se adoptaron más recientemente nuevos criterios para el ingreso a carrera de investigador y becas en el CONICET, referidos a temas estratégicos y de fortalecimiento institucional. Estas iniciativas –que no analizaremos en este documento- representan experiencias a tener en cuenta a la hora de pensar cambios en los mecanismos de evaluación.
Los temas que analizaremos a continuación constituyen, a nuestro entender, problemáticas centrales en la evaluación de las actividades científico tecnológicas en nuestro país. Surgen además en forma recurrente en los debates, no siempre de forma explícita, y persisten a pesar de las propuestas de cambio. Estos son:
Sesgo excesivo hacia lo cuantitativo. La aplicación acrítica de la evaluación por productos ha conducido a la cuantificación de los resultados de investigación como indicador casi único de excelencia científica. Esto ocurre a pesar de que se ha señalado recurrentemente la necesidad de hacer primar valoraciones cualitativas. Entre las consecuencias negativas que produce se destacan: a) la orientación de la investigación hacia temas “de moda” y con mayor posibilidad de ser publicados en revistas de “corriente principal”, en detrimento de problemáticas locales o regionales; b) el fortalecimiento de disciplinas e instituciones tradicionales, y de los grupos ya consolidados, menoscabando a aquellos en formación o ubicados en áreas geográficas no centrales; c) la implantación de la lógica de “publicar o perecer”, que conlleva a la multiplicación innecesaria y productivista de la cantidad de publicaciones, muchas veces superfluas y carentes de valor en términos científicos; d) burocratización de la actividad científica y superficialidad de las actividades de evaluación, que se limitan al conteo de papers y a la aplicación de índices bibliométricos prearmados, todo lo cual genera un creciente malestar que se vive en términos de alienación laboral.
Anonimato en la evaluación de recursos y personas. Ignorar quién evalúa no es garantía de calidad y, por el contrario, puede ser fuente de posibles discrecionalidades. Al tratarse de recursos públicos, el anonimato en la evaluación de proyectos de I+D, fondos de investigación e ingresos a planta permanente resulta violatorio de las Leyes Nacionales 25.200 y 27.275 que garantizan, respectivamente, la necesaria transparencia de cualquier instancia de evaluación en los organismos del Estado y el derecho de acceso a la información pública. Entre las principales consecuencias del anonimato, el mayor problema es que puede dar lugar a irresponsabilidades en el ejercicio del poder de juzgar, lo que se traduce en dictámenes mal fundados, nepotismo encubierto, arbitrariedades y otros, que suelen que-dar ocultos y “protegidos” del escrutinio público. La resistencia que aún persiste en algunas instituciones integrantes del complejo CyT es inexplicable, más aún cuando en algunos organismos del sector –por ejemplo las universidades nacionales- las evaluaciones ya son públicas. 67
Falta de coherencia con políticas y planes, y solapamiento de sistemas de evaluación. Se observa en muchos organismos una falta de adecuación y consistencia de los sistemas y criterios de evaluación, con las políticas y planes que esos propios organismos impulsan y con planes nacionales y regionales de CyT. Se trata de una de las problemáticas más sufridas por los/as investigadores/as en su cotidianeidad y más reconocida por las propias instituciones.8 Su origen está en la desarticulación y falta de coordinación interinstitucional e interministerial entre todos los organismos que integran el complejo CyT (CONICET, universidades, organismos descentralizados, ANPCyT), dado que cada uno de ellos implementa sus propios mecanismos y sistemas, y generalmente no se comparte la información. Las consecuencias más importantes son: a) la falta de coordinación entre los organismos posibilita in-consistencias en los criterios de evaluación de una instancia dada con los planes y políticas públicas, resultando incluso a veces contradictorios con las mismas y produciendo además superposición de plazos y convocatorias con demandas y objetivos a veces incongruentes; b) dado que las evaluaciones no se comparten, cada organismo hace su propia evaluación, lo cual conduce a que un mismo actor, proyecto o institución sea evaluado múltiples veces, sobrecargando innecesariamente el sistema. Así, es común, por ejemplo, que un organismo evalúe la promoción de un/a investigador/a, que en otra instancia se evalúe la acreditación de un proyecto en el que participa el/la mismo/a investigador/a, y en una tercera instancia se evalúe la adjudicación de fondos; c) el uso de múltiples plataformas virtuales para la carga de antecedentes (CVar, SIGEVA CONICET, SIGEVA por universidades, Incentivos, etc.) genera una excesiva burocratización y sobrecarga de trabajo que podría evitarse.
Primacía de la evaluación ex ante. Hay un predominio casi absoluto de la evaluación previa de las propuestas de investigación -sean planes de trabajo o proyectos-. Por lo general, la evaluación intermedia y ex post se reduce al cumplimiento de pasos formales -llenado de formularios en tiempo y forma- que no suelen afectar el curso de los proyectos, y es particularmente notoria la ausencia de evaluaciones en los lugares de trabajo (in situ).9 Las únicas evaluaciones intermedias, in situ y ex post que se realizan son aquellas vinculadas a la cuestión financiera en tanto contralor fiscal, y están enfocadas en la rendición de gastos y el inventario de bienes. Como consecuencia, se genera una distancia entre lo que un proyecto o plan de trabajo dijo que se va a hacer y lo que efectivamente se hace, y se desaprovecha el uso de los resultados para reorientar las actividades, ahorrar presupuesto y mejorar la calidad y pertinencia de la CyT realizada en el país.
Utilización meramente declarativa de criterios de utilidad social. Aunque las grillas de formulación de proyectos incluyen ítems en los cuales hay que explicitar las áreas de impacto y utilidad social de los resultados y su pertinencia, esto no suele ser tenido en cuenta. Se produce un uso declarativo del impacto y la utilidad social, a los meros fines de aprobar el proyecto, pero luego no tiene efectos prácticos, dado que la producción CyT es evaluada por productos tradicionales (papers y patentes). No se valoran otras formas de comunicación de resulta-dos y a veces se desmerecen formas de difusión no tradicionales, como pueden ser medios alternativos, publicaciones en acceso abierto, difusión web, actividades de divulgación entre otras vías que facilitan la utilización social del conocimiento. Se trata de una expresión del desdoblamiento entre lo que se dice y lo que se hace, particularmente gravitante a la hora de pensar cómo vincular la CyT con los problemas sociales de nuestro país.
Evaluación exclusivamente por pares. La evaluación por pares es considerada unánimemente una garantía de la calidad del trabajo CyT. Sin embargo, el hecho de que la evaluación sea exclusivamente realizada por especialistas tiene consecuencias negativas tales como:
se tiende a adoptar las pautas vigentes de evaluación a nivel internacional y no según problemáticas nacionales, favoreciendo la adopción de temas y metodologías de investigación mainstream en detrimento de las problemáticas y tradiciones nacionales y regionales;
se genera una endogamia corporativa, ya que la evaluación controlada por pares da lugar a lógicas de reproducción de grupo (intercambio de favores, estatus y prestigio), antes que a dinámicas de resolución de problemas sociales;
en proyectos y planes de impacto social, en general, no se incluye a actores extra académicos (trabajadores, campesinos, comunidades u otros, sean éstos beneficiarios o posibles víctimas de un desarrollo CyT) en ninguna etapa de la evaluación, y es muy poco frecuente la participación de actores económicos (empresas) y políticos (organismos del Estado, municipios).
Conceptos que se asumen como objetivos y universales. Los procesos de evaluación suelen estar basados en criterios que hacen referencia a expresiones tales como calidad, excelencia, productividad, pertinencia, impacto, etc. Lejos de tratarse de términos con acepciones generalizadas, se trata de conceptos con una fuerte carga valorativa y múltiples significados. Al no explicitar la definición de estos conceptos (es decir, qué debe evaluar el/la evaluador/a) se está asumiendo que existe una idea común al respecto, que es objetiva y universal. Lo cual, implícitamente, conduce a la adopción de los criterios dominantes emana-dos de los países centrales y propagados por el mundo a través de los organismos internacionales (BID, BM, OCDE). El creciente esfuerzo de vinculación del sector CyT con el ámbito empresarial también debe alertarnos acerca de la necesidad de definir claramente los criterios de evaluación, para evitar que sea el sector privado el que modele las pautas de investigación del Estado.
Falta de transparencia en la evaluación. A pesar de que ha habido avances en los últimos años, todavía existen instancias, mecanismos y procedimientos de evaluación que no son lo suficientemente públicos y transparentes: criterios ambiguos, parámetros y puntajes no explícitos, falta de conocimiento tanto de evaluadores/as como de evaluados/as de las grillas a utilizar, dictámenes inaccesibles, entre otras, son elementos frecuentes que dan cuenta de este problema.
Algunas propuestas para mejorar los procesos de evaluación en CyT en Argentina
Sobre la base del diagnóstico anteriormente realizado, desde la Cátedra Libre CPS proponemos las siguientes acciones que consideramos necesarias para orientar cambios en los procesos de evaluación:
Finalmente, y como parte de una ética que queremos promover, creemos que es preciso avanzar hacia una evaluación colaborativa y formativa, inclusiva y plural, contextual y situada. Aunque siempre habrá un inevitable costado competitivo, en la medida en que se disputan recursos y accesos a cargos que son limitados, no debe perderse de vista el sentido de la evaluación.
Referencias
Argentina. Ministerio de Ciencia, Tecnología e In-novación Productiva. Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico (2011 y 2012). Documentos 1 y 2: Hacia una redefinición de los criterios de evaluación del personal científico y tecnológico. Proyectos de desarrollo tecnológico y social (PDTS). Recuperados de https://vinculacion.conicet.gov.ar/wp-content/uploads/sites/2/Docu-mento-I-Comision-Asesora-Evaluacion-del-Perso-nal-CYT-version-13-09-121.pdf
Argentina. Ministerio de Ciencia, Tecnología e Innovación Productiva. Secretaría de Planeamiento y Políticas en Ciencia, Tecnología e Innovación Productiva (2013). Argentina Innovadora 2020: Plan Nacional de Ciencia, Tecnología e Innovación. Lineamientos estratégicos 2012-2015. Recuperado de: https://www.argentina.gob.ar/sites/default/files/pai2020.pdf
Atrio, J. (2018): “¿Cómo perciben los investigadores del CONICET al sistema institucional de evaluación de la ciencia y la tecnología?”, Revista Iberoamericana de Ciencia, Tecnología y Sociedad, vol. 13, n° 37, pp. 189-229.
CPS, C. L. (2018). Publicaciones científicas, ¿comunicación o negocio editorial?. Ciencia, Tecnología y Política, 1(1), 005. https://doi.org/10.24215/26183188e005
Comisión Interinstitucional de Elaboración de Criterios de Evaluación para las Humanidades y Ciencias Sociales CIECEHCS (2014). Criterios de evaluación de la producción científica de las humanidades y las ciencias sociales. Buenos Aires.
Davyt, A. & Velho, L. (1999). Excelencia científica: la construcción de la ciencia a través de su evaluación. Comisión Sectorial de Investigación Científica (CSIC), Uruguay. Redes, 6 (13), pp. 13-48.
DORA (2002). San Francisco Declaration on Research Assessment. Recuperado de: https://sfdora.org (última visita 20/09/19).
Fernández Esquinas, M., Díaz Catalán, C., & Ramos Vielba, I. (2011). Evaluación y política científica en España: el origen y la implantación de las prácticas de evaluación científica en el sistema público de I+D (1975-1994). En T. González de la Fe & López Peláez, Innovación, conocimiento científico y cambio social. Ensayos de sociología ibérica de la ciencia y la tecnología (págs. 93-130). Madrid: Centro de Investigaciones Sociológicas (CIS).
Herrera, A. (1975). Los determinantes sociales de la política científica en América Latina. Política científica explícita y política científica implícita. En J. Sábato (Comp.) (1975). El pensamiento latinoamericano en la problemática ciencia-tecnología-desarrollo-dependencia. Buenos Aires: Paidós.
Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature News, 520 (7548), 429. https://doi.org/10.1038/520429
Kreimer, P. (2011). La evaluación de la actividad científica: desde la indagación sociológica a la burocratización. Dilemas actuales. Propuesta educativa, 36(20), 59-77. Recuperado de: http://www.propuestaeducativa.flacso.org.ar/archivos/dossier_articulos/60.pdf
Naidorf, J., Vasen, F. & Alonso, M. (2015). Evaluación académica y relevancia socioproductiva: los proyectos de desarrollo tecnológico y social (PDTS) como política científica. Cadernos PROLAM/USP, 14(27), 43-63. https://doi.org/10.11606/issn.1676-6288.prolam.2015.103235
Porta, F. & Lugones, G. (Dirs.) (2011). Investigación científica e innovación tecnológica en Argentina: impacto de los fondos de la Agencia Nacional de Promoción Científica y Tecnológica. Bernal: Universidad Nacional de Quilmes.
Salomon, J.-J. (1997). La ciencia y la tecnología modernas. En Salomon, J.-J., Sagasti, F. & Sachs, C. (Comps.). La búsqueda incierta: Ciencia, tecnología, desarrollo. México: Fondo de Cultura Económica.
Wuchty, S.; Jones, B. F.; Uzzi, B. (2007). The increasing dominance of teams in production of knowledge. Science, 316 (5827), pp. 1036-1039. doi: http://dx.doi.org/10.1126/science.1136099
Notas