Ensayo

AUDITORÍA ALGORÍTMICA EN LA INTELIGENCIA ARTIFICIAL EN EL SECTOR PÚBLICO

ALGORITHMIC AUDIT IN ARTIFICIAL INTELLIGENCE IN THE PUBLIC SECTOR

Mota Sánchez, Eva María; Herrera Expósito, Esther

Eva María Mota Sánchez

emotasanchez@yahoo.es

Universidad de Navarra España

Esther Herrera Expósito

eherreraexpo@gmail.com

Universidad de Córdoba España

Proyecciones

Universidad Nacional de La Plata, Argentina

ISSN: 1850-6242

ISSN-e: 2618-5474

Periodicidad: Anual

núm. 17, e025, 2023

revistaproyecciones@econo.unlp.edu.ar

Recepción: 15 Febrero 2023

Aprobación: 20 Abril 2023

URL: http://portal.amelica.org/ameli/journal/373/37340493734049005/

DOI: https://doi.org/10.24215/26185474e025

License Creative Commons
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional.

Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica

ePub generado a partir de XML JATS4R

Resumen: La investigación bajo la órbita de las ciencias económicas interactúa permanentemente con otras ciencias y disciplinas. Sin duda, las nuevas tecnologías impactan fuertemente en cuestiones como las siguientes: el reconocimiento, la valuación y la exposición de activos intangibles y de pasivos contingentes; la auditoría financiera, de desempeño, algorítmica, informática, etc.; la gestión de los organismos públicos, etc. En dicho marco la presente investigación tiene por objeto realizar un relevamiento preliminar de literatura sobre inteligencia artificial, propiedad intelectual y auditoría algorítmica, y se estructura de la siguiente manera: Introducción; La Inteligencia artificial y los algoritmos: auditorías algorítmicas. Comitente; Propiedad Intelectual en los Algoritmos: Informes; Consideraciones finales y Referencias.

Palabras clave: Auditoría Algorítmica, Inteligencia Artificial, Sector Público.

Abstract: Research under the scope of economic sciences permanently interacts with other sciences and disciplines. Undoubtedly, new technologies have a strong impact on issues such as: recognition, valuation and exposure of intangible assets and contingent liabilities; financial, performance, algorithmic, IT audit, etc.; public agencies management, etc.

Within this framework, this research aims to carry out a preliminary study of the literature on artificial intelligence, intellectual property and algorithmic audit, and it is structured as follows: -1. Introduction, - 2. Artificial intelligence and algorithms: algorithmic audit. Constituent- 3. Intellectual Property in Algorithms: Reports.4. Final considerations. - 5.-References.

Keywords: Algorithmic Audit, Artificial Intelligence, Public Sector.

Introducción

Existe una vasta literatura en español sobre administración y gestión (Ararteko, 2021; Campos Acuña, 2020a, 2020b; Campos Acuña, 2021), tecnologías (Del Rosal, 2019; Domínguez y García-Vallejo, 2009; García Martínez, 2020.), auditoría, inteligencia artificial (Bargueño, 2019; Bonina, 2020; Campos Acuña, 2019; De Castañeda, 2020; Castellano Garijo, 2020; Castellano Garijo, 2021; Cotino Hueso, 2017; Cotino Hueso, 2019; Deloitte, 2017; Deloitte, 2019; Fernández Carballo-Calero, 2020; Iturmendi Morales, 2020; Padilla Ruiz, 2023; Ramio, 2018; Ramio, 2019; Savirón, 2019; Salvador Serna, 2021; Valero Torrijos, 2021) y algoritmos. La implantación de las nuevas tecnologías en la Administración pública se convertirá en una herramienta imprescindible no solo para la prestación de servicios públicos, sino para el ejercicio del control de los fondos públicos, lucha contra fraude fiscal y en definitiva reforzar la democracia.

Por ello, Steve Wreyford-Hind (2021) en los cursos de verano de la UPV-EHU (País Vasco/Euskal Herriko Unibertsitatea) en la ponencia de las claves de la exitosa transformación digital del gobierno de su país hace referencia al modelo de digitalización de las administraciones públicas. Uno de los mismos es el de Reino Unido, en el cual se basó el expresidente Barak Obama para implantarlo en los Estados Unidos, quien hoy en día utiliza los códigos y patrones utilizados por la administración británica. También hace referencia a que lo fundamental de la digitalización es centrarse en las necesidades del usuario y no del gobierno.

Como se ha manifestado en diversas ocasiones, la IA (Inteligencia Artificial) está impactando cada vez más en nuestras vidas y esto está provocando la necesidad de comprobar y verificar que las decisiones basadas en los algoritmos son éticas o no.

El impacto de los algoritmos en las decisiones administrativas que afectan a la vida de las personas no siempre resultará positivo y, por ello, es imprescindible su auditoría.

El presente artículo presenta la necesidad de auditar los algoritmos no solo en diseño, sino en su ejecución; por ello, denominamos auditoría algorítmica comitente a fin de evitar desvíos negativos que puedan afectar a los derechos fundamentales, derechos administrativos que provoquen discriminaciones o lesionen dichos derechos.

Finalmente, se analiza, aunque sea brevemente, la propiedad intelectual de los informes técnicos que se emitan en colaboración con las máquinas, de donde surge la discusión de la autoría y propiedad intelectual, lo cual nos llevará a un camino de estudio necesario a fin de determinar quién es el autor y a protegerlo. Las máquinas deben ser colaboradores de la inteligencia humana.

Auditoría algorítmica en la Inteligencia Artificial

La academia ha indagado sobre cuestiones de IA y auditoría (Arias Rodríguez, 2017; Arias Rodríguez, 2020; Balaguer De la Riva, 2020; Benítez Palma, 2020; Campos Acuña, 2020; Genaro Moya, 2020; López Hernández y Ortiz Rodríguez, 2005; Montesinos Julve, 1994; Mota Sánchez, 2021; Mota Sánchez et al., 2021; Nevado Peña et al., 2020; Pérez, 2020; Valencia Duque, 2013). En tal sentido cabe señalar que existen diversidad de definiciones de la inteligencia Artificial, en las cuales aparecen conceptos como una combinación de tecnologías de computación, almacenamiento de datos y programación de algoritmos, y estos, a su vez, se definen como códigos, fórmulas matemáticas y modelos estadísticos para que la máquina actúe. En definitiva, la IA utiliza algoritmos para crear máquinas que piensen como las personas humanas (como aprender, razonar y tomar decisiones), generando desafíos respecto a su uso y provocando la necesidad de seguridad jurídica y responsabilidad en el diseño de los algoritmos.

Los algoritmos se definen en la Real Academia Española como un conjunto de instrucciones o reglas definidas y no-ambiguas, ordenadas y finitas que permite, típicamente, solucionar un problema, realizar un cómputo, procesar datos y llevar a cabo otras tareas o actividades y permite proporcionar las instrucciones para la máquina y los datos posibilitan a la máquina aprender a utilizar esas instrucciones y perfeccionar su uso. Para tomar decisiones y resolver problemas como lo haría la inteligencia humana, las máquinas requieren fórmulas matemáticas. Sin embargo, se necesita que los algoritmos sean legibles, comprensibles, transparentes para la ciudadanía y para el juez a fin de poder ser objeto de control y verificación con la legalidad vigente; en caso contrario, estaríamos ante un nuevo sistema ilegal. Los principios clásicos del derecho como el de eficacia y eficiencia de la Administración pública, no discriminación, sujeto a la ley y al derecho, publicidad y transparencia resultan, tanto ahora como antes, pilares básicos del derecho administrativo.

Teniendo en cuenta que los ciudadanos se verán afectados por el uso de los algoritmos en la toma de decisiones por la Administración pública como la Universidad pública o cualquier actuación administrativa o como receptores de servicios públicos y además en las relaciones con la Administración pública, se les debe garantizar los derechos y obligaciones de la ciudadanía, protección de datos, protección a los más desfavorecidos, igualdad de género, seguridad, igualdad, libertad de expresión, tutela judicial efectiva, libertad religiosa y transparencia. A todos estos se les denomina ética. En este sentido se ha advertido que la IA no es “infalible” y que la gente que la hace puede cometer errores, una discusión que recuerda el debate sobre la ética y la Inteligencia Artificial del Foro de Gobernanza. Los ciudadanos deben reclamar una IA que no sólo respete nuestros derechos humanos y fundamentales, sino que también los proteja y los promueva, la Unión Europea (UE) ha identificado tres niveles de riesgo asociados a ciertos usos de algunas tecnologías:

-Inaceptable, que corresponde a sistemas de IA que manipulan o plantean amenaza a la seguridad, vida y derechos de las personas;

-Alto, procesos relacionados con evaluación de créditos, sistemas de seguridad que impactan en la salud de las personas y cualquier sistema asociado a la administración de justicia; y

-Bajo, sistemas que implican bajo impacto en las personas como chabots, filtros de spam, gestión de inventarios y marketing entre otros.

Se ha incluido al sector público como alto riesgo en cuanto a la utilización de los algoritmos en la inteligencia artificial, ya que están en juego los derechos mencionados. Cuando afectan los derechos de los ciudadanos, es necesario que los algoritmos sean transparentes y regulados conforme a los principios constitucionales, que exista trazabilidad, que exista transparencia para que se pueda auditar y determinar faltas, delitos y responsabilidad sobre las que se haya de responder.

Todo ello conlleva la necesidad de la regulación de diseño de los algoritmos y sus límites jurídicos y de cómo evoluciona a través de la ejecución en dos ámbitos, los sesgos que se producen en ambos procesos y la transparencia y rendición de cuentas de cómo funcionan, en el marco de la necesidad del control de los algoritmos aplicados en el ámbito de la Administración pública. Para ello, se requiere formación jurídica y tecnológica para los interventores coadyuvados por matemáticos e informáticos e ingenieros, determinados en cómo realizar la revisión, si debe ser continua, en las fases del proceso, la responsabilidad, requisitos de fiabilidad y gestión de incidencias en caso de fallos del sistema y la información a la ciudadanía, a la sociedad en general. Todo ello debe ser completado con un código ético que respete los principios y valores centrados en las personas como seguridad, salud, dignidad, justicia, protección de datos personales, transparencia, responsabilidad, beneficencia y los derechos humanos internacionales y en la Constitución española sin olvidar el desarrollo sostenible y el medio ambiente, como expresa la OCDE (2019).

Por otra parte, los algoritmos también producirán una transformación sustancial en las relaciones de la ciudadanía en la Administración pública, en el control de los gastos e ingresos, en la prestación de los servicios públicos y en la gestión de personal público.

Su implantación genera también aspectos negativos como el anonimato, la opacidad de los procesos, la interconectividad global, las amenazas de ciberseguridad, la propiedad de los datos, etc., todo ello en el marco de los derechos digitales, que engloba los de los ciudadanos en el entorno digital, ya sean derechos fundamentales u ordinarios, especialmente relevantes porque la transformación digital debe tener como principio estructural maximizar la calidad de la democracia.

El ordenamiento jurídico tiene que garantizar que estos derechos pueden ejercerse y están asegurados en el entorno digital con la misma eficacia que fuera de él, lo que plantea el problema de cómo protegerlos adecuadamente dadas las especiales características del mundo digital. Por tanto, debe existir una regulación y un control del uso de los algoritmos de la IA en la Administración en general y en particular en la gestión y control de los fondos públicos.

Auditoría algorítmica en su triple modalidad: inicio, comitente y posterior

Los algoritmos son una manifestación de la inteligencia artificial que tendrá grandes implicaciones no solo en la sociedad, sino también en la Administración pública y en los ciudadanos a nivel de los derechos individuales y colectivos que se han alcanzado a lo largo de la humanidad.

Por eso, cabe preguntarse quién vigila los algoritmos, y, en este escenario, surge la necesidad de auditar los algoritmos. Para ello, se debe tener en cuenta el próximo Reglamento Europeo de Gobernanza de Datos que plantea crear intermediarios de datos, con unos estándares estrictos, que aumenten la confianza de los ciudadanos y garanticen un modelo basado en la neutralidad y la transparencia. Además, establece la creación de un Consejo Europeo de Innovación en materia de datos para facilitar el intercambio de mejores prácticas por parte de los estados miembros, en particular sobre el altruismo de los mismos, los intermediarios y el uso de datos públicos que no pueden ponerse a disposición como abiertos y facilitar el intercambio de buenas prácticas por parte de los estados miembros, protegiendo la privacidad de los datos personales, todo ello, sin olvidar, la elaboración por parte de la Secretaría de Estado de la Innovación de una guía pública de algoritmos a fin de evitar algoritmos injustos, ilegales y no transparentes.

El diseño y el uso de los algoritmos requieren un control a través de auditoría para garantizar seguridad y confianza en su uso. El enfoque del Reglamento Europeo de Inteligencia Artificial declara que se pueden hacer auditorías para establecer sellos que digan al usuario qué algoritmos son más éticos; se pueden regular las zonas de riesgo del uso y los controles que se puedan realizar.

El objeto de la auditoría de los sistemas de Inteligencia Artificial (IA) que usan algoritmos debe ser comprobar que son diseñados, desarrollados y utilizados de acuerdo con la norma jurídica vigente para garantizar que los principios éticos y jurídicos se reflejan en los sistemas de Inteligencia Artificial (IA) que toman decisiones sobre todos nosotros, y gracias a ellas se hace la IA más transparente, explicable y eficaz, aplicando las garantías que ya exigen leyes como la GDPR (General Data Protection Regulation). Del mismo modo, se fomenta la responsabilidad social de las empresas en el desarrollo y uso de algoritmos.

Se ha asegurado que cualquier algoritmo debe desarrollarse e implementarse de manera que pueda ser auditado, especialmente aquellos con impacto social porque suponen un mayor riesgo para la protección de los datos personales y para la privacidad e integridad de las personas. Además, se destaca que, tras varios casos que han llegado a los tribunales, gobiernos y compañías de todo el mundo empiezan a comprender la importancia de estos controles externos como si se tratase de auditorías financieras.

Todo algoritmo debe cumplir con lo dispuesto por las normas jurídicas y deontológicas vigentes, y debe ser diseñado, implementado y revisado desde una perspectiva legal y ética, sin olvidar el medio ambiente, y la eficacia y eficiencia.

Parafraseando a la Guía de Auditoría Algorítmica de enero 2021 (Eticas Research and Consulting SL, 2021), la denominada auditoría algorítmica consiste en:

1. Estudiar la documentación del sistema. Estudiar las principales características técnicas y administrativas del diseño algorítmico mediante entrevistas con el equipo desarrollador. Conocer la base teórica del algoritmo y sus hipótesis generales de base.

2. Entender el contexto social de su implantación. Analizar el contexto económico, medioambiental y sociocultural específico donde se implanta, teniendo en cuenta a las personas que afecta, directa o indirectamente.

3. Establecer las hipótesis de sesgo algorítmico. Identificar grupos poblacionales protegidos (por ejemplo, mujeres en situación de vulnerabilidad) que puedan ser impactados negativamente por el sistema, decidir qué criterio y métricas de justicia algorítmica es el adecuado para analizar y explicar sus motivos.

4. Examinar la disponibilidad y calidad de los datos. Examinar las fuentes de datos utilizadas, analizar su calidad, la disponibilidad de datos necesarios para el análisis -o para partes del mismo-, su estructura, posibles sesgos y si se trata de datos actualizados. Establecer, sobre esta base, las estrategias de análisis (directo, supervisado, etc.).

5. Comprobar sesgo y discriminación algorítmicos. Aplicar las mediciones previamente determinadas para evaluar el impacto diferencial del algoritmo por grupos, con foco en los grupos protegidos identificados. Definir si el algoritmo brinda un trato desventajoso contra los grupos definidos como (social y contextualmente) desaventajados, de forma sistemática.

6. Evaluar la deseabilidad y aceptabilidad. Comprobar que la solución auditada mejora la práctica actual de una manera replicable, eficiente, precisa y equitativa. Evaluar el sistema en función de los aspectos críticos del estado del arte, situando los resultados cuantitativos en el marco social de aplicación. Contrastar las percepciones y opiniones de los usuarios finales y la población afectada.

7. Verificar la privacidad. Verificar las implicaciones del modelo algorítmico con respecto a los derechos fundamentales como la privacidad, protección de datos, integridad y libertad de las personas implicadas.

8. Revisar la explicabilidad. Revisar que los usuarios y afectados por el algoritmo tienen información clara, completa y sencilla sobre los objetivos del algoritmo, sus funciones, el tipo de datos que trata, cómo los utiliza, cómo se utilizan los resultados del algoritmo, o con quién se comparten estos datos.

9. Elaborar recomendaciones actuables según riesgo. Informe de resultados de la auditoría con recomendaciones viables y concretas que permitan mejorar el algoritmo mediante remodelamiento o rediseño de sus bases conceptuales, así como de implementación y administración que aseguren la mitigación de los riesgos identificados.

10. Re-auditar. Volver a auditar el sistema de forma periódica para evaluar su evolución y sus formas de aprendizaje a lo largo del tiempo. De este modo, hay que asegurar que el sistema auditado no ha integrado esquemas discriminatorios a su modelo algorítmico.

El uso de las aplicaciones de IA en la Administración pública como prestadora de servicios y, a su vez, en los procedimientos administrativos se manifestará a través de una auditoría pudiendo manifestarse de forma previa, comitente y posterior, que les corresponderá a los Interventores de Habilitación Estatal que para ello deberán de auxiliarse de equipos multidisciplinarios, entre ellos de expertos tecnológicos, programadores, juristas y economistas.

La primera fase de auditoría en las aplicaciones informáticas de IA es un control de legalidad, en el diseño del software, con carácter previo a su aplicación, como recomienda la Comisión Europa en el libro Blanco de 19 de febrero de 2020, en vista del alto riesgo que suponen determinadas aplicaciones de inteligencia artificial en la administración pública para los ciudadanos y nuestra sociedad. En esta fase sería necesario un control objetivo previo para verificar y garantizar el cumplimiento por parte de las aplicaciones de la normativa vigente a través de procedimientos de ensayo, inspección o certificación y con los controles de los algoritmos y de los conjuntos de datos utilizados en la fase de desarrollo a fin de garantizar los derechos y obligaciones de los ciudadanos con la administración pública, la tutela judicial efectiva y los derechos fundamentales previstos en la Constitución Española, ya que en caso contrario puede darse lugar a malas prácticas, vulneración de los derechos de los ciudadanos, ya que todo nuevo mecanismo debe ser proporcionado y no discriminatorio y utilizar criterios transparentes y objetivos que cumplan con las obligaciones nacionales e internacionales.

Y, en una fase posterior, haría falta un control denominado la auditoría de sistemas de tecnologías, que compruebe el entrenamiento de los algoritmos tutelando la información suministrada para su aprendizaje y comprobando los efectos de este, detectando deficiencias y propuestas de mejoras para ir perfeccionando la propia aplicación.

Se reclama la auditoría continua, un control concomitante, que comprende realizar inspecciones periódicas para verificar cómo están actuando los algoritmos registrados en términos de cumplimiento normativo y operativa, que permitirá detectar y corregir de forma inmediata las deficiencias o, en caso contrario, incluir en el plan anual de control financiero o auditoría como un riesgo más en el procedimiento administrativo.

Gracias a las auditorías algorítmicas en el desarrollo y uso de algoritmos de las tecnologías, se obtendrá en definitiva que se garanticen los derechos fundamentales de los ciudadanos y que la Administración Pública sea más transparente, eficaz, sin discriminación, que elimine la corrupción y fraude y preste mejores servicios públicos al mejor coste posible y todo ello contribuirá a una sociedad más democrática.

Propiedad Intelectual en los Algoritmos de la Administración pública: Informes jurídicos económicos

La literatura trata sobre algoritmos (Cortés Oscar, 2020; Mcmillan y García Manglano, 2020; Mota Sanchez, 2021); en tal sentido, cabe señalar que la Inteligencia Artificial ya ha sido capaz de crear arte y literatura, y surge la cuestión de si es capaz de crear en la Administración pública informes, pero todavía no se ha resuelto la autoría de las obras desarrollada por las máquinas, por tanto, si emitirán en breve los informes de los técnicos y a quien se atribuirá dicha propiedad intelectual.

Es un hecho que la IA está en condiciones de crear informes jurídicos o económicos y a quien se les atribuirá la autoría, distinguiendo aquellos desarrollados por la máquina de forma autónoma y aquellas en los que participe el factor humano.

Para ello, se debe distinguir aquellos informes que solo utilizan datos y cálculos previamente diseñados solo meramente informativos en los que la colaboración humana solo participa en el diseño del programa y no genera valor de aquellos informes que analizan dichos datos y proponen soluciones particulares e individualizadas para dichos problemas o situaciones. Para ello, es necesario la colaboración humana.

Por ello, los informes que sean fruto de la colaboración humana deben ser protegidos a través de la propiedad intelectual, que seguirá siendo el instrumento idóneo para poner en valor creaciones, que, pese a contar con la ayuda de las máquinas inteligentes, continúan siendo esencialmente humanas.

Consideraciones finales

La literatura en español (Braña Píno, 2020; Castells, 2005; Castells, 2017; Gónzalez Pueyo, 2005; Jiménez, 2020; Jiménez Asensio, 2020; Moises Barrio, 2021; Prendes Espinosa, 1997; Wreyford-Hind, 2021) ha tratado los fenómenos analizados en el presente ensayo desde distintos enfoques y matices.

La transformación de la Administración pública pasa fundamentalmente por las nuevas tecnologías que deben aprovechar las sinergias para impulsar una administración transparente, ágil, prestadora de servicios públicos eficaces y eficientes, libre del fraude fiscal y de la corrupción, sin que dichas herramientas tecnológicas, como la IA y el big data, afecten de forma negativa a los derechos fundamentales, que no respeten la protección de datos, que no asegure la aplicabilidad de las decisiones ni la transparencia, siendo necesario que se articulen sistemas de auditoría periódicos y continuos y para ello, se requiere una transformación de arriba hacia abajo y viceversa del personal público y de los gobernantes para que jueguen un papel fundamental olvidando las diferencias ideológicas y empezando a construir la sociedad del hoy para consolidar el mañana.

Por ello, se reclama la auditoría de los algoritmos en su triple fase, inicio, comitente y posterior, a fin de respetar los derechos fundamentales y administrativos.

Es una cuestión de respeto a toda la ciudadanía y de la administración que resulta satisfactorio para las nuevas generaciones y para ello no solo afrontaremos desafíos y retos, sino que debemos ser optimistas en que se puede lograr una sociedad y, por ende, una Administración publica más ágil, eficiente y eficaz.

Cabe mencionar además que la implantación de la IA puede generar también aspectos negativos como el anonimato, la opacidad de los procesos, la interconectividad global, las amenazas de ciberseguridad, la propiedad de los datos, etc. Todo ello, en el marco de los derechos digitales, que engloba los derechos de los ciudadanos en el entorno digital, ya sean derechos fundamentales o derechos ordinarios, especialmente relevantes porque la transformación digital debe tener como principio estructural maximizar la calidad de la democracia y los derechos.

Referencias

Ararteko. (2021). Administración digital y relaciones con la ciudadanía. Su aplicación a las administraciones públicas vascas. https://www.ararteko.eus/es/administracion-digital-y-relaciones-con-la-ciudadania-su-aplicacion-las-administraciones-publicas-vascas

Arias Rodríguez, A. (22 de febrero de 2017). El auditor como tecnólogo. Blog Legal Fiscalizacion.es. https://fiscalizacion.es/2017/02/22/el-auditor-como-tecnologo/

Arias Rodríguez, A. (20 de septiembre de 2020). Estimado Sr. Alcalde: nuestro robot afirma que su ayuntamiento está comprando muy caro. Blog Legal Fiscalización. es. https://fiscalizacion.es/2020/09/20/estimado-sr-alcalde-nuestro-robot-afirma-que-su-ayuntamiento-esta-comprando-muy-caro/

Balaguer De la Riva, J. (2020). La transformación digital no será televisada: el Big Data en la Auditoría Pública. Auditoría Pública, (76), 51-74.

Bargueño, J. (18 de enero de 2019). Claves sobre Inteligencia Artificial que no puedes ignorar este año. PWC. https://ideas.pwc.es/archivos/20190118/claves-sobre-inteligencia-artificial-que-no-puedes-ignorar-en-2019/

Benítez Palma, E. (2020). Auditoría y Gestión de los Fondos Públicos. Auditoría Pública, (77), 35-47.

Bonina, N. (24 noviembre de 2020). Inteligencia artificial y derecho ¿Las máquinas van a remplazar a los abogados? La Ley.

Braña Píno, F. J. (2020). Cuarta Revolución industrial, automatización y digitalización: Una visión desde la periférica de la Unión Europea en tiempos de pandemia (Documento de Trabajo Nº4). ICEI. https://www.ucm.es/icei/file/wp0420

Campos Acuña, M. C. (2019). Inteligencia Artificial e Innovación en la Administración Pública: (in)necesarias regulaciones para la garantía del servicio público. Revista Vasca de Gestión de Personas y Organizaciones Públicas, (Nº extra 3), 74-91.

Campos Acuña, M. C. (19 de diciembre de 2020a). Inaplazable reforma de la Administración. Faro de Vigo. https://www.farodevigo.es/opinion/2020/12/19/inaplazable-tarea-reformar-administracion-26543928.html

Campos Acuña, M. C. (septiembre de 2020b). Burocracia Digital. Blog Legal Concepción Campos Acuña. https://concepcioncampos.org/burocracia-digital/

Campos Acuña, M. C. (enero de 2021). 5 Retos (inaplazables) para las AAPP en el 2021. Blog legal Concepción Campos Acuña. https://concepcioncampos.org/5-retos-inaplazables-de-las-aapp-en-el-2021/

Castellano Garijo, M. (26 de noviembre de 2020). No preguntes qué puede hacer la Inteligencia Artificial por ti. EnREDando. https://enredando.blog/2020/11/26/no-te-preguntes-que-puede-hacer-la-inteligencia-artificial-por-ti/

Castellano Garijo, M. (2021). Experiencias prácticas de uso de inteligencia artificial en las Administraciones Públicas. IEF.

Castells, M. (2005). La Era de la Información (Vol. I): Economía, Sociedad y Cultura. Alianza.

Castells, M. (2017). Ruptura: la Crisis de la Democracia Liberal. Alianza.

Cortés Oscar, A. P. (2020). Algoritmos y algunos retos jurídico-institucionales para su aplicación en la Administración Pública. Revista Vasca de Gestión de Personas y Organizaciones Públicas, (18), 54-73.

Cotino Hueso, L. (2017). Big data e Inteligencia Artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales. Dilemata, (24), 131-150.

Cotino Hueso, L. (2019). Riesgos e impactos del big data, la Inteligencia Artificial y la robótica. Enfoques, modelos y principios de la respuesta del Derecho. Revista General de Derecho Administrativo, (50), 1-37.

De Castañeda, A. (14 de diciembre de 2020). La agencia europea de derechos humanos advierte sobre la amenaza de la Inteligencia Artificial en diversos campos. Zona Movilidad. https://www.zonamovilidad.es/agencia-europea-derechos-humanos-advierte-sobre-amenaza-ia-diversos-campos.

Del Rosal, P. (24 de enero de 2019). Ben Allgrove: “Los bufetes debemos ofrecer líneas de negocio no jurídicas”. Cinco días. https://cincodias.elpais.com/cincodias/2019/01/24/legal/1548363013_135934.html

Deloitte. (2017). Change. Automatización Robótica de los Procesos (RPA). https://www2.deloitte.com/uy/es/pages/home/articulos/Automatizacion-Robotica-de-Procesos.html

Deloitte. (2019). Ética en la Inteligencia Artificial. Un nuevo imperativo para empresas, juntas y alta gerencia. https://www2.deloitte.com/us/en/pages/regulatory/articles/ai-ethics-responsible-ai-governance.html

Domínguez, M.C. y García-Vallejo, F. (2009). La sexta revolución tecnológica: El camino hacia la singularidad en el siglo XXI. El Hombre y la Máquina, (33), 8-21.

Eticas Research and Consulting SL. (enero de 2021). Guía de Auditoría Algorítmica. https://www.eticasconsulting.com/resources/

Fernández Carballo-Calero, P. (2020). La inteligencia artificial se subasta en Christie’s y Sotheby’s. ¿Hacia un nuevo concepto de autor en el derecho de la propiedad intelectual? CEFLegal: Revista práctica de derecho. Comentarios y casos prácticos, (238), 5-38. https://doi.org/10.51302/ceflegal.2020.9525

García Martínez, J. (2020). Las 10 tecnologías emergentes para impulsar a España (Informe 2020). Cátedra ciencia y sociedad, Fundación Rafael del Pino.

Genaro Moya, M. D. (16 de octubre de 2020). Transformación digital en la Auditoría de Cuentas. Experiencia del Tribunal de cuentas. IX Congreso Nacional de Auditoría en el Sector Público. La Administración Digital: Un reto para la gestión y la auditoría del sector público.

Gónzalez Pueyo, J. M. (Coord.) (2005). Comentarios al Texto Refundido de la LRHL. El Consultor de los Ayuntamientos. Editorial Wolters Kluwer.

Iturmendi Morales, G. (2020). Responsabilidad civil por el uso de sistemas de Inteligencia Artificial. Actualidad Civil, (11), 14075. https://laleydigital.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbF1CTEAAmNDCwsjI7Wy1KLizPw8WyMDIwNDQyMDkEBmWqVLfnJIZUGqbVpiTnEqANKvjtI1AAAAWKE

Jiménez, S. (2020). Datos y fondos de recuperación europea. Blog Legal Analítica Pública. https://analiticapublica.es/datos-y-fondos-de-recuperacion-europea/

Jiménez Asensio, R. (23 de diciembre de 2020). Decreto-ley 36/2020 de 30 de diciembre, de gestión de fondos europeos: diez ideas-fuerza. Blog La mirada institucional. https://rafaeljimenezasensio.com/2020/12/23/decreto-ley-de-gestion-de-fondos-europeos-diez-ideas-fuerza/

López Hernández, A. M. y Ortiz Rodríguez, D. (2005). El control de la gestión económico-financiera de las administraciones públicas. En Doctor Mario Pifarré Riera: La ciencia de la contabilidad (pp. 501-518). Ed. Universidad de Barcelona.

Mcmillan, L. y García Manglano, J. (2020). Algoritmo Emocional. Revista Nuestro Tiempo, (708).

Moises Barrio, A. (2 de septiembre de 2021). La Carta de Derechos digitales de España: su sentido. Diario La Ley, (9904), Sección Tribuna.

Montesinos Julve, V. (1994). La Normalización en la Auditoría del Sector Público. Revista Española de Financiación y Contabilidad, (79), 433-462.

Mota Sánchez, E. M. (2021). Inteligencia Artificial y auditoría Pública. En M. C. Campos Acuña (Ed.), La gestión de los fondos (Cap. 17). Next Generation.

Mota Sánchez, E. M, Montoro Montarroso, A., Nieto Martín, A. y Olivas Varela, J. Á. (2021). Inteligencia Artificial y el control interno del sector público (Documento 16). Red Localis.

Nevado Peña, D., Pérez Morote, R., Pontones Rosa, C. y Santos Peñalver, J. F. (2020). Administración Digital y Auditoría en las Zonas Rurales Despobladas. Fiasep. IX Congreso Nacional de Auditoría en el Sector Público. La Administración Digital: Un reto para la gestión y la auditoría del sector público.

OCDE (2019). Índice de Gobierno Digital.

Padilla Ruiz, P. (2023). Inteligencia Artificial en la Administración Pública. https://pedropadillaruiz.es/inteligencia-artificial-en-la-administracion-publica/

Pérez, R. (2020). Administración digital y auditoría en las zonas rurales despobladas. Una aproximación a la realidad de la provincia de Albacete. IX Congreso Nacional de Auditoría en el Sector Público. La Administración Digital: Un reto para la gestión y la auditoría del sector público. Fiasep.

Prendes Espinosa, M. P. (1997). Las nuevas Tecnologías en la Enseñanza. Profesorado, 1(2), 35-44.

Ramio, C. (2018). El impacto de la inteligencia artificial y de la robótica en el empleo público. GIGAPP Estudios Working Papers, 5(98-110), 401-421. http://www.gigapp.org/ewp/index.php/GIGAPP-EWP/article/view/115

Ramio, C. (2019). Inteligencia Artificial y la Administración Pública. Robot y humano compartiendo el servicio público. Editorial Catarata.

Salvador Serna, M. (2021). Inteligencia artificial y gobernanza de datos en las administraciones públicas: reflexiones y evidencias para su desarrollo. Gestión y Análisis de Políticas Públicas, (26), 20-32. https://doi.org/10.24965/gapp.i26.10855

Savirón, C. (8 de mayo de 2019). Posibilidades de la inteligencia artificial (IA) y el Big Data en las Administraciones Públicas. Blog Itainnova. https://www.itainnova.es/blog/big-data-y-sistemas-cognitivos/posibilidades-de-la-inteligencia-artificial-ia-y-el-big-data-en-las-administraciones-publicas/

Valencia Duque, F. J. (2013). Evidencia digital y técnicas y herramientas de auditoría asistidas por computador. Ventana Informática, (26), 93-110. https://doi.org/10.30554/ventanainform.26.142.2012

Valero Torrijos, J. (2021). La regulación de la inteligencia artificial desde el derecho administrativo: transparencia, motivación, control. Centro de Estudios Europeos.

Wreyford-Hind, S. (2021). Las claves de la exitosa transformación digital del gobierno de su país. Seminario de modelos y referencias de Gobiernos digitales. Cursos de Verano de la UPV-EHU.