1. Introducción

El auge del desarrollo tecnológico durante los siglos XIX y XX lleva consigo la aparición de una nueva posibilidad cuya ontología aún se desconoce. El crecimiento exponencial de la tecnología, ha sido susceptible de movimientos que la han llevado a encontrar su mejor forma de expresión y de hacerse óptima para la supervivencia en el mundo de los humanos. Su rápido desarrollo se debe en gran parte al accionar humano[2], quien al buscar la satisfacción de sus necesidades fue adaptando el mundo para que esta nueva posibilidad o atributo fuera perceptible a su entendimiento. Esta nueva posibilidad o atributo ha encontrado en las tecnologías el mejor modo para expresarse, de ahí que el ser humano se sienta atraído hacia ella por su novedad y al mismo tiempo temor a hacerla suya, debido a su expansión y asentamiento en el mundo de la vida.[3]

La relación ser humano-máquina está tomando nuevos sentidos, las máquinas han dejado de ser consideradas como meras cosas pasando a ser compañeras y/o auxiliares de la labor humana. El desarrollo de la inteligencia artificial —I.A.— ha permeado diversos campos de la tecnología, acelerando el desarrollo de artefactos con capacidades análogas a las humanas. Este desarrollo fue el inicio de lo que se constituiría como la revolución del siglo XXI, máquinas que realizan actividades de forma independiente, conocidas como sistemas robóticos autónomos. Estas tecnologías han llevado al ser humano a cuestionar su lugar en el mundo, a preguntarse por la naturaleza de la nueva relación que se está dando con las máquinas.

El ser humano se encuentra en un período de turbulencia, transformación y ambiente difuso,3 presiente la inevitable caída del milenario proyecto humanista. Sin embargo, tales características son la manifestación de un período fecundo, su indeterminación es signo de cambio. Por tanto, es menester reflexionar por el establecimiento de un nuevo orden. El fundamento de este nuevo orden estará centrado en la relación hombre-máquina-mundo, entidades interdependientes que actúan de modo autónomo.

El ser humano se encuentra en un período de turbulencia, transformación y ambiente difuso,[4] presiente la inevitable caída del milenario proyecto humanista. Sin embargo, tales características son la manifestación de un período fecundo, su indeterminación es signo de cambio. Por tanto, es menester reflexionar por el establecimiento de un nuevo orden. El fundamento de este nuevo orden estará centrado en la relación hombre-máquina-mundo, entidades interdependientes que actúan de modo autónomo.

Pacey por un lado, plantea una triada constituida por aspectos de orden cultural, organizacional y técnico; los cuales permiten comprender la tecnología como una “práctica” o “proceso”. Por su parte, Mitcham concibe la tecnología a la luz de tres modos o actitudes que se originan frente al fenómeno tecnológico; escepticismo antiguo, el cual impera una actitud de sospecha frente a la tecnología; optimismo ilustrado, prosperando una actitud de promoción de la técnica; malestar por la tecnología, generando una ambivalencia frente a la tecnología.

Tanto Mitcham como Pacey, coinciden en afirmar que la tecnología es un proceso el cual lo componen diversos elementos, desde el deseo de suplir necesidades[5] (sin importar si son naturales necesarias, naturales no necesarias o no naturales no necesarias), pasando por la búsqueda de elementos cognoscitivos, que posteriormente permitan la fabricación de artefactos que formarán parte de la vida cotidiana y del mundo humano.

Si bien a partir de estas dimensiones se puede comprender un fenómeno tecnológico, los Sistemas Robóticos Autónomos desbordan los límites de comprensión de tales dimensiones. Elementos diferenciadores de estas tecnologías no son inteligibles a la luz de los análisis realizados por nuestros autores; por lo tanto, es necesario identificar estos elementos y así dar cuenta de nuevas dimensiones que permitan comprender el fenómeno en su mayor grado de universalidad.

Así pues, el presente estudio tiene como objetivo identificar aquellos elementos que componen los actuales avances tecnológicos y que desbordan las dimensiones de la tecnología propuestas por Pacey y Mitcham que, por lo tanto, no posibilitan analizar el fenómeno en su total y nueva complejidad.

Dado que Mitcham (1989) asegura que el auge del desarrollo tecnológico moderno puede ser correlacionado, ciertamente, con algunas transformaciones en la comprensión de los conceptos que constituyen el escenario bélico (como justicia, guerra justa y crimen), el fenómeno que reúne las condiciones propicias para ser analizado y lograr los objetivos propuestos para este trabajo son los Sistemas de Armas Autónomas Letales (LAWS, por Lethal Autonomous Weapons Systems). Los sistemas robóticos autónomos se han implementado en diversas áreas; sin embargo, su mayor crecimiento lo ha dado en la industria armamentista.

Lo anterior, se debe al gran presupuesto que tienen las compañías que se dedican a la mejora e innovación de los sistemas autónomos de armas letales. Este es uno de los motivos por los cuales se toma como objeto de análisis el caso de los LAWS. El poder económico que tiene la robótica militar supera muchos otros campos, de acuerdo con la Organización Mundial de la Propiedad Intelectual (Keisner, Raffo, & Wunsch-Vincent, 2015), en el 2014 se destinaron más de 29 billones de dólares para el desarrollo de la robótica y se estima que para el 2020 esta cifra podría ser doblada. Otro claro ejemplo es Boston Dynamics, compañía norteamericana que trabaja para el gobierno de los Estados Unidos, aproximadamente presenta 150 proyectos científicos valorizados en 2800 millones de dólares.

Otro motivo que justifica que los LAWS sea el caso sobre el cual se realice el análisis en este trabajo, es el impacto generalizado que ha generado su desarrollo, tocando diferentes esferas sociales, a saber, política, académica, científica, militar entre otras. El desarrollo de esta tecnología ha dejado atónito al mundo, una muestra de ello son las convenciones que sean realizado en Ginebra desde el 2012 hasta la actualidad, siendo la última en Abril del 2016[6]. En el informe del 2014 (Naciones Unidas, 2014), se afirma que el derecho a la vida (y a la integridad física en general) y el derecho a la dignidad humana son los aspectos que más generan tensión por la entrada en el escenario bélico de los LAWS. Cuestiones como la capacidad que tendrán los LAWS para determinar el nivel de fuerza a emplear, incluida la fuerza letal, en momentos donde la sutileza de las acciones humanas juega un papel importante en la comprensión de las intenciones y comportamientos del bando enemigo. Del mismo talante es la preocupación acerca de que las máquinas tomen la decisión de quitar la vida a un ser humano, colocando en entredicho la dignidad humana.

Así pues, los LAWS se han convertido en objeto de atención mundial, su aparición en el campo de batalla está latente; el momento en que lo hagan, sin duda cambiará la concepción de la guerra y tratados como el de Ginebra, muy seguramente, tendrán que ser revisados por su inminente obsolescencia.

Por tanto, para llevar a cabo los intereses del presente estudio, el análisis propuesto a los LAWS consta de tres momentos: el primero de ellos consiste en la exposición acerca de la actualidad tecnológica de los LAWS y su futuro próximo. Seguidamente, se examina el caso de los LAWS a la luz de las dimensiones propuestas por Arnold Pacey y Carl Mitcham. A modo de conclusión, se expone un nuevo horizonte para la construcción de una nueva ontología tecnológica, una ontología que supera lo humano, una ontología transhumanista.

La situación actual respecto al desarrollo de tecnologías autónomas evidencia una mejora constante en su diseño, gracias a los avances en inteligencia artificial IA en los últimos años “sobre todo en el campo del aprendizaje automático, que implica enseñar a los ordenadores a reconocer los patrones a menudo complejos y sutiles que hay en grandes cantidades de datos” (Knight, 2015). El avance en IA ha permitido que diversas áreas como la telemedicina, la agroindustria, la industria sexual entre otras, se hayan volcado al mejoramiento de sus técnicas ampliando de esta manera el horizonte de la robótica autónoma. Actualmente, no hay acuerdo en cuanto a la definición exacta de autonomía, no obstante, sí hay consenso respecto de los elementos que se han concebido como patrón diferenciador. Todo sistema robótico que propenda por hacer parte del conjunto tecnologías autónomas debe tener algunos de los siguientes elementos:

• Autonomía: el sistema debe ser independiente, proactivo y con un conjunto de objetivos.

• Aprendizaje: posibilidad de adaptarse al entorno.

• Razonamiento: ser reactivo, proactivo o híbrido[7].

• Memoria: capacidad de recordar, necesaria para aprender y razonar.

• Sociabilidad: el sistema robótico debe poder cooperar no sólo con otros agentes sino también con humanos del entorno.

• Comunicación, capacidad de entenderse con otros agentes, de percibir el entorno y de actuar sobre él.

• Seguridad: garantizar un funcionamiento correcto, evitando interacciones indebidas y reaccionar adecuadamente ante eventos desconocidos (Berná-Martínez & Maciá, 2011).

La autonomía en un LAWS, implica la selección -ataque de objetivos “sin necesidad de intervención adicional de un operador humano” (Naciones Unidas, 2013, p. 8); en definitiva, el robot es quien decide el objetivo sobre cual emplear su fuerza letal. En el párrafo anterior se planteó un listado con los elementos diferenciadores de los sistemas robóticos autónomos; uno de ellos era el razonamiento, en la nota al pie se aclaró que hay varios tipos de control mediante los cuales se pueden diseñar el modelo de razonamiento. Asimismo, se dejó claro que el tipo de razonamiento propuesto por Ronald Arkín había sido el de la robótica situacional, el cual se explicará a continuación.

A pesar de las particularidades de cada tipo de razonamiento[8], el paradigma de funcionamiento en todos es tríadico, detección-pensamiento-acción. Sin embargo, los LAWS han sido diseñados bajo la robótica situacional, puesto que proponen enfoques novedosos que consienten una independencia entre la parte física y la parte lógica del sistema, además permite “la creación rápida y ágil de sistemas robóticos complejos manteniendo su escalabilidad y flexibilidad para la adaptación y mantenimiento” (Berná-Martínez & Maciá Pérez, 2011, p. 83), lo que lleva a que la interacción de sistemas robóticos con “entornos reales y con otros sistemas robóticos exhiban un comportamiento inteligente” (2011, p. 83), entendiendo ésta como un hacer similar al humano.

La robótica situacional basa sus diseños en dos modalidades de acción tecnológica tradicionales, como son, la reactiva y la deliberativa. La técnica reactiva “toma una decisión en función de la interpretación del mundo real que se tiene en cada instante” (2011, p. 84), es decir, que aprovecha las características del entorno real; en tanto que, la deliberativa “afronta un problema razonando sobre un modelo del mundo, reglas o representaciones del conocimiento antes de afrontar una decisión” (2011, p. 84), permite inferir conocimiento que no se encuentra explícitamente en el entorno.

José Vicente Berná y Francisco Maciá dos investigadores de la universidad de Alicante, consideran que los sistemas con razonamiento deliberativo funcionan muy bien en entornos predecibles, lo problemático de éste está en que su diseño implica la construcción de un modelo preciso de la situación y/o del mundo, para que el sistema pueda deliberar y decidir. Contrario a las primeras las técnicas, las reactivas son ventajosas en entornos dinámicos e impredecibles, sin embargo, se requiere, por parte del diseñador, el conocimiento necesario del mundo, hecho que es casi imposible. Sin embargo, los investigadores citados arriba han propuesto una posible solución al mencionado problema de la siguiente manera:

En los sistemas de tipo reactivo se aborda el problema mediante un mecanismo de selección de acción (ASM), definido tradicionalmente en etología como el problema de conmutación de comportamiento o selección de acción. […] Este tipo de mecanismos permite un comportamiento emergente oportunista que no está codificado en la lógica de control pero que surge de la interacción de los módulos de comportamiento y los de selección de comportamiento. Este enfoque permite tener en consideración aspectos tan profundos del comportamiento como la ética o aspectos tan prácticos de ingeniería como utilizar técnicas modernas para su implementación en forma de sistema distribuido posibilitando así la escalabilidad y difusión del sistema (84).

A pesar que las técnicas expuestas establecieron un marco exitoso, todavía hay algunos problemas en relación con el complejo entorno desconocido. Teniendo en cuenta que el campo de batalla es un entorno dinámico, cambiante, en el que cada uno se manifiesta de manera diferente, se requiere de un razonamiento que pueda “modificar los problemas y resolverlos en sí o redefina por módulo superior si no puede resolver su propio problema” (Nakhaeinia, Tang, Mohd Noo, & Motlagh, 2011, p. 171).

De ahí que los LAWS —que está desarrollando la Agencia de Proyectos de Investigación Avanzados de Defensa de los Estados Unidos, conocida como DARPA,— usan un razonamiento híbrido aprovechando los beneficios de ambas técnicas expuestas, deliberativa y reactiva, utilizando para ello arquitecturas de diversas capas que ubican cada funcionalidad a distinto nivel, por ejemplo, Zhou, T., Fan, X., Yang, S. en su trabajo publicado en 2010, denominado Path planning for mobile robots based on hybrid architecture platform, presentan “[…] una arquitectura híbrida que define 4 niveles: toma de decisión, comportamiento, análisis de comportamientos y comunicaciones hardware” Berná- Martínez & Maciá Pérez (2011, p. 85), en su texto referencian el trabajo de Posadas J.L. en el cual los sistemas autónomos: “[…] presentan una arquitectura estructurada en tres niveles, deliberativo, reactivo y nivel de comunicaciones”. Por lo que se puede concluir que, dependiendo de los propósitos del sistema se establecen las divisiones en los niveles.

2. Análisis de los Sistemas Autónomos de Armas Letales- LAWS.

El análisis de los Sistemas Autónomos de Armas Letales desde la mera comprensión del aspecto técnico es lo que ha llevado al sesgo que hoy se tiene sobre este fenómeno. Considerar la tecnología como proceso implica ser capaz de observar aquellos aspectos que están ligados a los valores culturales y de cierta manera son independientes del aspecto técnico. De este modo se modifica la visión que se tiene de la tecnología, abriendo condiciones de análisis más ligadas al ámbito humano y a la cotidianidad de la vida misma, “la consideraríamos como algo que implica no sólo máquinas, técnicas y conocimientos rigurosamente precisos, sino también patrones de organización característicos y valores ambiguos” (Pacey, 1990, p. 17). Observar la tecnología como algo que hace parte de la vida y no como una mera cosa, implica reconocer su parcialidad frente al contexto en el cual se desarrolla o se practica.

Todo artefacto tecnológico está rodeado de una trama de actividades humanas, que van desde los intereses personales de quien las diseña, pasando por el desarrollo industrial y avalúo económico, hasta el uso y mantenimiento por parte del usuario[9]. Cada agente que participa en el proceso tecnológico, le imprime sus propósitos y valores particulares, por lo que la tecnología termina adaptándose a la circunstancia que le va correspondiendo.

De esta manera, se puede afirmar que los valores culturales, surgen de la relación individuo-mundo-tecnología. Detrás del concepto “tecnología” hay una gran red de dimensiones que lo componen: económica, cultural, política, científica, tecnológica, social. Sin embargo, la tecnología tiene cierta supremacía respecto a los otros dos ámbitos en el momento de establecer el surgimiento de los valores; hay que tener en cuenta que si bien la tecnología se presenta de una manera, los individuos la viven y la experimentan de manera particular, respecto a su vida y a su mundo, lo cual implica que no siempre surjan valores iguales para todo tipo de sociedad— aún así tengan la misma tecnología. El carácter práctico de la tecnología permea los ámbitos culturales de las sociedades, generando en ellas cambios en la forma de vivir la vida, en la manera como se construye cotidianidad.

Se infiere que la tecnología es la expresión de los valores que cada cultura tiene; sin embargo, “muchas personas sienten que la tecnología actúa de manera independientemente de los propósitos humanos” (Pacey, 1990, p. 131), imaginario que se supera cuando se contemplan los aspectos que componen toda práctica tecnológica: Cultural, Organizacional y Técnico[10]. De lo anterior se sigue que la tecnología-práctica “viene a ser la aplicación del conocimiento científico u organizado a las tareas prácticas por medio de sistemas ordenados que incluyen a las personas, las organizaciones, los organismos vivientes y las máquinas” (Pacey, 1990, p. 21). La tríada propuesta por Pacey, plantea identificar en la tecnología objeto de análisis, los valores y códigos éticos que la soportan, las circunstancias que la llevaron a ser pensada así como las creencias que ha propiciado su práctica, estas cuestiones constituyen la dimensión Cultural.

El otro componente -organizacional- propuesto por Pacey, convoca la actividad económica e industrial, en el cual se revisan aspectos tales como las motivaciones contables y políticas que conllevan al desarrollo de la tecnología, posición de los sindicatos y consumidores. Complementario a los puntos descritos, el aspecto técnico cierra el esquema tríadico propuesto por Pacey; este aspecto evalúa el conocimiento, destreza y técnica de tecnología; herramientas, máquinas, recursos y desechos.

Éste es el paradigma bajo el cual se examinará el caso de los LAWS, su realidad se entenderá en relación con sus componentes sociales integrales. Por tanto, su aspecto innovador, que ha generado tal angustia, será estudiado como el resultado de un ciclo de ajustes mutuos entre los factores sociales (intereses de occidente por generar guerras en medio oriente), culturales (percepción acerca del progreso tecnológico) y técnicos (urgencia tecnocientífica):

No es solamente la influencia de las herramientas y las técnicas sobre la sociedad lo que hay que entender, sino también “todo el complejo de agentes que se apoyan mutuamente”. […] en las interacciones que se llevan a cabo entre los variados aspectos de la actividad humana, “la tecnología es a menudo la que está atrasada” (Pacey, 1990, p. 50).

La actitud hacia la tecnología moderna es la expresión desesperada de la sociedad al fracaso del proyecto humanista, siendo el siglo XX la expresión de su caída. Consecuencia a ello ha sido la aversión al diseño de máquinas autónomas, en muchos casos con capacidades superiores a las humanas, haciendo mejor las cosas. Este tipo de tecnología, no se concibe como un atraso, sólo está tomando un camino distinto al fracasado proyecto humanista.

De ahí que para analizar el fenómeno LAWS, el mejor camino sea abordarlo a partir de la perspectiva tríadica propuesta por Arnold Pacey. Complementaria a esta propuesta se tiene siempre presente el trabajo realizado por Mitcham, quien considera que ante un análisis de este talante las actitudes del ser frente a la tecnología no deben pasarse por alto.

El fenómeno mencionado no ha sido afrontado desde su totalidad manteniendo así un sesgo cognitivo, “cuando un problema ha sido bien comprendido, se descubren formas precisas y de costo factible para abordarlo” (Pacey, 1990, p. 64). Por lo tanto, si pretende buscar soluciones al problema de las armas letales es preciso intensificar la investigación, deconstruyendo el saber unilateral, causa de la distorsión que se tiene sobre las nuevas tendencias tecnológicas que conllevan elementos de inteligencia artificial y autonomía, “esta distorsión surge frecuentemente cuando se considera únicamente el suministro de un bien y no se toman en cuenta los aspectos humanos de su utilización” (Pacey, 1990, p. 80), tales como, la capacidad para desobedecer que tendrían los LAWS, el control humano sobre los LAWS, la manera como se realizaría la rendición de cuentas por parte de la máquina y sus superiores, entre otras; “pero otra distorsión concomitante se desprende del hábito de plantear problemas complejos como si tuvieran causas sencillas y, por ende, soluciones sencillas” (Pacey, 1990, p. 80).

El auge tecnológico del siglo XXI ha sido fuente para el surgimiento de problemas que implican directamente el mundo de la vida cotidiana, por consiguiente, la moratoria declarada por las Naciones Unidas en 2015, frente a este fenómeno, no garantiza el no uso de ellos en escenarios bélicos. Mitcham es categórico al afirmar que frenar el desarrollo tecnológico no soluciona nada, más bien con el impulso de nuevas tecnologías es donde se encuentra la solución a los problemas evidenciados. Actualmente, el mismo progreso tecnológico es autónomo, su desarrollo exponencial es ineludible.

3. El fenómeno LAWS desde las dimensiones Cultural, Organizacional y Técnica

De acuerdo con Pacey, lo primero que se debe hacer es definir los actores del fenómeno en cuatro esferas, usuario, industrial, técnica profesional y sindical. En el fenómeno LAWS, la esfera del usuario se divide en dos áreas, quienes usan la tecnología (estados y armadas militares con acceso y manipulación de los LAWS) y sobre quienes se usa. Este último usuario, a su vez lo componen los combatientes y los civiles que habitan en la zona de combate y no se encuentran involucrados con las hostilidades. En la esfera industrial, se encuentran los Estados[11] con capacidad para el desarrollo o compra de LAWS, y las grandes compañías financiadoras de proyectos LAWS[12], en la mayoría de los casos, son dependencias especiales de los estados mencionados. La esfera técnica profesional la componen las diferentes compañías privadas[13], institutos de investigación y universidades que se han volcado al estudio y desarrollo de los mencionados sistemas. Por último, se identifica en la esfera de los sindicatos todas aquellas asociaciones, que sin ser directamente víctimas del uso de la tecnología LAWS, toman partido frente al desarrollo de ésta. En ella se encuentran: Campaign to Stop Killer Robots, The International Committee for Robot Arms Control- ICRAC-, Human Rights Watch, Amnistía Internacional, siendo éstos los más influyentes.

Una de las preguntas que más inquieta a las diferentes esferas expuestas, gira en torno a la aparición de los LAWS en el campo de batalla, la cuestión por el dónde y el cuándo empezarán estas tecnologías a emplearse en el combate está latente. Ronald Arkín asegura que la puesta en marcha de robots completamente autónomos sería posible al menos en cuatro décadas. En tanto que para el gobierno de los Estados Unidos su aparición debe darse en el 2030[14], ante lo cual Arkín ha sido escéptico a tales afirmaciones, aseverando que “en el año 2002, el Pentágono ya anunció algo similar para 2015, y todavía se está probando el primer prototipo, el Atlas” (QUO- Hearst Magazines, 2015). Como se ha mencionado en la primera parte de este trabajo, en el campo de batalla hay robots con cierta capacidad de autonomía, sin embargo, la decisión para matar está mediada por un humano.

En el 2015, Naciones Unidas, lideró la Convención de expertos sobre Armas Autónomas Letales[15], ocasión que sirvió para conocer la actualidad de esta tecnología, dejando claridad en la imposibilidad de tener agentes autónomos letales en un corto plazo. En la comprensión de la dimensión cultural de la tecnología LAWS, “es preciso reconocer los ideales, los valores y la visión que alimentan cualquier innovación e investigación” (Pacey, 1990, p. 7), este principio pareció guiar la agenda del encuentro, asegurando que dar un mayor plazo a la reflexión y debate del fenómeno no sería conveniente, menos en un campo donde se avanza con mucha rapidez.

En el encuentro anual de expertos sobre armas autónomas, realizado por las Naciones Unidas (2015), Stuart Russell profesor experto en inteligencia artificial de la Universidad de California, Berkeley, asegura que a pesar de no poder contar con sistemas totalmente autónomos a corto plazo, en poco tiempo éstos desarrollaran nuevas capacidades, tales como, el conocimiento de la situación distribuida, la integración entre la planificación táctica-estratégica y la ejecución de tareas prolongadas, por ejemplo, borrar un complejo subterráneo, prevenir la infiltración del suelo en el área grande, toma de decisiones (percepción/acto) en milisegundos, entre otras. En un corto plazo, las limitaciones para los LAWS, serán de carácter físico (rango, velocidad, aceleración, carga útil, estabilidad, etc.) y no por las capacidades de inteligencia artificial. Por ejemplo, la letalidad de plataformas de muy baja masa o muy pequeñas estaría limitada por la robustez física de los seres humanos, este tipo de LAWS utilizarían armas de calibre muy pequeño, por lo que el blanco más fácil serían los ojos humanos.

Christof Heyns asegura que antes de la aparición en el campo de batalla, los LAWS deberán resolver numerosos problemas técnicos. La cuestión técnica más recurrente es la identificación y determinación de los objetivos por parte de los sistemas autónomos, pues aun no es claro cómo este sistema podrá distinguir entre combatientes activos de aquellos que se rinden, “aunque los robots autónomos letales pueden en algunos aspectos hacer ciertas evaluaciones con más precisión y rapidez que el ser humano, en otros son más limitados, a menudo porque tienen una capacidad reducida para interpretar el contexto y hacer cálculos basados en valores” (Naciones Unidas, 2013, p.12). Éste es solo un ejemplo de las muchas situaciones que podrían presentársele al robot y donde no es clara como sería su reacción.

El trasfondo de las preocupaciones expresadas por las diferentes esferas, en particular por la esfera de usuarios víctimas y sindicales, radica en la incapacidad de discernimiento moral que tendrían los LAWS, elemento primordial en el momento de exigir responsabilidades en caso de cometerse algún error.

Noel Sharkey (2012), experto en Inteligencia Artificial y Robótica en la Universidad de Sheffield, promotor de la campaña Stop Killer Robots[16] y miembro del ICRAC (Comité Internacional para el Control de los Robots Armados), sostiene que “desde una perspectiva moral, muchas personas encuentran terrible la idea de delegar en máquinas el poder de tomar decisiones sobre la vida y la muerte en los conflictos armados”, advirtiendo que los sistemas autónomos de armas letales “no se dejen llevar por el miedo o la ira, carecerían de compasión, una salvaguarda clave para evitar la matanza de civiles” (QUO- Hearst Magazines, 2015). Contrario a esta postura, el filósofo español Antoni Gomila (2010) asegura que “es en la agitación emocional del combate donde es más fácil que se produzcan las desviaciones, los abusos, las atrocidades sobre víctimas inocentes, o las humillaciones y torturas: por el pánico, el odio o la histeria; la rabia por la pérdida de un compañero; por el deseo de venganza” (2010, p.9). El filósofo reconoce la dificultad del ejercicio moral en el ser humano, y ve en esta situación la oportunidad de invitar a la comunidad científica y académica en la posibilidad de contar con agentes artificiales letales, siempre y cuando garanticen una actuación conforme a la normatividad de la guerra.

De otro lado, en el informe presentado por Christof Heyns en un documento oficial de las Naciones Unidas (2013), asegura que “aunque los robots autónomos letales pueden en algunos aspectos hacer ciertas evaluaciones con más precisión y rapidez que el ser humano, en otros son más limitados, a menudo porque tienen una capacidad reducida para interpretar el contexto y hacer cálculos basados en valores” (Naciones Unidas, 2013, p. 12). De esta manera, se puede pensar que a pesar que un LAWS este programado para cumplir estrictamente las exigencias del DIH, hay situaciones que superan la linealidad del algoritmo programado, puesto que requieren de la reflexión moral, y el aprendizaje de situaciones anteriores que hayan sido similares[17]. Los agentes autónomos en muchas acciones conllevaran una carga de imprecisión y de equivocación involuntaria, es decir, un agente autónomo puede generar daño sin haberlo previsto. Incluso, pueden ser previstas pero involuntarias (principio del doble efecto), es decir, para generar un bien, se tiene que hacer un daño menor, por ejemplo, cuando en un procedimiento quirúrgico se debe realizar una incisión (daño menor) para resolver un problema que impida el buen funcionamiento del organismo (bien mayor).

En respuesta al informe de Heyns, Gomila considera que no se trata de dotar de “conciencia moral”, a los sistemas robóticos, “sino de establecer regulaciones internas que aseguren que no se produzca una acción inaceptable” conforme a las normas establecidas para la guerra. Añade que, al posibilitar escenarios de diálogo y de relaciones recíprocas entre humanos y robots, no habría necesidad de pensar en un controlador ético para LAWS, alcanzando una relación entre agentes autónomos (hombre-máquina): “tales sistemas deberían ser capaces de mostrar un patrón recíproco en relación a quienes interactuaran con ellos” (Gomila, 2010, p. 14) y esta es la base de las responsabilidades individuales, tal como trate a los demás, así serás tratado // la forma en que se vaya tratando a los demás determinará el trato que se vaya recibiendo.

Otro aspecto para destacar en el debate radica en la asimetría que se daría en el escenario bélico: “mientras que la máquina solo puede destruirse o echarse a perder, el enemigo que pelea cuerpo a cuerpo, en clara desventaja, arriesga la vida” (Economía y Negocios, 2015). Esta situación implicaría elevar el número de combates por parte de quienes poseen la tecnología. Al estar lejos del lugar de combate, y tener la tranquilidad de no sufrir bajas humanas, se tendría una mayor disposición al despliegue de robots con armamento letal[18]. Para el sector industrial, este aspecto resulta atractivo: menos bajas de seres humanos frente al aumento en la posibilidad de la victoria bélica. Este panorama mejora las posibilidades de éxito comercial en la producción, venta y distribución de LAWS a países con nula o poca capacidad de desarrollar esta tecnología. Nuevamente se pone en evidencia que el punto de controversia no está en la capacidad técnica moral que pueda desarrollar LAWS, “lo que realmente interesa, tanto a la sociedad como al individuo, no es necesariamente qué valores predominan, sino cómo se enfrentan los conflictos” (Pacey, 1990, p. 198). Russell, invita a replantear el centro de la discusión ante la realidad que nos atañe, es menester restablecer muchos de los esquemas relacionales que han dominado la actividad humana.

Russel asegura que plantear el fenómeno LAWS como una confrontación entre el humano vs máquina llevaría a un falso debate, dándole un giro a lo que verdaderamente importa discutir. En cierta ocasión C. S. Lewis afirmó que “el poder del hombre sobre la naturaleza resulta ser con frecuencia el poder ejercido por algunos hombres sobre otros con la naturaleza como su instrumento” (Pacey, 1990, p. 28), Russel es consciente de ello, por tanto, advierte que ante el fenómeno tan complejo que se está pensando es mejor, dar un giro a la discusión hacia el aspecto social.

El fenómeno tecnológico que rodea a los LAWS es uno, el cual “constituye la única forma moderna de fabricar y utilizar artefactos que tiende a dominar e incorporar en sí mismo todas las otras formas de la actividad humana” (Mitcham, 1989, p. 79), de ahí que la discusión acerca de quién superará a quien en capacidades cognitivas, de fuerza y destreza no sea tan importante. La práctica- tecnológica es neutra tan sólo si se la considera como la construcción elemental de una máquina y los principios de su funcionamiento, en decir, si solo te tiene en cuenta el aspecto técnico. Sin embargo, al reflexionar sobre los sistemas de armas autónomos, salta a la vista el entramado de actividades humanas que lo rodean, las cuales incluyen los usos prácticos, y cuya función le convierte en símbolo con un estatus social (Pacey, 1990, p. 17).

En su lugar, Russel propone cuestionar por el punto final probable de la carrera armamentista, frente a lo deseable para la raza humana; el planteamiento central de la reflexión debe estar en el componente social, no centrarse solo en el aspecto técnico. Asimismo considera pertinente reflexionar por la controlabilidad de sistemas de inteligencia artificial a nivel humano, ¿deberían estar armados y entregarles nuestra defensa a ellos?[19] Para el experto, tiene mayor relevancia debatir aspectos de talante cultural y social pues, las limitaciones correspondientes a la dimensión técnica, potencia sensorial y computacional están desapareciendo rápidamente, y las capacidades centrales de IA (percepción, la navegación, la cartografía, la táctica, la planificación estratégica) son, o pronto estarán listas para su puesta en marcha. El aspecto técnico, sólo presenta un punto de vista lineal, que implica una lógica inflexible, inevitable e ineludible; desde esta perspectiva los seres humanos se encontrarán en gran parte indefensos. Por lo que, plantea un debate en torno a los intereses de la humanidad y no en torno a la tecnología desarrollada por la I.A.

Sobre esta posición ya se había pronunciado Christof Heyns (Naciones Unidas, 2013) al considerar que el uso y avance de la tecnología militar y armamentista se da dependiendo de la ventaja que se tenga sobre el adversario, una vez sea evidente esta ventaja las intenciones iniciales por las cuales fue desarrollada la tecnología se olvidan. Asimismo, respalda el hecho de replantear la formulación del centro del debate, pues el desarrollo tecnológico ha superado en muchas áreas las capacidades humanas, “la tecnología se está desarrollando de manera exponencial, y es imposible predecir el futuro con certeza” (Naciones Unidas, 2013, p. 9), y aunque sea imposible determinar cuán cerca se está de disponer de robots totalmente autónomos listos para su uso, su aparición se podría dar de manera procesual, al punto que cuando se dé su aparición con una capacidad de total autonomía, el ser humano no habrá dado cuenta que de tiempo atrás estaban en el campo de batalla.

Langdon Winner (Mitcham, 1989) ha preguntado provocativamente: ¿tienen política los artefactos? Si la respuesta a esta pregunta fuera afirmativa implicaría analizar en qué medida los artefactos son sujetos de derecho. Lo que conllevaría a tener un nuevo actor en la sociedad política; este actor constituiría una nueva institución social. Al pretender dar status social y jurídico a la relación humanomáquina, se tendría que contar primero con fundamentos filosóficos que soporten el restablecimiento de este nuevo orden relacional. Los artefactos con los que ahora cuenta el desarrollo tecnológico y la precariedad en las dimensiones tenidas en cuenta para el análisis no permiten una mejor comprensión del fenómeno.

4. El inicio de la era de la robótica autónoma.

Luego de hacer un extenso análisis, damos cuenta que hay valores que surgen en la práctica y no han sido evaluados por la propuesta de Pacey y Mitcham. Pacey considera que la práctica y el desarrollo tecnológico se mueve en medio de tres ámbitos: necesidades básicas, la conservación de la naturaleza y el virtuosismo; en el momento de analizar un caso de carácter tecnológico se debe tener tolerancia los diferentes valores que surgen en cada uno de los ámbitos mencionados.

Pacey, sabe que la tecnología avanza conforme se va dando su relación con el individuo y el mundo, por eso nunca da un número determinado de valores, es prudente al afirmar que para comprender un fenómeno tecnológico se debe ser tolerante ante la multiplicidad de valores que subyacen a ella. Sin embargo, el trabajo realizado por la ingeniería ha llevado a la tecnología a límites no imaginados, su ejercicio ha abierto la posibilidad a que la tecnología por sí sola se vaya dando un lugar y espacio en el mundo circundante. Hoy vemos que los sistemas autónomosen su precaria autonomía- están modificando el mundo que les rodea a para hacerlo habitable de acuerdo a su naturaleza. Heidegger (1997) acepta la derrota del ser humano frente a la técnica, y abre paso a un posible desbordamiento tecnológico, que es precisamente lo que estamos viviendo actualmente. Sin embargo, insiste e invita a que sigamos preguntando y discutiendo en torno a la técnica. Es en este preguntar dónde surge mi interés por evaluar la necesidad de co-evolucionar con la tecnología moderna. Científicos y tecnólogos que desarrollan tecnología autónoma, como Raymond Kurzweil y Ronald Arkín, adoptan la figura prometeica, que por un lado “nos da un motivo de admiración”, llevándonos a pensar en la posibilidad de concebir la tecnología en términos de una entidad que se comporta como un organismo vivo; pero su imagen también nos aboca a “una ansiedad persistente por el rumbo al cual nos conducirá nuestra civilización” (Pacey, 1990, p. 159), una dimensión trágica de la tecnología.

5. Lo trágico como una forma de ser-con la tecnología

Parece ampulosa la afirmación “lo trágico de la tragedia”, si bien es cierto que la tragedia debe ser trágica, no siempre hay claridad en ese elemento. Gentilli & Garelli proponen una diferencia entre estos dos conceptos, “[...] una reflexión sobre lo trágico no es lo mismo que una reflexión sobre la tragedia. [...] la época y la cultura modernas han elaborado lo trágico como idea filosófica […], a la época y la cultura antiguas se debe la elaboración de la tragedia como género literario”[20] (2015, p. 11). La dimensión que se va a proponer a continuación considera la disposición dual —propensión/aversión—, que genera en el ser humano los LAWS, como el elemento trágico característico de la tecnología autónoma.

Para Carlo Gentilli y Gianluca Garelli, la esencia de lo trágico está en la famosa sentencia de Heráclito: “A Heráclito debe atribuírsele la máxima que expresa mejor que ninguna otra la esencia de lo trágico, su duplicidad dentro de una dimensión unívoca: ethos antropoi daimon” (2015, p. 17).

Los autores consideran que la sentencia de Heráclito siguen la lógica de la tragedia, que consiste en “la específica coexistencia de ambos sentidos conforman la tragedia […] la lógica de la tragedia consiste en moverse en los dos planos” (2015, p. 18). Lo equívoco en la tecnología autónoma se manifiesta en la doble disposición que tiene el ser humano frente a lo inevitable de su desarrollo (dimensión unívoca). Como se evidencia, ésta dimensión, es posible desde la visión étic, es decir, la precepción que se tiene del fenómeno.

El pathos trágico se define como la “capacidad de abismarse en el sufrimiento buscando la redención no ya en el distanciamiento del dolor, sino sabiendo jugar con el mismo” (2015, p. 31). Lo trágico en la actualidad, puede verse en la propensión que tiene el hombre a la tecnología autónoma, sumergirse en el desarrollo tecnológico le genera placer, grandeza por dominar la naturaleza; y a su vez le genera dolor, miedo, le aterroriza saber que será desplazado del trono real que le fue heredado por generaciones antiguas al habérselo arrebatado a los dioses del Olimpo. Sabe que las relaciones cara a cara, sentir el cuerpo del otro, su aroma, el color, la expresión de su belleza natural, serán reemplazadas por imágenes perfectamente creadas y por lugares virtuales creados por él mismo.

Su reflexión, le hace sentir aversión por la tecnología, pero disfruta de este sentimiento y no lo quiere dejar de sentir. El ser humano quiere sentirse cada vez menos humano, lleva al límite su humanidad. Sin embargo, este sentimiento no es la Angustia, ésta se entiende como un temor a la nada, hacia lo desconocido (Álvarez, 2016, p. 29); el ser humano sabe que le espera con la tecnología, le aterra su porvenir, y sin embargo, sigue avanzando hasta cometer el crimen.

Cuando el desborde tecnológico supera toda voluntad y acción humana, se debe aceptar y someterse al destino y sin embargo, el crimen hay que llevarlo a cabo. El desarrollo tecnológico debe continuar.

Ronald Arkín asegura que las guerras continuarán y de la misma manera seguirán las violaciones y transgresiones al Derecho Internacional Humanitario. Por lo que se vuelve una obligación moral implementar los LAWS, en el informe presentado por las Naciones Unidas (2013), Christof Heyns indica que “si es técnicamente posible programar robots autónomos letales para que cumplan las exigencias del derecho internacional humanitario de manera más estricta que los seres humanos, podría de hecho ser obligatorio utilizarlos” (p. 14), evidenciando de esta manera su propensión a la tecnología. Si bien, en el informe, Heyns dedica gran parte a mostrar las fallas y carencias de los LAWS, no logra zafarse de la idea del escenario bélico con máquinas autónomas, por ello finaliza su informe motivando a quienes deseen desarrollar sistemas de armas autónomos letales la tarea de demostrar la fiabilidad de éstos en el campo de batalla.

Por otra parte, Noel Sharkey (2012) importante opositor de los LAWS, no arremete contra otras aplicaciones de los sistemas autónomos. El aprendizaje automático y la ciencia cognitiva, son dos grandes contribuciones al campo de la inteligencia artificial que Sharkey desarrolló. Su mayor preocupación no es el desarrollo de sistemas autónomos, sobre lo que quiere advertir al mundo este científico irlandés es acerca los posibles efectos que tendrían los sistemas autónomos en el campo en el escenario bélico. Asimismo, las consecuencias en el entorno social, si éstos se llegaran a usar como fuerza policial.

En la Convención de Expertos realizada en 2015 hubo acuerdo entre las diferentes delegaciones sobre el “rechazo a permitir que los LAWS adopten decisiones que impliquen el uso de la fuerza contra seres humanos sin que medie intervención humana alguna” (Naciones Unidas, 2015, p. 4), tal acción estaría en contra del Derecho Internacional Humanitario peligrando la misma especie humana. Por lo que se estudio la posibilidad de crear un instrumento jurídicamente vinculante que prohibiera los LAWS; cuya prohibición afectaría al desarrollo, la adquisición, el comercio y el despliegue de LAWS. A pesar de la aversión al desarrollo de LAWS, manifiesta por la mayoría de las delegaciones a la convención, nuevamente se deja abierta la posibilidad de seguir desarrollando sistemas autónomos, pues, muchas delegaciones subrayaron que la tecnología necesaria para el desarrollo de LAWS “era de doble uso y destacaron los beneficios aportados por las tecnologías autónomas en la esfera civil”, reafirmando de esta manera el temor a perder el control sobre la vida y la muerte, más que una aversión a la autonomía de las máquinas es el delirio antropocéntrico del proyecto humanista.

Con lo anterior, quedan expuestos algunos hechos que enmarcan la dual disposición del ser humano frente a la tecnología autónoma. Este elemento trágico, es transversal a toda tecnología que implique organización. Si una tecnología se comporta como un organismo vivo, buscando su perfección, ésta será percibida por el ser humano como una entidad que le genera aversión como también propensión.

6. Corolario: El nacimiento de una ontología para los sistemas robóticos autónomos.

El trabajo de especulación filosófica que se propone, supone una analogía entre la tragedia y la tecnología autónoma. Esta analogía supone equiparar los saltos que han dado desde su nacimiento hasta el logro de su perfección. La tecnología autónoma no ha logrado su perfección, sin embargo, se sospecha que su desarrollo hasta el momento ha sido similar al de la tragedia. Estas sospechas tienen su fundamento en el trabajo que realizó Aristóteles sobre la tragedia. Al considerar el logro de su perfeccionamiento gracias a su capacidad de actuar como un organismo vivo, el movimiento que conlleva en sí misma le permitió ser autónoma y buscar la mejor forma de expresar su naturaleza. Otro fundamento está en el elemento trágico en la tragedia griega, a saber, la coexistencia de una duplicidad dentro de una dimensión unívoca. En otras palabras, son los estados contradictorios que genera la tragedia en el auditorio. De esta manera, se pretende construir un marco teórico que permita comprender el fenómeno tecnológico LAWS en la actualidad; tal vez adelantándonos un poco al considerar su aparición en el mundo de la vida cotidiana a partir de los avances que se tienen en cuanto a la computación, la inteligencia artificial y la robótica.

El alcance del presente trabajo es la comprensión del fenómeno a partir de las dos dimensiones mencionadas. Estas dimensiones son complemento a las propuestas por Pacey y Mitcham. Ahora, comprender la tecnología autónoma implica reconocerla como una entidad susceptible de una ontología; sabemos que existe, que es, que está allí y sin embargo, la desconocemos. Ante la apertura del horizonte devienen preguntas de talante ontológico y metafísico sobre las máquinas autónomas, tales como:

1. ¿Cuál es la finalidad- telos de la tecnología autónoma?

2. ¿Cuáles son las diferencias que distinguen los artefactos de la tecnología autónoma de los objetos naturales y dispositivos cibernéticos?

3. ¿Qué es lo esencial y qué es lo accidental en la tecnología autónoma?

4. ¿Se rompería el límite entre la realidad y la virtualidad? Sabiendo de antemano que en la actualidad los sistemas autónomos se mueven indistintamente en los dos planos.

5. ¿El destino de la tecnología autónoma incluye la co-evolución del ser humano?

A modo de conclusión, baste decir que todas estas cuestiones suponen que el ser humano deberá compartir su mundo y realizar actividades con los sistemas autónomos, lo cual se requiere de un restablecimiento de las relaciones entre la máquina y el ser humano. Para que sea posible este proceso de civilización en el que se involucre a las máquinas como entidades que hacen parte del mundo y que construyen mundo se requiere de la debilitación de los absolutos, derrumbar todos aquellos conceptos que limitan acciones incluyentes y transformadorasφ

Referencias

Álvarez G., C. F. (2016). “La angustia, principio de posibilidad del conocimiento”. Revista Perspectivas, 29 (2), 28-34.

Arkín, R. C. (2007). Governing Lethal Behavior: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture, Report GIT-GVU-07-11.

Gentilli, C., & Garelli, G. (2015). Lo trágico. (E. Jalain, Trad.) Madrid: La balsa de la medusa.

Gomila, A. (2010). “Ética para robots: retos morales al hilo de la nueva generación de agentes autónomos”. En: Autómatas, robots y otras figuras de la construcción femenina. De Galatea a Barbie. Madrid: Lengua de Trapo.

Heidegger, M. (1997). La pregunta por la técnica. En: Filosofía, ciencia y técnica. Santiago de Chile: Editorial Universitaria.

Husserl, E. (2008). La crisis de las ciencias europeas y la fenomenología trascendental. Buenos Aires: Prometeo Libros.

Iribarne, J.V. (2008). Estudio Preliminar. En La crisis de las ciencias europeas y la fenomenología trascendental. Buenos Aires: Prometeo Libros.

Kurzweil, Ray. (2013). Cómo crear una mente. Traductor: Carlos García Hernández. Berlín: Editorial Lola Books.

Méndez, J. A. (2007). “Más allá del Gestell. Tecnología y Voluntad”. Revista de Filosofía Eikasia. 11, p. 1-52.

Mitcham, C. (1989). ¿Qué es la filosofía de la tecnología? (C. Cueto Nieto, & R. Méndez Stingl, Trans.) España: Anthropos.

Mitcham, C. (1994). Thinking through Technology. The path between Engineering and Philosophy. Chicago: The University of Chicago Press.

Ortega y Gasset, J. (1968). La meditación de la técnica. Madrid: Ediciones Revista de Occidente.

Pacey, A. (1990). La cultura de la tecnología. México: Fondo de Cultura Económica. Sharkey, N. E. (2012). The evitability of autonomous robot warfare. International review of the Red Cross, 787-799.

Singer, P.W. (2009). Robots at War: The New Battlefield. The Wilson Quarterly, 33 (1): 30-48.

Sloterdijk, P. (2011). “La domesticación del Ser. Por una clarificación del claro”, en Sin Salvación tras la huellas de Heidegger. Madrid: Editorial Akal.

Notas

Notas de autor