Roser Martínez: "El dato es el nuevo petróleo de la guerra, de los drones, los algoritmos y la inteligencia artificial"

• Martínez es experta en inteligencia artificial y delegada en la ONU para el Tratado de Armas Convencionales
• Ha participado en el Seminario Internacional de Seguridad y Defensa de la Asociación de Periodistas Europeos

Roser Martínez en Toledo. Antonio Carrasco

Roser Martínez es profesora de la Universidad Autónoma de Barcelona, experta en inteligencia artificial y delegada en Naciones Unidas para el Tratado de Armas Convencionales. Le preocupa que armas autónomas letales puedan llegar a tomar decisiones al margen del ser humano.

RTVE.es habló con ella en el marco del Seminario Internacional de Seguridad y Defensa de la Asociación de Periodistas Europeos, celebrado en Toledo bajo el título "Aliados y Amenazas".

PREGUNTA: Estamos ante la aceleración sin precedentes del desarrollo de sistemas de inteligencia artificial aplicados a la defensa. ¿Hasta dónde llegará esta revolución tecnológica?

RESPUESTA: Creo que no tiene límites, porque la evolución será continuada. Lo que hay que hacer es evolucionar en la regulación de esta tecnología, porque el único espacio en el que el ser humano, incluso los Estados, los militares, los policías y los operadores de estos sistemas, van a poder actuar con libertad es cuando haya una norma que les diga cuál es el límite de sus actuaciones. La tecnología es buena y, evidentemente, el desarrollo tecnológico en España es puntero. Empresas como Indra o GTD están liderando este mercado. Pero no podemos tener un Estado que piense que el mercado es libre, es decir, más mercado y menos Estado. Esa es la postura de Estados Unidos. Eso conlleva un riesgo evidente, no solo para los ciudadanos que dependen de esa seguridad, sino también para el propio Estado, que podría ser denunciado por crímenes de guerra si no hay limitaciones ni un marco normativo vinculante.

P: ¿Cuál es el principal riesgo de las armas autónomas? Has hablado en varias ocasiones del peligro de delegar decisiones

R: Es verdad que los Estados, los agentes encargados de seleccionar y acabar con un enemigo, siempre han estado hasta ahora en manos de un ser humano, y el derecho está pensado para ser aplicado por un ser humano responsable. Por mucho que los informáticos y los ingenieros me digan que no, que el algoritmo siempre está controlado por un humano, que siempre va a ser el humano el que va a apretar un botoncito y va a hacer que ese algoritmo actúe, no es así, porque hay zonas oscuras en las que la penumbra hace que confiemos más en el algoritmo que en nuestras propias decisiones. Y es entonces cuando se piensa: "Seguro que no se equivocará el algoritmo". Ahí radica el peligro de que esa decisión no pueda estar justificada ni por el derecho de guerra ni por el derecho de legítima defensa. Entonces, se trataría de ejecuciones extrajudiciales que no se pueden permitir.

P: ¿Estamos reaccionando con suficiente rapidez ante estos avances tecnológicos?

R: No, no lo estamos. Es verdad que el derecho siempre ha ido por detrás, pero ahora no es que vaya por detrás, es que va a años luz, porque los ingenieros nos están demostrando una rapidez en el desarrollo de estas tecnologías que no es bueno que el derecho no haya acompañado. ¿De quién es la culpa? En parte, es culpa de los juristas, que no hemos advertido que la ciencia y la tecnología iban a esa velocidad. Los juristas nos estamos quedando en nuestra zona de confort, en el derecho que siempre ha existido, y creo que vamos hacia un nuevo derecho. Estamos en una situación de colapso y el derecho también debe responder a esta situación y a los nuevos riesgos que conlleva. El apagón, el covid, todo esto hace que nos hayamos dado cuenta de que la regulación de la que estábamos orgullosos, el imperio del derecho en Europa, no es suficiente.

P: Al final, nos están pasando la mano por la cara porque no hemos llegado a tiempo y no estamos dando respuesta

R: Hace 10 años escribimos un libro sobre armas autónomas letales y los periodistas lo veían como ciencia ficción, como Terminator. No estamos hablando de Terminators. Hace 10 o 15 años hablábamos de la posibilidad de que se utilizaran esos drones para asesinar selectivamente a personas de un Estado. Un Estado enemigo o en guerra, o incluso sin haber declarado la guerra. Se han cometido barbaridades con este tipo de tecnología. ¿Es posible solucionarlo? Al menos, la filtración de información hace que los ciudadanos seamos conscientes de lo que se está utilizando en nuestro territorio y, sobre todo, de que se trata de guerras desiguales. Pero no solo entre países que tienen la tecnología, sino también entre ciudadanos que no deberían ser objeto de ataque, ya que se están utilizando contra población civil.

P: ¿No existe de momento un marco jurídico internacional vinculante?

R: ¿Que vincule a los Estados para que no desarrollen ni ejecuten este tipo de tecnología? No hay límites. De momento no lo hay. Esto debería hacerse a través del Tratado de Armas Convencionales, pero no hemos sido capaces. Los expertos que hemos estado en Ginebra no hemos sido capaces, en 10 años, de elaborar un precepto que diga "prohibidas las armas autónomas letales sin control humano significativo". Y es muy fácil. ¿Hemos hablado con militares o no? Sí, está visto que cuando no hay control humano. Muy bien, pues pongámonos en el lugar del Estado que utilice ese tipo de armas de forma descontrolada. Se le puede acusar de delitos contra la humanidad o de genocidio. Pero no estamos todavía en ese nivel de avance legislativo.

P: ¿Qué límites deberían establecerse en ese nuevo tratado o si se cambia el Tratado de Armas No Convencionales?

R: La clave está en que el agente debería tener control en algún momento del ciclo de actuación del sistema de armas autónomo letal. En algún momento, el ser humano debería poder decir: "Yo soy el responsable, quiero que actúes"; o "quiero que te pares en este momento". Cuando no hay control humano, directo o indirecto, consideramos que debería ser un arma totalmente prohibida. No estamos en contra del desarrollo, pero sí de que el algoritmo pueda decidir sobre la vida y la muerte de los ciudadanos. Es verdad que, cuando el sistema de armas autónomo frena un ataque, es decir, que tiene función de defensa y no de ataque, y, además, no hay un ser humano como objetivo, no hay problema. Pero estamos hablando de armas con capacidad letal para humanos. Ahí sí que debe haber una línea muy clara.

P: ¿Pero es realmente posible garantizar ese control humano en estos sistemas cada vez más autónomos?

R: El problema es que actúan como cajas negras. La decisión de seleccionar un objetivo y acabar con él es algo que el ser humano no llega a entender, porque el algoritmo actúa con un sistema tan complejo que ni él mismo te puede dar una explicación sobre por qué ha tomado esa decisión con respecto a una persona de color, vestida de verde, que lleva una patata, porque ha decidido que ese es el enemigo y no el otro. La solución está clara, cuando un ser humano no decide, cuando la decisión no entra en razón, o sea, cuando no tiene sentido el sentido común, la humanidad, la cordura, la sensibilidad e incluso la intuición. Esto es algo que no se puede transmitir a un algoritmo, porque lo único que hace es replicar y tiene unos sesgos brutales, los del mismo informático o técnico que lo configuró al principio. Ese algoritmo siempre es bueno, siempre es una réplica de lo que debería ser, pero no lo es. No es una decisión humana ni con sentido común. Al final, por ejemplo, si se comete un crimen de guerra por un sistema de inteligencia artificial, no es una decisión humana ni con sentido común. Hasta ahora no.

P: ¿Quién sería el responsable?

R: Está claro. Hay trazabilidad. Hasta ahora, podemos afirmar que la ha construido quien la ha puesto en marcha y quien ha autorizado su uso en determinadas situaciones. Hay una responsabilidad directa y también la hay por no haber tenido suficiente cuidado con la protección de ese tipo de sistemas y haber dejado que cualquier pirata informático o Estado terrorista pudiera utilizarlo. Pero la cuestión es que, en el momento en que se reconozca que la inteligencia artificial, es decir, el algoritmo, se separa de la decisión o incluso va en contra de los intereses del propio Estado porque cree que es mejor actuar de esa manera que como lo han programado, estará claro que, ante un tribunal, podrá decir: "No, si yo le dije que actuara de otra manera; ha habido un fallo en el algoritmo, no he sido yo". Entonces, habrá un déficit de responsabilidad y una ruptura de la relación de causalidad entre el genocidio, el crimen y la decisión de actuar.

P: Al final, como dicen algunos, ¿con la inteligencia artificial podemos reducir los errores humanos e incluso los daños colaterales?

R: Sí, claro, seguramente es más eficiente y más barato. Los algoritmos no sienten frío ni calor, no comen, no hay que darles indemnizaciones a las parejas o familias. Algo que sí se hace con los soldados. Pero está claro que el hecho de que sean más eficientes no quiere decir que podamos delegar esa potestad exorbitante, porque no va a haber nadie que responda después por esa decisión. En la Academia dicen que estamos reduciendo que los soldados puedan cometer crímenes contra la población civil, lo que más se comenta son los abusos sexuales, y que eso nunca va a pasar. Esos soldados van a responder ante un tribunal. En cambio, por muy eficaces que sean, los algoritmos nunca podrán responder si no hay control humano. Si estamos hablando de que no haya posibilidad de que la decisión la controle un ser humano, entonces dices: "Bueno, muy eficiente será". Pero ¿hasta qué punto no hay trazabilidad? No sabes lo que está haciendo ese algoritmo.

P: Tenemos también el problema de que los sesgos se trasladen, al final, al campo de batalla.

R: Total, se traslada al campo de batalla porque la información que han recibido esos algoritmos, la información que hay en la nube, es de personas no racializadas, personas blancas, caucásicos, hombres. Tenemos muchos datos, pero de personas de otras razas no tenemos tantos. Ahí no van a ser tan efectivos, sobre todo con gente de raza negra y con rasgos asiáticos. No hay tanta información para que esas decisiones sean tan eficaces. Ahí hay más sesgos aún.

P: ¿No le preocupa que este desarrollo tecnológico y de armas autónomas caiga en manos de actores no estatales?

R: Ese es un riesgo: los actores no estatales. Pero hay otro riesgo aún peor: que se democratice la tecnología y esos drones sean más baratos y pasen a manos civiles, de ciudadanos que crean tener derecho a la legítima defensa y se armen con ese tipo de drones para decidir si dejan entrar o no en sus casas o fincas a individuos que puedan ser susceptibles de sufrir un ataque letal. Tal y como lo veo ahora, Estados Unidos, con la Segunda Enmienda de su Constitución, fomenta que sus ciudadanos se doten de armas para la defensa de su país, de su Estado y para la defensa propia. Va a ser un negocio redondo para las empresas tecnológicas que quieran dejar de fabricar armas convencionales para fabricar armas con inteligencia artificial, que serán mucho más baratas y letales. ¿Dónde está el peligro? El peligro está en los estados dictatoriales, en los jáqueres, en los estados sin escrúpulos que pueden utilizarlas, pero sobre todo en la difusión de este tipo de armas. En sociedades como la estadounidense, que actualmente tiene más de 300 millones de armas en circulación, entre ellas armas cortas, de asalto y militares, se sumarán, no se restarán. No dejarán de tener armas cortas, sino que también tendrán armas con inteligencia artificial. Eso da como resultado 30.000 o 40.000 muertes anuales en Estados Unidos, es decir, 10 por cada 100.000, más que en Europa. Es decir, tienen una mayor mortalidad a nivel civil por tener armas de defensa personal. Es un contrasentido. Si tienes un arma es para salvar la vida. Pero, en el caso americano, las armas están provocando una epidemia mortal. Si a esto le sumamos las armas de inteligencia artificial, incrementaremos el nivel de víctimas, homicidios y asesinatos.

P: Hay una competencia estratégica entre Estados Unidos, China y Rusia que está impulsando esta carrera tecnológica. ¿Existe el riesgo de que se produzca una nueva carrera armamentística basada esta vez en la inteligencia artificial?

R: Ya está, ya la tenemos aquí. Lo único que tenemos que saber es que no solo está en juego el artefacto, sino también el código para poder leer esos datos. Hay códigos abiertos y códigos cerrados. Europa está perdiendo la batalla por crear su propio código y no tener que depender de Estados Unidos y China. Si no, todos los datos de los europeos estarán en manos de otros países que, evidentemente, han sido aliados, pero que ahora suponen una amenaza. ¿Qué debemos hacer? Creo que Europa tiene el reto de crear sus propios códigos y empresas, y sobre todo de no dejarlo en manos privadas, como está haciendo Estados Unidos, es peligroso. Es un peligro que las empresas monopolistas de los datos (Google, Amazon, Microsoft, etc.) tengan la seguridad en sus manos.

P: ¿La industria de drones que estamos creando es europea?

R: Si no somos capaces de crear esta estrategia europea unidos, sin peleas internas en materia de seguridad nacional —todavía hay Estados que quieren ser soberanos y no entienden que esa soberanía ya no es territorial, sino que hay una soberanía digital que está por encima del territorio y que se está librando en el espacio— y hasta que no entendamos este cambio de paradigma, que es ontológico y epistemológico, no podremos salvar a nuestros ciudadanos europeos. Tenemos que estar más orgullosos de este modelo. Como dice Miguel Ángel Aguilar, necesitamos valores europeos, más Estado y menos mercado, más prevención y menos represión.

P: ¿Estamos preparados para afrontar los desafíos éticos que plantea esta transformación?

R: Tecnológicamente, Europa está preparada. El tema ético está claro y somos los primeros en plantear las cuestiones en las Naciones Unidas. Estamos preparados, pero necesitamos un impulso político valiente que sopese las consecuencias de aplicar o aprobar una normativa. Porque todo eso también tiene consecuencias económicas en el PIB del país que son importantes y hay que tener en cuenta.

P: ¿Qué impacto pueden tener estas tecnologías sobre la población civil?

R: Esas tecnologías no distinguen entre combatientes y civiles. Está claro que, aunque cada día se perfeccionan más, es muy difícil que se produzca esa diferenciación en el campo de batalla. Pero fuera del campo de batalla, el impacto será que determinados países podrán utilizarlas en el ámbito privado, no solo a través de sus fuerzas y cuerpos de seguridad. También las reclamarán los policías. ¿Por qué no? En Brasil, Bolsonaro ya dijo que sus policías no entrarían en determinados barrios y que, en cambio, lo harían drones armados para realizar funciones policiales. Habrá ese tipo de riesgo o de oportunidad de que la policía sustituya a los agentes por drones, pero siempre que se trate de drones no letales. Siempre que ayuden a la colaboración ciudadana serán bienvenidos, pero cuando se conviertan en drones letales y la población civil los reclame para sí, habrá un peligro evidente de desestabilización y descontrol.

P: ¿Qué lecciones debemos aprender de los conflictos actuales en relación con el uso de estas armas, que ya se están utilizando en Ucrania, Oriente Medio y el mar Rojo?

R: La lección es que la soberanía ya no es territorial, sino digital. Pero es verdad que el control de ese tipo de armas debe venir de la mano de una regulación. La lección es que no hay regulación y que los propios Estados que las utilizan están en una situación de inseguridad. Por lo tanto, la lección es clara. Regulación, límites e información a la población.

P: ¿Habrá algún día un tratado internacional específico?

R: Estoy convencida de que sí, porque llevamos 10 años. Si no creyera en ese tratado, no estaría aquí. ¿Os acordáis? ¿Lady Di? La Lady Di que trabajaba por las minas antipersona. Todos decían que era postureo, que nunca conseguirían prohibirlas. Pues bien, antes de morir, había conseguido que se prohibieran. Es verdad que algunos Estados han descubierto que son minas domésticas e, incluso, algunos Estados sin escrúpulos las venden. Pero el 90% de los Estados, sobre todo los del primer mundo, ya no las fabrica. España no las fabrica, por lo que hemos avanzado muchísimo.

P: ¿En qué se ha convertido el dato para la guerra?

R: El dato se ha convertido en el nuevo centro de gravedad; es el nuevo petróleo de la guerra, de los drones, los algoritmos y la inteligencia artificial. Todo se mide en función de los datos. Antes, las empresas debían realizar una actividad extractiva e invertir dinero en metal, pero ahora el dato es gratuito para las empresas monopolistas. Y lo están utilizando para alimentar la inteligencia artificial y los algoritmos y así vender esa tecnología. Lo están haciendo porque los ciudadanos no nos hemos dado cuenta de que lo que está en venta somos nosotros. Han vendido nuestros datos, nuestra biometría y todas nuestras preferencias. Pero se los hemos dado gratis, no hemos recibido nada a cambio. Ahora tienen una gran cantidad de datos, sobre todo del primer mundo, de europeos y americanos, y los venden al mejor postor. Actualmente, los Estados no tienen el poder, no tienen el código ni la propiedad de los datos, que están en manos de empresas privadas, sobre todo de los amos de los satélites, que utilizan los datos.