Del apocalipsis al consenso global: ¿a quién interesa que la inteligencia artificial sea segura?
- En apenas diez días, la inteligencia artificial ha pasado del alarmismo a la búsqueda de un pacto global
- En una carrera con enormes incentivos económicos, políticos y tecnológicos, hay dudas de quién debe controlar IA
La dirección de esta página ha sido copiada en su portapapeles
Dicen que un año de internet son siete para los humanos. Y si eso lo llevamos al sector de la inteligencia artificial, esa medida espacio-temporal inventada en los círculos de la comunidad investigadora se dispara. Y si encima observamos lo acontecido recientemente, la afirmación no va desencaminada. Esta semana, la Agencia Española de Protección de Datos (AEPD) ha notificado el primer ciberataque ejecutado de forma autónoma por un agente de IA a una base de datos. La noticia llegaba en medio del debate mediático de si la inteligencia artificial es un peligro, en manos de quién está y quién la regula.
Google también ha confirmado que un modelo Gemini accedió accidentalmente a los sistemas de tres empresas durante una prueba de ciberseguridad, que se detuvo automáticamennte al identificar que había entrado en entornos de compañías reales. Al mismo tiempo, una auditoría de un periodista independiente, Kevin Bass, acusa a METR, evaluador propuesto por Anthropic, de depender financieramente de los creadores de Claude. Lo que comenzó como un mensaje viral apocalíptico en redes sociales ha provocado una crisis de confianza generalizada en la inteligencia artificial.
Los asistentes de IA más populares Kenneth Cheung (kennethcheungphoto@gmail.com) (Kenneth Cheung (Kenneth Cheung (kennethcheungphoto@gmail.com) Kenneth Cheung (kennethcheungphoto@gmail.com)
La IA sido uno de los temas estrella de la semana en los medios. Se ha hablado de las mil y una formas que podría adoptar la inteligencia artificial para rebelarse contra los humanos. En la red social X, los testimonios de investigadores de OpenAI y Anthropic han sido una constante, moviéndose entre el miedo y la calma. En ese ambiente confuso, la AEPD se hacía eco de un ataque agéntico a una empresa española, donde la IA, de forma autónoma, buscó vulnerabilidades de un sistema, modificando datos personales. El organismo ha sido claro, lo que le preocupa es que se convierta en algo habitual que estos agentes autónomos reciban una orden y, a partir de ahí, sean capaces de usar diferentes herramientas para alcanzar su objetivo. La propia agencia considera este ataque "un cambio cualitativo", que obliga a replantear los mecanismos de ciberseguridad. Algo de lo que ya han advertido las empresas del sector tras los incidentes ocurridos en verano relacionados con la coordinación de diferentes agentes. Todos los caminos parecen llevar a la misma pregunta: ¿quién garantiza que estos sistemas son seguros y quiénes los vigilan?
De un mensaje viral a un gran pacto de la IA
El extrabajador de OpenAI y Anthropic, Jacob Coxon, prendió la mecha el 8 de septiembre, acusando a ambas empresas de "jugar con nuestras vidas". Mensaje que ha alcanzado 172 millones de visualizaciones, en un perfil de X con actividad cero hasta ese día. Bajo su opinión de experto, "ninguna actúa con responsabilidad y corren directamente hacia una superinteligencia autorreplicante". Quizá la publicación de Coxon no hubiese trascendido si otro trabajador de Anthropic, Evan Hubinger, no hubiera echado más gasolina al asunto anunciando "un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década", y reconociendo públicamente que no hay un plan para domar a esa futura superinteligencia.
La historia de Coxon se había publicado minutos antes en un medio estadounidense. Además, el exinvestigador de Anthropic aseguró después que había pedido ayuda para difundir su mensaje a un grupo de personas influyentes en el entorno de la IA. No hay pruebas de que la viralidad del mensaje estuviese orquestada, pero entre esos expertos hay perfiles que están vinculados financieramente a Anthropic. Esa conexión ha dado pie a pensar que ha habido un gran interés en propagar una preocupante falta de seguridad de los últimos modelos de inteligencia artificial. A partir de aquí, los acontecimientos han cogido velocidad de crucero.
El ensayo publicado unos días después por Dario Amodei, CEO de Anthropic, es ahora el centro de atención. Pide ralentizar el ritmo de mejora de los modelos de IA, dar acceso a evaluadores externos (donde cita entre otros a METR) y la colaboración de los gobiernos para que haya una regulación consensuada globalmente. Acciones que la competencia más directa ha visto con buenos ojos. Sam Altman, el jefe de OpenAI, dijo estar de acuerdo en marcar el ritmo de la frontera. Elon Musk y Demis Hassabis (Google Deepmind) también lo ratificaron. Mustafa Suleyman, responsable de Microsoft AI, abogó por una inteligencia artificial humanista. Es decir, hay unanimidad entre casi todos los grandes de la IA.
El CEO de Anthropic, Dario Amodei. Markus Schreiber AP Photo/Markus Schreiber
Reacciones contrapuestas desde los gobiernos y las tecnológicas
Las medidas de Amodei, en cambio, no han gustado nada a Donald Trump y al vicepresidente J.D. Vance, que ven en esta desaceleración de la investigación en inteligencia artificial una oportunidad para que China dé el sorpasso a Estados Unidos. Trump ha llegado a insinuar en su red social, Truth Social, que se plantea la creación de una AI Force para supervisar la regulación de la inteligencia artificial y nombrar a un "zar de la IA". No ha dado más detalles. Ha prometido no ser un obstáculo para la industria, pero que actuará contra quienes hagan uso dañino con la inteligencia artificial mediante leyes penales y civiles.
Desde Pekín, la postura ha sido similar a la de la Casa Blanca, pero en este caso el régimen de Xi Jinping defiende un modelo de IA abierta y reclama un sistema mundial de gobernanza basado en un acuerdo amplio, con el visto bueno de la ONU. Lo que rechazan los gobernantes chinos es que se utilice el argumento de la seguridad para justificar las restricciones hacia los modelos de IA desarrollados por empresas de su país. Y aún hay más, desde el Banco Popular de China se advierte de que la expansión de la IA puede tener repercusiones graves para la economía del país al no haber un equilibro entre la producción indutrial de bienes tecnológicos equipados con IA y una demanda interna con débil poder adquisitivo.
Europa también ha hablado. Para la presidenta de la Comisión Europea, Ursula von der Leyen, la inteligencia artificial y el cambio climático son los "dos grandes puntos de inflexión de nuestro tiempo". Al mismo tiempo, ha trasladado a los eurodiputados el deseo de los laboratorios más avanzados de bajar el ritmo de desarrollo.
Volviendo al entorno tecnológico, una pieza clave en esta carrera por ser los primeros en inteligencia artificial es Jensen Huang, fundador de Nvidia, la compañía que lidera la venta de procesadores de IA. Durante su intervención en Dreamforce -conferencia anual de la multinacional Salesforce- ha admitido que no ve necesidad de nuevas normas ni de marcar un nuevo rumbo: "No necesitamos nuevas leyes, ni nuevas regulaciones. Si no estás seguro de que tu producto cumple unas normas de seguridad, no lo lances". Es decir, que debería recaer en cada empresa de inteligencia artificial la responsabilidad de sus modelos. Algo similar ha declarado a Reuters un portavoz de Amazon, que pide que los modelos se lancen cuando estén preparados y sean seguros, tras "pruebas rigurosas y salvaguardas sólidas". Una postura que, como la de Huang, exige controles propios y no un compromiso colectivo que podría ralentizar la innovación y el desarrollo. Por su parte, Mark Zuckerberg (Meta) coincide en rechazar la idea de frenar por ley el desarrollo de los modelos más avanzados. Para el creador de Facebook, la seguridad no tiene que ser un obstáculo para la innovación tecnológica, y menos cuando podría dar ventaja a China.
El peliagudo asunto de los evaluadores externos
Dario Amodei menciona en su ensayo a varias compañías evaluadoras. Entre ellas, METR, que también trabaja para OpenAI, Google DeepMind, Meta o Amazon. Fue responsable de la investigación del incidente de los miles de agentes coordinados en el incidente de finales de julio. Esta compañía evaluadora ha aparecido en la auditoría que el investigador independiente Kevin Bass ha realizado sobre las finanzas de Anthropic y que ha publicado en X. "He llevado a cabo una auditoría de las finanzas y lo que he descubierto es tan alarmante que pido una investigación del Congreso (de Estados Unidos)", escribía. "Se ha construido una regulación a medida, difícil de apagar", aseguraba. Según Bass, METR depende directamente del éxito financiero de la empresa de Claude, ya que tienen una red de donantes en común que ha bautizado como "la red Anthropic".
En una minuciosa descripción con infografías detalladas incluidas, describe un entramado de donaciones y subvenciones a la empresa evaluadora de inversores que han invertido muchos millones de dólares en Anthropic. Chris Painter, presidente de METR, no se ha quedado callado. "No nos han pagado por nuestro trabajo y no aceptamos donaciones de estas empresas", en referencia a los laboratorios que su compañía evalúa. En su publicación en X explica que la financiación procede de una amplia variedad de donantes, registrados todos públicamente en internet. La relación inversora directa Anthropic/METR no está demostrada, pero es una alerta de que podría haber intereses comunes entre evaluadores y laboratorios de IA. Si en un futuro cercano los que evalúan van a desempeñar un papel clave en la regulación de la IA, se hace necesaria una transparencia para saber quién financia a estas empresas.
Para echar más leña al asunto, Anthropic ya ha anunciado que invertirá en Accenture 1.000 millones de dólares para un sistema de evaluacuón de modelos. El acuerdo deja entrever que la consultora tendría acceso a las entrañas de los futuros desarrollos de Claude como si fuese un empleado más (supervisando el entrenamiento, examinando salvaguardas, comunicando incidentes, etc). La contradicción es hasta qué punto esta auditoría sería objetiva si la propia Anthropic financia estas evaluaciones. Este movimiento no confirma las investigaciones de Kevin Bass, pero parece que no van mal encaminadas.
Mientras se aclara el rumbo que deberían tener esa colaboración entre empresas de IA y futuros supervisores, la semana finaliza con una demanda judicial a Anthropic, OpenAI, Google y SpaceXAI en Estados Unidos. Cuatro suscriptores de ChatGPT, Claude, Grok y Gemini acusan a estas multinacionales de que apoyando un acuerdo común para ralentizar el desarrollo de la inteligencia artificial están limitando la competencia y el valor de los servicios que prestan.
La carrera continúa y la IA sigue avanzando
Dejando a un lado la tormenta de declaraciones, OpenAI y Anthropic han seguido anunciando los avances de sus modelos de frontera. Antes del "incidente Coxon", la empresa de ChatGPT anunciaba la resolución a uno de los Problemas del Milenio y unos días después lanzaba Astra, su versión GPT más avanzada. La respuesta de la compañía de Dario Amodei ha sido poner cifras a la autonomía de Claude en sus propios laboratorios. El CEO asegura que el modelo ya realiza un 26% de las tareas de investigación y desarrollo de IA, y que "puede completar la mayor parte del trabajo a partir de una instrucción general, pero bajo supervisión humana". Aún no hay autonomía plena, pero dicen que tienen trabajando simultáneamente a 30.000 agentes en investigación e ingeniería.
También ha anunciado que ha abierto en San Francisco un centro para realizar experimentos biológicos que, a día de hoy, no pueden resolver las simulaciones por ordenador. La idea es que en un futuro Claude dirija a robots para hacer experimentos, pero con intervención humana. La automatización del laboratorio aún está en una fase temprana y se centra, de momento, en investigación previa de ensayos clínicos.
El duelo entre Anthropic y OpenAI no es sólo tecnológico. El factor financiero pesa, y mucho. Sam Altman (OpenAI) ya ha descartado la salida a bolsa en 2026. Dario Amodei (Anthropic) aún no ha dicho si los acontecimientos de las últimas semanas afectarán a la próxima oferta pública de acciones de su empresa. Podría retrasar la operación hasta después de las elecciones legislativas estadounidenses de noviembre. Ambos necesitan como agua de mayo inversiones extraordinarias para más procesadores, centros de datos y energía. Las promesas de avance siguen ahí y los inversores quieren ver beneficios de verdad. El gran reto estará en ralentizar la investigación en pro de la seguridad y mantener los costes competitivos excesivos, que no pueden asumir en solitario.
Y mientras tanto, Anthropic ha aterrizado en España
Coincidiendo con la vorágine catastrofista sobre si "IA sí, IA no", Anthropic ha abierto oficina en España. Su responsable, Cristina Pitarch, que viene del entorno de la ciberseguridad en Google, ha defendido en una entrevista a RTVE Noticias que la compañía siempre ha contado con procedimientos de seguridad "desde antes de tener un producto comercial" y que "nunca ha negado" los riesgos graves, aunque rechaza la versión apocalíptica de que la IA vaya a llevar a la humanidad a la extinción. "No debemos tener miedo", afirma. Y añade que las tecnológicas se han dado cuenta de que hace falta una regulación que no pueden imponerse a sí mismas. Es optimista, cree que tarde o temprano Estados Unidos y China llegarán a un acuerdo en materia de seguridad de la IA.
Con el transcurso de los días, se ha pasado de estar al borde del "fin de los días" a un puzle muy complejo, que ya existía. Hay que encajar piezas tan dispares como un consenso para poner orden en la carrera por la inteligencia artificial, los nombres de quienes entran en los laboratorios para ver que todo está en orden, la justificación ante los inversores de los costes desmesurados en el desarrollo de la IA, o convencer a Trump de que pausar el ritmo de la inteligencia artificial no es motivo de debilidad geopolítica. Muchas voces enfrentadas alrededor de una tecnología que tiene el poder de marcar buena parte del rumbo de la humanidad en las próximas décadas. Por ahora, sigue campando a sus anchas. Habrá que ver quién es el director de orquesta que capa el "botón rojo" de la IA por el bien del futuro del planeta.
