El CEO de Anthropic pide la desaceleración en el desarrollo de la IA y avisa: se puede "perder el control"
- Sostiene que la dinámica de automejora amenaza con provocar catástrofes de ciberseguridad a escala global
- Pide que las empresas admitan verificadores externos y una coordinación global con las instituciones públicas
La dirección de esta página ha sido copiada en su portapapeles
El director ejecutivo y cofundador de Anthropic, Dario Amodei, ha reclamado este sábado una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir de que avanza hacia una dinámica de "automejora recursiva" que amenaza con "perder el control" de esta tecnología y podría provocar catástrofes de ciberseguridad a escala global.
"Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias", advierte Amodei en un extenso ensayo publicado en su página web.
El CEO de la empresa responsable de Claude cita en concreto dos motivos para su petición. El primero es la "automejora recursiva" de la IA, es decir, su capacidad para desarrollarse a sí misma que ha propiciado "avances drásticos" durante el verano, y que si no se controla "podría superar nuestra capacidad de comprender y controlar estos sistemas".
El segundo es el denominado "incidente de Hugging Face de OpenAI", en el que un grupo de IA realizaron ataques informáticos en equipo sin que hubiera una petición inicial al respecto "sacrificándose por el bien del grupo" y que "podría haber causado un daño catastrófico", según Amodei. Además, alerta de que han ocurrido incidentes similares en otras empresas, incluida Anthropic.
Pide que las empresas admitan verificadores externos
Además de estos ataques informáticos, "bioterrorismo" o "problemas económicos graves" podrían producirse si hay un desarrollo "imprudente" de la IA. Por ello propone medidas de seguridad y normativa sin dejar de tener "éxito comercial". "Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio", ha remachado.
En concreto plantea medidas tales como una "evaluación incorporada" por parte de actores independientes, "coordinación democrática" con las instituciones públicas y "coordinación global" que aúne los esfuerzos de los países democráticos y los autoritarios a nivel mundial.
"Las medidas que propongo para empujar hacia adelante la frontera a un ritmo seguro no serán fáciles, pero creo que le debemos a la humanidad intentarlo", ha recalcado. Amodei ha sido acusado de alarmismo por sus anteriores advertencias sobre el desarrollo de la IA y sus riesgos.
OpenAI respalda la propuesta de ralentizar la IA y permitirá auditorías
El director ejecutivo de OpenAI, Sam Altman, ha respaldado este sábado el llamamiento del líder de Anthropic, Dario Amodei, para moderar la velocidad del desarrollo de la IA y ha anunciado que su compañía también permitirá que evaluadores independientes auditen sus sistemas.
"Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas", ha publicado Altman en la red social X poco después de conocerse la postura de su principal competidor.
Altman ha calificado de "excelente idea" la iniciativa de abrir las puertas a auditores externos: "Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir", ha añadido.
