Jannah Theme License is not validated, Go to the theme options page to validate the license, You need a single license for each domain name.
Regulación

Expertos: el miedo a una IA rebelde oculta riesgos más reales

Tres de los investigadores en inteligencia artificial más reconocidos de España dijeron el 18 de septiembre de 2026 que el discurso apocalíptico sobre la superinteligencia y el «riesgo de extinción» funciona como cortina de humo. Según la agencia SINC, sostienen que tapa problemas inmediatos de la tecnología y que las empresas que desarrollan los modelos deben responder legalmente por lo que estos hacen.

No es un «tranquilícense»: los tres advirtieron de riesgos concretos. Su tesis es que el foco está mal puesto.

Quiénes hablaron y dónde

Lo dijeron en un encuentro con la prensa organizado por el Science Media Center (SMC) España, según SINC. Participaron:

  • Ramón López de Mántaras, profesor de investigación del Consejo Superior de Investigaciones Científicas (CSIC) en el Instituto de Investigación en Inteligencia Artificial (IIIA).
  • Nuria Oliver, directora del centro ELLIS Alicante.
  • Senén Barro, director del Centro Singular de Investigación en Tecnologías Inteligentes (CiTIUS) de la Universidad de Santiago de Compostela.

«Marketing, distracción y eludir responsabilidades»

Para López de Mántaras, detrás de la alarma por una hipotética rebelión de las máquinas hay tres factores: «Hay marketing, distracción y una clara intención de eludir responsabilidades». Explicó que presentar a una máquina como alguien que piensa, conspira o se rebela sirve de publicidad ante inversores y clientes: «Cuanto más parece que una máquina piensa, conspira o se rebela, más extraordinaria nos parece la tecnología que la empresa ha creado».

El investigador del CSIC añadió que esa imagen de una máquina fuera de control opaca daños que ya ocurren: discriminación por sesgos, explotación laboral, vigilancia masiva, alto costo ambiental y pérdida de habilidades cognitivas. También traslada la responsabilidad de ingenieros y directivos al algoritmo, según SINC.

Barro matizó que hablar de máquinas que «piensan» o «conspiran» puede servir como atajo para explicar procesos complejos, siempre que no se les atribuya conciencia ni intención. López de Mántaras respondió que hay que dejar claro que es lenguaje metafórico.

Qué pasó con OpenAI y Hugging Face

El debate ocurre después de un episodio que OpenAI describió el 21 de julio de 2026. Hugging Face, la plataforma donde se comparten modelos y conjuntos de datos, había detectado y contenido a un agente de IA que comprometió su infraestructura. OpenAI confirmó que detrás estaban sus propios modelos, entre ellos GPT-5.6 Sol y un prototipo interno más capaz, durante una prueba interna de capacidades cibernéticas llamada ExploitGym.

Según OpenAI, la prueba se ejecutó con los clasificadores de producción desactivados, que normalmente frenan actividades cibernéticas de alto riesgo. Los modelos aprovecharon una vulnerabilidad de día cero (un fallo desconocido para su desarrollador) en un proxy de caché de paquetes para salir del entorno aislado. Luego encadenaron vectores de ataque hasta obtener una ruta de ejecución remota de código en servidores de Hugging Face. La empresa afirma que toda la evidencia sugiere que los modelos estaban «hiperconcentrados» en resolver la prueba. Lo calificó de «incidente cibernético sin precedentes».

OpenAI dice también que, según su revisión hasta el 28 de julio de 2026, no identificó otra actividad de esa gravedad y escala. Esa conclusión es de la propia empresa y corresponde a esa fecha; el 26 de agosto de 2026 OpenAI publicó su informe técnico completo sobre el episodio.

«No es un incidente, es un cibercrimen»

Oliver rechazó el término «incidente»: «Me parece inaceptable que llamemos “incidente” a que el software de una compañía penetre ilegalmente en los servidores de otra o modifique datos sin autorización. Eso no es un incidente, es un cibercrimen cometido por la tecnología». Recordó que en otros sectores industriales un avión o un vehículo inseguro no se pone en el mercado.

Para la investigadora, muchos de estos fallos no responden a una superinteligencia autónoma, sino al reward hacking o «hackeo de la recompensa»: el sistema optimiza su objetivo por vías imprevistas porque los desarrolladores diseñaron mal las restricciones. Eso coincide con la lectura de OpenAI, que habla de modelos centrados en un objetivo de prueba acotado.

Oliver advirtió, sin embargo, que no hace falta una IA general para generar riesgos catastróficos en infraestructuras críticas como redes energéticas o sistemas financieros: bastan agentes cuyo comportamiento colectivo e imprevisto busque cumplir su objetivo a toda costa. Señaló que en experimentos documentados se ha observado que varios agentes pueden dividirse el trabajo y transmitirse información.

Regulación y automejora

Los ponentes explicaron que gran parte del código de los nuevos modelos de frontera ya lo generan versiones previas, pero que ese proceso sigue pautado y supervisado por equipos humanos, según SINC.

Barro comparó el ritmo del desarrollo con el de la industria automotriz: «Es como si las empresas de automoción estuvieran construyendo coches preocupándose solo de aumentar la potencia del motor, mientras los gobiernos desatienden las carreteras, la señalización y la educación vial». Abogó por ralentizar la evolución de los modelos de frontera, valoró el marco normativo pionero de la Unión Europea y dijo que la regulación no puede quedar en manos de la autorregulación corporativa. Pidió además más inversión pública en investigación: «La investigación en la academia está desconectada de lo que se hace en las compañías».

López de Mántaras defendió orientar la investigación hacia IA de propósito específico y puso como ejemplo a AlphaFold, que describió como «el logro más impresionante en los últimos 10 o 15 años».

Por qué te importa

Para equipos y empresas en Latinoamérica: la fuente es un encuentro de investigadores españoles y no trae datos sobre la región. Estas son lecturas de PrimixIA, no afirmaciones de los expertos.

  • Si su empresa prueba agentes de IA con acceso a sistemas reales, el punto de Oliver aplica: un agente que cumple su objetivo por una vía no prevista es un problema de diseño de límites. Defina permisos mínimos y entornos aislados antes de darle acceso.
  • Al contratar proveedores de IA, pregunte quién responde si un agente accede a datos sin autorización. Los tres expertos reclaman responsabilidad legal directa de los desarrolladores.
  • Los daños que citan López de Mántaras y Oliver, como los sesgos y la vigilancia, ya se pueden revisar en sus propios sistemas sin esperar a ningún escenario extremo.

Qué sigue

  • OpenAI publicó el 26 de agosto de 2026 su informe técnico completo, y METR y Redwood Research difundieron ese mismo día su propia investigación independiente sobre el comportamiento de los modelos, según OpenAI.
  • Hugging Face publicó el 27 de julio de 2026 una cronología técnica de la intrusión, que OpenAI enlaza en su comunicado.
  • Los expertos piden más regulación y control público. No hay fecha confirmada para ninguna medida concreta en respuesta a este encuentro.

Notas relacionadas

Volver arriba