La IA se nos está escapando de las manos. 200 expertos tienen una solución muy simple: establecer "líneas rojas"
Publicado el 24/09/2025 por Diario Tecnología Artículo original
El lunes más de 200 personalidades y más de 70 organizaciones se unieron en una nueva iniciativa llamada Global Call for AI Red Lines (Llamamiento Mundial para establecer Líneas Rojas en la IA). El objetivo: tratar de establecer límites claros que la IA jamás debería cruzar.
Por qué es importante. Los avances en IA generativa son frenéticos pero una vez más lo que se prioriza es ese desarrollo y la comercialización de estos modelos sin que haya demasiadas reservas a la hora de hacerlo. Según los firmantes de la iniciativa,
"Algunos sistemas avanzados de IA ya han mostrado un comportamiento engañoso y dañino, y sin embargo, a estos sistemas se les está dando más autonomía para actuar y tomar decisiones en el mundo. Si no se controla, muchos expertos, incluidos los que están a la vanguardia del desarrollo, advierten que será cada vez más difícil ejercer un control humano significativo en los próximos años".
Qué se pide. La iniciativa, iniciada durante la 80ª Asamblea General de Naciones Unidas, pide que los gobiernos actúen "con decisión" y lleguen a "un acuerdo internacional sobre líneas rojas claras y verificables para evitar riesgos universalmente inaceptables".
Cuáles son esas líneas rojas. Lo que se propone es prohibir específicamente algunos usos y comportamientos de la IA que pueden acabar siendo peligrosas. Entre ellas estarían por ejemplo prohibir:
- Delegación de lanzamientos nucleares
- Despliegue y uso de armas letales
- Vigilancia masiva mediante sistemas de IA que por ejemplo se utilicen para establecer una puntuación social de los ciudadanos
- Suplantación de identidad mediante IA
- Desarrollo de sistemas de IA que no se puedan "apagar" de forma inmediata si se pierde el control humano
Los que están. En ese grupo de más de 200 personalidades están diez premios Nobel, expertos de IA, científicos, diplomáticos e incluso jefes de estado. Entre ellos están nombres muy conocidos como los de los científicos Geoffrey Hinton y Yoshua Bengio que ya llevan tiempo alertando de estos peligros. La lista es notable y en ella también están expertos como el cofundaor de OpenAI, Wojciech Zarema, o uno de los principales científicos de DeepMind, Ian Goodfellow.
Y los que no. Aunque en dicha lista de personalidades hay nombres muy relevantes, es también significativo comprobar que dicha iniciativa no ha sido firmada por ningún CEO de alguna de las grandes empresas tecnológicas implicadas en el ámbito de la IA. Aunque en ocasiones ha habido discursos que apuntaban a que ellos también estaban preocupados por este tema y había que regular la IA, en este caso no han participado en la iniciativa.
Mejor prevenir que curar. Charbel-Raphaël Segerie, responsable de un organismo francés llamado Centro para la Seguridad en IA (CeSIA), "el objetivo no es reaccionar después de que se produzca un incidente importante, sino el de evitar riesgos a gran escala y potencialmente irreversibles antes de que ocurran".
La AI Act europea va en esa línea. La Unión Europea ya creó su regulación y la puso en marcha en agosto de 2024, y la idea era establecer una serie de restricciones en base a niveles de riesgo. De momento el impacto de esta regulación ha sido negativo, sobre todo porque ha restringido el uso y desarrollo de modelos de IA en la UE. Tanto es así que la UE ha decidido dar marcha atrás y suavizar su normativa.
Y ya tenemos un precedente. Apenas unos meses después del lanzamiento de ChatGPT varios expertos hicieron una petición similar. Entre ellos estaban Elon Musk —que no ha firmado esta iniciativa— o Steve Wozniak, que pedían que se pausara durante seis meses el entrenamiento de modelos de IA. Aquello no llegó a ningún lado, y sin una prohibición explícita ese desarrollo de modelos de IA ha continuado de forma imparable.
Imagen | Collision Conf
