En los últimos meses, se viralizaron miles de imágenes pornográficas generadas en X, con Grok como principal protagonista. El problema es que no es el único modelo de IA capaz de hacerlo, lo que ha llevado el tema al Parlamento Europeo y se ha tomado una drástica decisión.
Tras una negociación exprés marcada por la urgencia, el Parlamento Europeo y el Consejo han alcanzado un acuerdo para simplificar y endurecer la denominada Ley de IA. Según los detalles del acuerdo, Europa limitará las herramientas diseñadas específicamente para el abuso digital y obligará a cualquier desarrollador de inteligencia artificial generativa a implementar barreras de seguridad infranqueables si quieren seguir operando en el mercado europeo.
La idea, que comenzó como un marco regulador pionero hace unos meses, se ha transformado en el día de hoy en un acuerdo para poner fin a la creación de imágenes sexualizadas sin consentimiento.
Modelos prohibidos
El principal detonante que ha provocado el endurecimiento de la norma apunta directamente a Grok, la IA de X, la plataforma conocida anteriormente como Twitter. Allí, gracias a la herramienta, se llegaron a generar tres millones de imágenes sexualizadas de mujeres reales en apenas once días, según datos del Centro para Contrarrestar el Odio Digital, lo que ha forzado a Bruselas a actuar.
La nueva normativa, que consolida una enmienda propuesta originalmente por España, prohíbe la comercialización de sistemas de IA cuyo objeto sea la creación de contenido sexual abusivo o pornografía infantil. Pero lo realmente novedoso de esta medida es la extensión de esta prohibición a modelos de propósito general. Según la información oficial del acuerdo, cualquier sistema que, aunque no haya sido creado con ese fin, sea capaz de generar dichas imágenes, será vetado a menos que disponga de “medidas de seguridad razonables” para impedirlo. Por tanto, y por poner un ejemplo, si ChatGPT tiene capacidad para generar dichas imágenes, y OpenAI no lo evita, será prohibido.
A partir de ahora, la arquitectura del modelo debe ser capaz de filtrar y bloquear cualquier intento de creación de contenido que atente contra la dignidad humana. Los operadores que utilicen estos sistemas para estos fines también serán expulsados del mercado europeo. La prohibición empezará a aplicarse el 2 de diciembre de 2026, dando a las autoridades las herramientas necesarias para actuar si los proveedores no cumplen con lo acordado.
Los desarrolladores deberán demostrar que sus sistemas cuentan con fuertes capas de seguridad en el entrenamiento de sus redes neuronales. Si un modelo permite desnudar a una persona real, el proveedor será responsable directo ante la legislación comunitaria.
Además de imágenes en bikini y sexualizadas, Grok también protagonizó comentarios polémicos
Otras medidas
En un movimiento que el eurodiputado Michael McNamara y otros negociadores han calificado como un ejercicio de realismo político, la UE ha decidido retrasar la entrada en vigor de las obligaciones para los denominados sistemas de IA de alto riesgo.
Estos sistemas, que incluyen la identificación biométrica remota, la gestión de infraestructuras críticas, o los algoritmos utilizados en educación y empleo, han recibido una prórroga importante. Las obligaciones para este tipo de IA, que requieren una supervisión humana permanente y auditorías constantes, no empezarán a regir hasta el 2 de diciembre de 2027. En algunos casos, como los componentes de seguridad regulados por legislación sectorial, la tregua se extiende incluso hasta agosto de 2028. La vicepresidenta de la Comisión para Soberanía Tecnológica, Henna Virkkunen, ha subrayado que el objetivo es que los ciudadanos se sientan seguros mientras las empresas mantienen su capacidad de innovar.
Otro punto clave del acuerdo es el watermarking o la popular marca de agua para saber que es contenido genreado por IA. La capacidad de detectar y rastrear contenido generado por IA es fundamental para combatir la desinformación. Aunque la Comisión Europea propuso inicialmente retrasar esta obligación hasta 2027, el acuerdo final adelanta la fecha al 2 de diciembre de 2026.
A partir de ese momento, cualquier imagen, vídeo o audio generado por una IA deberá llevar una firma digital rastreable. Esto permitirá que el usuario sepa que está ante contenido generado y que las plataformas puedan automatizar el filtrado de contenidos de este tipo de forma más eficiente.
Fuente: adslzone
