Vulnerabilidades en ChatGPT y Claude demuestran la idoneidad de la Ley de IA
Recientes incidentes de seguridad en las aplicaciones de OpenAI y Anthropic justifican la ley de IA.
Este 2 de agosto entran en vigor gran parte de los elementos restantes de la Ley de IA de la UE, la primera normativa de la UE sobre inteligencia artificial para aportar más disciplina y seguridad. ¿Qué significa esto para las empresas y cómo pueden prepararse?
En las últimas semanas, hemos visto dos ejemplos de cómo la IA puede crear brechas de seguridad y poner en riesgo los datos, como el ataque a Hugging Face por parte de ChatGPT o la filtración de conversaciones de usuarios con Claude. Dos ejemplos que ponen de manifiesto la importancia de regular la IA y por qué la Ley de IA de la UE llega en el momento justo.
Algunos expertos hablan de los típicos problemas iniciales de una tecnología incipiente. Otros ven graves riesgos de seguridad subyacentes que seguirán siendo difíciles de contener en el futuro. Los recientes ejemplos parecen respaldar esta segunda opinión. Los sistemas de IA que se pusieron en marcha y se probaron utilizaron capacidades que sorprendieron a sus desarrolladores. Por ejemplo, se supo que el agente de IA de OpenAI no solo comprometió Hugging Face, sino al menos otros cuatro servicios. En otro caso, las funciones de IA encontraron nuevas vías o interactuaron con servicios externos ya establecidos, como el índice de Google en el caso del chatbot Claude. Los usuarios habían habilitado previamente estos chats para compartirlos. Como resultado, los motores de búsqueda como Google los indexaron y quedaron accesibles al público.
Como indican fuentes de Commvault: “La IA es nueva, emocionante y, sin duda, difícil de predecir. Incluso en un entorno de prueba controlado, los modelos encontraron la forma de salir de ese entorno aislado. Los sistemas de IA autónomos actúan orientados a objetivos. Sin embargo, a menudo lo hacen de una manera que sus desarrolladores ni previeron ni pretendían”.
Normas para una mayor disciplina y un análisis de riesgos en profundidad
Resulta casi irónico que se produjeran tantos incidentes en julio. Al fin y al cabo, el 2 de agosto entran en vigor la mayoría de los elementos restantes de la Ley de IA de la UE —la primera normativa de la UE sobre IA—, completando así la creación de un marco regulador basado en el riesgo para los sistemas de IA.
La normativa sobre IA establece reglas para los desarrolladores y usuarios de sistemas de IA de alto riesgo. Abarca, entre otras cosas, la gestión de riesgos, la gobernanza de datos, la documentación técnica, las obligaciones de mantenimiento de registros, la transparencia, la supervisión humana, la precisión, la resiliencia, la ciberseguridad y las notificaciones de incidentes graves. Su objetivo es promover una IA de confianza en Europa. Al mismo tiempo, pretende garantizar que la IA siga estando centrada en el usuario y no ponga en riesgo la salud, la seguridad ni los derechos fundamentales de los ciudadanos de la UE.
Algunas verdades inamovibles
“Las empresas con proyectos propios de IA o aquellas que usan servicios externos de IA deberían evaluar ahora hasta qué punto se les aplican las normas de IA desde el punto de vista de la gobernanza y cómo deberían replantearse sus conceptos actuales. Para los responsables de TI y los CISO, la tarea está clara: tienen que adaptar su modelo de seguridad tan rápido como avance la adopción de la IA en su entorno”, continúan.
Desde Commvault apuntan a algunas verdades inamovibles, incluso si la Ley de IA de la UE solo afecta a la empresa de forma marginal.
• Cualquiera que se esté preparando para la gobernanza de la IA necesita datos fiables y una infraestructura de IA resiliente. Solo en un entorno recuperable se pueden conservar las pruebas de las operaciones. Igualmente importante es la capacidad de responder a posibles ciberincidentes, incluidos los provocados por la IA, que tengan como objetivo los sistemas de IA y la integridad de sus datos.
• Cada agente de IA debe tratarse como una identidad digital con privilegios. Solo debe recibir los derechos de acceso que sean necesarios y debe supervisarse continuamente para detectar comportamientos inusuales.
• Las empresas deberían revisar constantemente a qué puede acceder un agente de IA, en lugar de basarse en suposiciones. Los riesgos de seguridad suelen surgir precisamente de la brecha entre los permisos previstos y los que realmente existen.
• Las empresas deberían dejar de lado una mentalidad orientada exclusivamente a la prevención. En su lugar, deberían partir de la base de que un incidente de seguridad va a ocurrir o ya ha ocurrido. La IA ha difuminado los límites entre la seguridad, la gestión de identidades y la recuperación. Sin embargo, muchas organizaciones siguen tratando estas áreas como disciplinas separadas. Este enfoque ya no es sostenible. Las empresas necesitan un modelo de resiliencia operativa que reúna a los equipos relevantes. Esto permite detectar rápidamente comportamientos anómalos, aislar los sistemas afectados y restaurar datos limpios y fiables antes de que la interrupción se extienda.
• La transparencia es un requisito clave que entra en vigor el 2 de agosto: debe quedar claro que un usuario está interactuando con un agente de IA o un chatbot; si se utilizan emociones o inteligencia biométrica, debe indicarse si la información generada ha sido fabricada o «falsificada», especialmente en el caso del «retoque» de imágenes sin consentimiento.
• Los incidentes de julio no deberían disuadir a las empresas de usar la IA. Sin embargo, deben dejar de dar por sentado que los sistemas autónomos siempre funcionarán como se espera. La lección más importante es esta: la confianza en la IA nunca debe darse por sentada. Hay que verificarla continuamente. La resiliencia es igual de importante para permitir una recuperación rápida, incluso cuando se eluden los mejores controles de seguridad.
