CyberArk anuncia una herramienta de código abierto para afrontar las vulnerabilidades de modelos de IA
CyberArk, compañía líder de Seguridad de las Identidades, ha anunciado el lanzamiento de Fuzzy AI, una innovadora herramienta de código abierto que ayuda a las organizaciones a identificar y abordar las vulnerabilidades en los modelos de IA internos y alojados en la nube, tales como la elusión de barreras y la generación de resultados dañinos.
Los modelos de Inteligencia Artificial están transformando las industrias con aplicaciones innovadoras en las interacciones con los clientes, las mejoras de los procesos internos y la automatización. De ahí que el uso interno de estos modelos también presente nuevos retos de seguridad para los que la mayoría de las organizaciones no están preparadas.
FuzzyAI ayuda a resolver estos desafíos ofreciendo a las organizaciones un enfoque sistemático para probar modelos de IA contra varias incursiones maliciosas, descubriendo posibles puntos débiles en sus sistemas de seguridad y haciendo que el desarrollo y despliegue de la IA sean más seguros. Dentro de FuzzyAI se encuentra un potente fuzzer, una herramienta que revela defectos y vulnerabilidades del software, capaz de exponer vulnerabilidades encontradas a través de más de diez técnicas de ataque distintas, desde eludir filtros éticos hasta exponer indicaciones ocultas del sistema. Las características principales de FuzzyAI incluyen:
• Fuzzing exhaustivo: FuzzyAI sondea los modelos de inteligencia artificial con diversas técnicas de ataque para exponer vulnerabilidades como la elusión de barreras de protección, la fuga de información, la inyección de información o la generación de resultados dañinos.
• Un marco extensible: Las organizaciones pueden añadir sus propios métodos de ataque para adaptar las pruebas a vulnerabilidades específicas del dominio.
• Amplia comunidad: Un creciente ecosistema impulsado por la comunidad garantiza continuos avances en las técnicas de ataque y los mecanismos de defensa.
“El lanzamiento de FuzzyAI subraya el compromiso de CyberArk con la seguridad de la IA y ayuda a las organizaciones a dar un importante paso adelante en la resolución de los problemas de seguridad inherentes al cambiante panorama del uso de modelos de inteligencia artificial”, afirmó Peretz Regev, director de Producto de CyberArk. “Desarrollado por CyberArk Labs, FuzzyAI ha demostrado la capacidad de hacer jailbreak a todos los modelos de IA probados. Asimismo, FuzzyAI permite a las organizaciones identificar debilidades y fortalecer sus sistemas de IA contra las amenazas emergentes”.
El marco totalmente extensible de FuzzyAI está disponible como software de código abierto en la página GitHub de CyberArk Labs desde el pasado 11 de diciembre de 2024.
