Riesgos silenciosos para empresas por depender de la inteligencia artificial no gestionada
Determinados procesos críticos de los negocios se ven afectados por sistemas de inteligencia artificial aplicados de forma inadecuada, advierte un reciente estudio.
La adopción acelerada de modelos de lenguaje grandes (LLM) en entornos corporativos está generando un riesgo silencioso para las organizaciones. Según una investigación de TrendAI, unidad de negocio enterprise de Trend Micro, líder mundial en ciberseguridad, los sistemas de IA pueden ofrecer respuestas distintas ante la misma consulta dependiendo del país, el idioma, el diseño del modelo o los controles aplicados, lo que introduce incertidumbre en procesos críticos para el negocio.
En aplicaciones como atención al cliente, soporte a la toma de decisiones o generación de contenidos corporativos, estas variaciones pueden comprometer la coherencia de la marca, entrar en conflicto con normativas locales y provocar consecuencias legales o reputacionales.
Para analizar este comportamiento, TrendAI ha llevado a cabo miles de experimentos repetidos, a partir de más de 100 modelos de IA, con más de 800 indicaciones específicas diseñadas para evaluar el sesgo, la conciencia política y cultural, el comportamiento de geolocalización, las señales de soberanía de datos y las limitaciones contextuales. Con todo ello, se buscaba medir cómo cambian los resultados a lo largo del tiempo y en diferentes lugares, analizando más de 60 millones de tokens de entrada y más de 500 millones de tokens de salida.
Los resultados revelan que indicaciones idénticas pueden producir respuestas diferentes según la región y el modelo, e incluso variar en interacciones repetidas con el mismo sistema. En escenarios políticamente sensibles, los modelos mostraron claras diferencias de alineación regional. En otras pruebas, los modelos arrojaron resultados inconsistentes u obsoletos en áreas que requieren precisión, como cálculos financieros e información sensible al tiempo.
“Muchas compañías dan por hecho que la IA se comporta como el software tradicional, en el que una misma entrada produce siempre una misma salida”, apunta Robert McArdle, director de Investigación en Ciberseguridad de TrendAI. “Nuestra investigación demuestra que esta suposición no es correcta. Los LLM pueden modificar sus respuestas en función de la región, el idioma y las barreras de protección, y esas respuestas pueden cambiar de una interacción a otra. Cuando los resultados de la IA se utilizan directamente en procesos con los clientes o en las decisiones empresariales, las organizaciones corren el riesgo de perder el control de la voz de la marca, la postura de cumplimiento normativo y la alineación cultural”.
El estudio destaca que estos riesgos se intensifican en el caso de las organizaciones internacionales que implementan la inteligencia artificial a través de un único servicio impulsado por esta tecnología, que puede que operar dentro de diferentes marcos legales, sensibilidades políticas y expectativas sociales. También plantea preocupaciones para la adopción en el sector público, donde los resultados generados por la IA pueden percibirse como orientación oficial y donde la dependencia de modelos no localizados puede introducir riesgos de soberanía y accesibilidad.
Por ello, “la IA no debe tratarse como una herramienta de productividad plug-and-play”, añade Robert McArdle. “Las organizaciones deben considerarla como una dependencia de alto riesgo, con una gobernanza clara, una responsabilidad definida y una verificación humana de cualquier resultado orientado al usuario. Eso también significa exigir transparencia a los proveedores de IA en cuanto al comportamiento de los modelos, los datos en los que se basan y dónde se aplican las medidas de seguridad. Sin duda, la IA puede impulsar la innovación y la eficiencia, pero solo cuando se implementa con una comprensión clara de sus limitaciones y con controles que reflejen cómo se comportan estos sistemas en entornos reales”.
