Vectra AI ayuda a las empresas a supervisar quién utiliza ChatGPT en su organización
Vectra, líder en detección y respuesta frente a amenazas en la nube híbrida basadas en IA de Seguridad, explica cómo su plataforma puede ayudar a las empresas a supervisar quién utiliza ChatGPT.
La reciente explosión de las posibilidades que ofrecen los modelos de lenguaje de gran tamaño (LLM) es muy apasionante. Cada mes vemos nuevos usos de estas herramientas, desde generar de forma rápida y barata miniaturas para las entradas de un blog, pasando por actuar como si se opusieran radicalmente a la entrada de un blog y ofrecer críticas, hasta traducir las entradas de un blog a otros idiomas de forma coherente, ¡comprendiendo perfectamente lo que está escrito!
Incluso en el mundo más allá de las entradas de blog, hay un enorme potencial en esta herramienta naciente. Pero potencial también significa que no sabemos lo que podría acabar haciendo, y esto crea un riesgo empresarial grave y tangible.
Si se le pide a cualquiera que le haga una pregunta a un LLM, inmediatamente pensará en utilizar ChatGPT, de OpenAI. Es la herramienta más accesible y fácil de usar. ChatGPT permite a cualquiera hacer preguntas a través de un navegador web, y genera respuestas rápidas. Esto es estupendo para el usuario medio, pero para cualquier empresa, esta facilidad de uso oculta tres serios enigmas. Cualquier dato enviado a ChatGPT es almacenado por OpenAI con fines de calidad y seguimiento, la fuente de cualquier respuesta es desconocida y la respuesta puede ser completamente inventada.
OpenAI rastrea los envíos de los usuarios para poder iterar y mejorar su producto, y para controlar cualquier abuso del sistema. Se trata de un comportamiento totalmente razonable por parte de OpenAI, pero no hay razón para creer que tengan mucho cuidado con estos datos. Además, OpenAI no puede controlar realmente qué datos se envían a ChatGPT, por lo que acaban almacenando mucha información que realmente no quieren. Por ejemplo, recientemente se descubrió que empleados de Samsung habían utilizado ChatGPT para depurar software propietario y resumir actas de reuniones.
El segundo problema es que ChatGPT responde a las preguntas sin atribuir fuentes a sus respuestas. ChatGPT hará declaraciones basadas en sus hallazgos y, lamentablemente, uno lo tiene que tomar tal como es. Esta información podría estar protegida por derechos de autor, y no se sabría hasta que se recibiera una carta de los abogados reclamando una infracción. Getty Images ha demandado al creador de una herramienta de generación de imágenes LLM por infracción de derechos de autor tras descubrir que la herramienta generaba imágenes que incluían una marca de agua de Getty Images. No es descabellado argumentar que cualquier usuario final que utilice estas imágenes también podría ser responsable. La generación de código es otro motivo de preocupación, aunque hasta ahora no ha habido ejemplos concretos, pero parece inevitable.
Sin embargo, el mayor problema de ChatGPT es que estos LLM pueden tener "alucinaciones", que es la jerga del sector para "decir mentiras descaradas". Dado que ChatGPT no tiene transparencia sobre cómo llega a las respuestas, los usuarios tienen que ser capaces de analizar críticamente las respuestas para decidir si son ciertas, ya que ChatGPT y los otros LLM de su tipo, siempre responderán con absoluta confianza. Esto puede tener repercusiones, desde el bochornoso lanzamiento de Google, pasando por el suspenso de un profesor a todos sus alumnos después de que ChatGPT afirmara falsamente haber escrito los ensayos de los estudiantes, hasta el ejemplo más atroz, en el que un abogado utilizó ChatGPT para escribir su informe para el tribunal, y ChatGPT se inventó seis fuentes completamente falsas para apoyar el argumento. La pobre demostración de Google hizo que su valoración de mercado cayera 100.000 millones de dólares, que el profesor universitario perdiera una gran credibilidad y que una demanda multimillonaria fuera desestimada. Estos hechos tienen un enorme impacto y, por desgracia, son fácilmente evitables.
Las organizaciones están reaccionando a estos hechos con políticas que prohíben el uso de OpenAI sin aprobación, pero es difícil hacer un seguimiento del cumplimiento de esta política, ya que el tráfico funciona a través de un navegador cifrado sin necesidad de ningún software.
Afortunadamente, Vectra AI es capaz de ver esta actividad en su red, utilizando sus sensores de red de detección existentes. Vectra NDR está diseñado para supervisar todo el tráfico de red en toda la organización, con sensores cuidadosamente colocados que supervisan el tráfico que entra y sale de la red, pero también dentro de la propia red. Esta profundidad de análisis impulsa nuestro potente marco de detección basada en inteligencia artificial y también permite obtener información sobre el cumplimiento, que hemos incluido en nuestro Panel de Control de Uso de ChatGPT.
“Este panel, que está disponible de forma gratuita para todos los clientes de la plataforma Vectra, mostrará los hosts en su entorno que están interactuando activamente con OpenAI - mediante el seguimiento de las solicitudes DNS a los servidores OpenAI realizadas por cualquier host. Esto permitirá a los responsables de cumplimiento ver rápidamente no sólo una lista de personas que tienen cuentas con OpenAI o que han registrado un interés, sino supervisar activamente quién está utilizando exactamente un sistema, y cuánto lo están utilizando”, comentó Eutmio Fernández, Country Manager para la Península Ibérica de Vectra AI.
Este panel de control es aún más potente gracias a la tecnología patentada de atribución de ID de host de Vectra, que permite realizar un seguimiento exhaustivo de estos usuarios. Incluso cuando las direcciones IP de las máquinas cambian, o un portátil se une a una nueva red, Vectra realizará un seguimiento de la misma máquina, de modo que el panel muestra exactamente la frecuencia con la que un dispositivo accede a ChatGPT, lo que también le permite cambiar rápidamente para ver quién cree Vectra que es el propietario probable de un host. Utilizando este panel, no sólo verá qué hosts están utilizando ChatGPT, sino que también sabrá con quién ponerse en contacto al respecto, y dispondrá de esta información en cuestión de minutos, no de horas.
Este es sólo un ejemplo de cómo la plataforma Vectra ofrece una profunda visibilidad de la actividad en toda su organización, mostrando cómo puede ayudar con el cumplimiento en su organización mediante el seguimiento de los problemas de cumplimiento activos. Al igual que con nuestro Panel de Control de Caducidad de Certificados, que supervisa los certificados que caducan y están en uso activo en su organización, o nuestro Panel de Control de Caos de Azure AD, que rastrea la omisión de autentificación multifactor (MFA). Vectra puede ofrecer a los responsables de cumplimiento información valiosa no sólo sobre lo que está mal configurado en su organización, sino también sobre los riesgos de seguridad que se están utilizando activamente.
Vectra AI
