A ver si vamos a empezar por la siguiente mesa.
Aquí estamos.
El tema, como veis, es Gerencias Futuras,
Gerencia Artificial y las amenazas de Fiverr.
Con nosotros está Román Sanz, Data Officer,
y luego Alberto González de Amazon.
Hacemos como hemos hecho hasta ahora,
con otros paneles.
Tenéis cinco o diez minutillos, no más,
para que pongáis vuestra visión de este.
Este tema y luego abrimos el turno de preguntas
tanto para la gente que está dentro de la sala
como para la gente que nos está siguiendo online.
Así que si te parece, Román, empezamos por ti,
simplemente por seguir el orden del panel.
Perfecto, se me oye, ¿no?
Vale, bueno, yo como Chief Data Officer,
al final, para mí, la compañía, yo soy el encargado de dar acceso
a la información de la compañía, entonces la IA es un riesgo.
La IA es un riesgo para la compañía porque, en mi caso, ¿qué ocurre?
Que yo no sé cómo se va a utilizar o cómo la IA
va a poder acceder a mis datos.
Porque para mí es una caja negra.
Mientras que yo, accesos más habituales,
como puede ser a través de aplicaciones, etc.,
yo puedo restringir el acceso, para mí la IA es un riesgo mayor
porque no soy capaz de poder identificar las formas
de poder atacar a mis datos.
Podemos hacer suplantación de identidad,
podemos.
Yo no sé cómo voy a poder restringir ciertos accesos a mis datos.
Por ejemplo, yo puedo tener.
Restringido el dato en función de quién eres qué rol tienes
qué empresa trabajas dentro del grupo somos un grupo empresarial
entonces al final la inteligencia artificial
nos genera la duda de cómo voy a poder limitar su acceso
y es más otro activo complicado de gestionar
son las personas del equipo de la compañía
¿no?
¿por qué?
porque ellos pueden coger no solo los datos asociados
e imaginados datos estructurados como pueden ser las bases de datos
¿no?
Imagínate toda la documentación que tenemos en la compañía.
Entonces, yo puedo coger y directamente coger un documento.
Quiero que me hagas un análisis de este informe que hay de compañía.
Yo lo subo a la inteligencia artificial
y se puede dar el caso que yo no sepa qué hace luego
esa inteligencia artificial a nivel de entrenamiento,
etcétera, etcétera.
Yo puedo ponernos un ejemplo práctico.
Tenemos una de las siglas,
tenemos Copilot, ChatGPT, etc. Con ChatGPT
en la compañía se ha decidido que no subimos ningún fichero.
Yo he intentado subir un fichero
el otro día para comparar dos ficheros Excel
y directamente no me ha dejado.
Entonces son medidas que hay que poner dentro de la organización
para mitigar el riesgo que te proporciona el usuario,
no la tecnología, es el usuario.
Entonces, al final nosotros en la casa
lo que hacemos es, bueno, utilizamos el acrónimo SER,
que por un lado tenemos que trabajar de forma segura,
siempre desde la perspectiva de trabajar
con la inteligencia artificial.
Tenemos que trabajar de forma segura.
Dos, tenemos que trabajar de forma ética.
Y la tercera, de forma responsable.
Entonces, a partir de ahí se genera un conjunto de situaciones
que tenemos que gestionar dentro de la compañía.
Hola, buenas tardes.
Bueno, pues yo soy Alberto González, primero presentarme.
Soy responsable comercial en Amazon Web Services
dentro del vertical de sector público de gobierno central,
con lo cual trabajo con los clientes,
fundamentalmente con los ministerios,
con lo cual estoy aquí en mi hábitat natural,
Ministerio para la Transformación Digital y de la Función Pública,
INCIBE, y también dentro del sector público
están las universidades.
Bueno, primero de todo yo, bueno, por posicionarnos y Amazon Web Services
es un proveedor de servicios en la nube.
Tenemos una región abierta en España desde el 2022.
El año pasado declaramos una gran inversión
de crecimiento, ¿no?
Y bueno, dejadme no entrar tan a contestar la pregunta,
sino ir poco a poco en el viaje de respuesta.
Hemos hablado del Zero Trust.
Dejadme desde Amazon Web Services cómo entendemos que es el Zero Trust
que se ha hablado en la mesa de antes.
Bueno, pues nosotros es como una cebolla,
se entiende muy bien, ¿no?
Son capas de la cebolla en la cual.
Puedo acceder a la primera capa de seguridad,
pero luego tengo una tercera,
una cuarta, una quinta, etcétera.
O, por poner un ejemplo, aquí hemos entrado todos,
nos han chequeado el DNI al entrar, hemos entrado,
hemos pasado el perímetro de seguridad, estamos ya dentro,
pero no por estar dentro yo puedo acceder a tu móvil o a tu billetera,
robarte los billetes, no estoy en un ambiente de confianza
y puedo hacer lo que me dé la gana.
Pero otras consisten en eso,
en que yo tengo que ir a cada recurso de I.T.,
Y en el caso de servicios en nube, los recursos que yo tengo
como servicios provisionados en nube,
tengo que ir solicitando el acceso uno a uno.
No puedo hacer lo que quiera por el concepto de perímetro
de seguridad que en ITE se venía dando hasta ahora.
Bueno, la IA y la ciberseguridad están muy relacionadas.
Yo creo que Rafael, de hecho, en su ponencia anterior,
hablaba de que hay que tener mucho cuidado,
tomar muchas precauciones,
pero yo creo que estamos en un momento de gap,
de gap en el cual la tecnología está ahí,
está, además, democratizada, por decirlo de una manera.
Cualquiera puede acceder a, decíamos, a GPT o el que sea,
a consumo de la inteligencia artificial,
pero.
Pero es como decir, cuando se inventó el coche,
como decir, no, pues que nadie monte en coche.
No, el coche está muy bien, pero hay que poner unas normas,
formar a las personas, que todo el mundo
use el coche de una manera sensata y segura.
Pues esto pasa lo mismo.
La tecnología ha estado ahí, de pronto todo es el hip de usarla,
¿vale?
Pero hay que ver cómo se usa, securizándola,
y estamos en ese pequeño gap de que vamos a ver lo que pasa, ¿no?
Entonces, bueno, pues.
También en Amazon WebSeries tenemos el concepto de,
lo llamamos el job zero, ¿no?
La seguridad es job zero,
todo tiene que estar seguro, la seguridad es por diseño,
desde que diseñamos nuestros servidores en nuestro centro
de datos hasta cualquier servicio de inteligencia artificial
en la nube, pasando por los más de 200 servicios
que tenemos y todo tiene que ir de la seguridad
desde el diseño, ¿no?
Yo, si lo hago.
A las posibilidades de los ciberdelincuentes,
es evidente, pero amplía también las posibilidades de la lucha
contra la ciberdelincuencia.
Me explico cómo pueden las fuerzas de seguridad del Estado,
los expertos de los grupos de ciberseguridad,
de criminalidad utilizada para combatir
a esos ciberdelincuentes que también utilizan la inteligencia artificial.
Y a todos los que vienen a la memoria,
se ve que a través del acceso más habitual
a la inteligencia artificial se producen una serie de delitos
en las que no existía esa suplantación
o esa pornografía en muchos casos menores
en las cuales la inteligencia artificial sirve para recrear.
Los cuerpos de personas que estaban en seguridad
y se difunden con el daño importante
daño que es importante para cualquier persona.
Hombre, al final creo que lo han dicho
todos los ponentes anteriores, ¿no?
Siempre vamos a ir por detrás de los malos de la peli,
pero sí que es verdad que gracias a la inteligencia
artificial tienes mecanismos y de una forma mucho más rápida
para identificar patrones y con ese estudio,
ese análisis de activos que se ha comentado antes,
tú puedes llegar a identificar, oye, cuando ocurren estas casuísticas,
identificalo como un riesgo, ¿no?
Pero yo creo que siempre vamos a estar en desventaja
respecto a lo que son los delincuentes.
A ver, yo me gustaría.
Si me permite, me gustaría un poco abordarlo
desde un punto de vista más.
Déjame terminar contestándote,
pero hacer un poco un viaje en la respuesta.
Primero, un poco la inteligencia artificial
y la ciberseguridad.
A ver, estratégicamente hablando,
hay tres pilares.
Uno, la inteligencia artificial
estamos viendo que va a estar en todas partes.
No es cuestión de que tengo ahí un chatbot
y yo interacciono con él.
No, es que los proveedores de tecnología.
En el software
y en todas las hardware, software, etcétera,
que nos comercializan, ya va a ir la inteligencia artificial
embebida.
Entonces, va a estar en todas partes.
Incluso vamos a pasar del ámbito digital al físico.
Por ejemplo, cuando estamos hablando.
Hablo yo, por ejemplo, en nombre de Amazon,
en un centro logístico de Amazon donde tenemos robots o rumbas
moviendo estanterías y demás, pues hay dispositivos IoT,
con lo cual del mundo digital, por ejemplo,
la inteligencia artística generativa
o agentes van a poder interaccionar, van a mover cosas
y van a tomar acciones en el mundo real.
¿Vale?
Con lo cual, la IA está en todas partes.
Luego, la seguridad también.
Estamos hablando de que tiene que securizar todo este entorno
de inteligencia artificial nueva.
O sea, tenemos que securizar la inteligencia artificial, ¿no?
Y el tercer pilar es que tenemos que aprovechar,
ya que la IA va a estar en todas partes,
para que nos ayude a securizar la empresa.
¿Vale?
Una IA segura.
Que va a estar en todas partes de mi empresa,
me puede ayudar a, como digo,
a securizarla en todas las partes de mi empresa.
Claro, hay que tener cuidado.
El ejemplo más típico es el de un chatbot, por ejemplo.
Yo que estoy, como decía antes,
trabajando con los ministerios,
siempre decía mi compañero al principio.
Que lo que han hecho ellos es.
Nadie puede usar chat
GPT en la empresa.
Bueno, pues lo primero ha sido prohibirlo, efectivamente.
Es lo más seguro.
Que nadie lo use, pues ya está.
No hay nada más seguro que eso.
Y, efectivamente, es la primera medida.
Pero lo que tengo que hacer es darles herramientas
para que lo puedan usar de forma segura.
Ese sería el siguiente paso.
Los ministerios han sido muy cautos en este sentido.
Solamente el año pasado, además, fue un año de pilotos de.
Dendel Hartigter tiene mucho miedo a exponerlos al público,
pues, por el tema de las alucinaciones,
el tema del propting, las tecnologías que hay,
pues, para.
No están seguros, no están cómodos con esta tecnología,
exponerla al público, ¿no?
Más se está haciendo de un uso interno, ¿no?
Y, bueno, llegando un poco por contestar la pregunta,
¿cómo conecta el inteligente con la ciberseguridad?
Bueno, pues está la seguridad para la IA generativa, es decir,
tengo que securizar la IA generativa,
ya que hay muchas formas de hacerlo, hay muchas tecnologías,
están los guardarrailes, están los filtros de contenido,
están, que yo le puedo denegar que no conteste varios temas,
razonamientos automáticos, bueno, filtros de datos,
etcétera, etcétera.
Luego está utilizar la IA generativa para la seguridad,
que es lo que están haciendo.
Hoy en día toda la industria de ciberseguridad,
que por cierto está súper segmentada,
hay muchísimas empresas en este ámbito,
utilizan ya la inteligencia artificial
para anticiparse a lo que están haciendo,
a lo que hacen los malos, ¿no?
Y luego en el ámbito de defensa es lo que se llama tanto
para defenderme yo como para hacer defensa activa,
para atacar yo o anticiparme.
Y el último pilar que decía es seguridad contra las amenazas,
ya que no es que mi capa de exposición sea más amplia
que antes, sino que los malos,
el vector de ataque, van a ser mucho más finos.
Con este tipo de ingenierías, con estas nuevas tecnologías,
van a atacarnos de forma mucho más efectiva
y a gran escala.
Con lo cual, no es que mi capa de exposición crezca,
sino que estoy más expuesto, por decirlo de alguna manera.
Entonces, tengo que utilizar la IA,
y cuando hablo de IA y de IA generativa,
dependiendo del ámbito, pero utilizando la IA generativa
y los agentes para defenderme de manera inteligente
a estos ataques que están haciendo los malos.
Entonces, bueno.
Yo, si me permites, creo que lo ha dicho Héctor,
la diferencia de lo que ocurría antes a día de hoy.
No necesitamos frikis, como digo yo, ingenieros informativos,
lo puede hacer cualquiera.
Entonces, el riesgo ahora es muchísimo mayor.
Gestionar el riesgo asociado
a que cualquier persona te pueda hacer un prone injection
para saltarte los guardias raíles que comentaba Alberto,
es tangible, es un problema que está ahí.
Entonces, cada vez es más complicado, gracias a la IA,
perdón, cada vez es más complicado, gracias a la IA,
poder poner esas barreras para evitar ese tipo
de situaciones que tú comentabas.
Me había preguntado una cuestión evidentemente
los malos ciberdelincuentes
no van a aplicar ningún código ético a la realidad de la realidad correcto
pero debería haber unos códigos éticos
a la hora de utilizarlo para combatir la ciberdelincuencia
no es solo por parte de las empresas sino también por las puertas
de seguridad hasta lo que se puede llegar en esa lucha
contra la ciberdelincuencia y no siempre van todos.
Lo que es que,
permíteme contestar, este año se ha publicado el reglamento de uso
de la inteligencia artificial europeo.
Excluye, por ejemplo, en su punto creo que es el 2.3,
excluye el ámbito de defensa y seguridad nacional.
Con lo cual, aquí digamos que los malos,
digamos que están ahí, tampoco van a aplicar ninguna regulación
y van a hacer lo que ellos quieran.
Con lo cual, estamos un poco indefensos
en ese sentido, ¿no?
O sea que.
Esto es como la seguridad física, tienes que cumplir la ley.
Eso es así, ¿no?
Lo único que, bueno, como dice Alberto,
estás en inferioridad de condiciones.
Es una realidad.
Bueno, eso forma parte de la fortaleza
del Estado de Derecho, ¿no?
Que nosotros no pongamos los límites que ellos,
evidentemente, nunca se van a hacer.
De todas formas, visto cómo va evolucionando,
visto el peligro, el peligro,
cómo la delincuencia puede usar la inteligencia artificial,
¿Necesitamos que cambien los perfiles de aquellos profesionales
que se van a dedicar a prevenir o combatir o reaccionar
ante una ciberamenaza que tenga una parte fundamental
o que se utilice la inteligencia artificial para materializarla?
Está claro que hay que estar por encima del conocimiento
de los malos.
Pero como decía Román, al final la tecnología
muchas veces hace que no haga falta tanta capacidad
y tanto talento para poder hacer el mal.
Y para defenderse sí que hace falta más talento
porque, como decíamos, andas en un entorno más regulado,
más ético que los malos, con lo cual tienes más limitaciones.
Pero bueno, esto es lo que hay y tenemos que velar por ello,
lógicamente.
Yo creo que los perfiles tienen que ser más creativos.
Por lo que han dicho antes, ¿no?
Por ejemplo, el tema que son muy periculeros,
que llamaban a guionistas, etc.
Es que ahora mismo te puedes plantear cualquier escenario
que la IA la va a poder implementar.
Prácticamente.
Antes de dar paso a las preguntas, que ya no se han llegado a alguna,
quería plantearos una cuestión precisamente
sobre la necesidad de los perfiles de las personas que cometen,
no más en concreto la política de cobardía civil es.
O no sucesuada, ¿no?
Esta gente primero es policía
y luego se especializa en ciberdelincuencia.
Eso, digamos que retrasa o ralentiza la capacidad de respuesta,
porque tú no coges a un informático y le haces policía,
sino que coges a un policía y le haces.
Sí, además que no solo eso,
sino que, por ejemplo, los militares tienen muchísima rotación,
lógicamente, por una parte de su ADN.
El estar siempre yendo a misiones,
yendo, viniendo, con lo cual impide, de cierta manera,
el que se puedan formar en estas áreas,
o lo dificulta.
Claro.
Y luego también recordemos que el ámbito militar,
por decirlo de alguna manera, desde el punto de vista IT,
es el más complicado posible, porque hablamos de unas situaciones
en las que los puntos de mando y control
de una misión son puntos en los que la conectividad es mala,
o tienen que tener muchas vías de conectividad,
tienen que tener dispositivos desplazados,
no estamos hablando de que están en un.
No sé, en un centro con un CPD, con una fibra,
con un tal O sea, las condiciones desde el punto de vista de IT
son las peores
y, por lo tanto, la seguridad es el punto más difícil.
O sea, tienes muchos más vectores de ataque los malos,
tienen la capa de exposición mucho más alta, ¿no?
Por todas estas condiciones que yo digo.
Con lo cual, no solamente el talento,
sino además que la propia naturaleza IT que tienen
y que trabajanlo hace que sea mucho más complejo
a la hora de defenderse.
Con lo cual.
Complicado.
Bueno, yo creo que para mitigar ese riesgo de rotación, etcétera,
sí que es verdad que yo tengo compañeros en ICF, por ejemplo,
etcétera, son equipos mixtos, ¿no?
Donde hay militares y también hay no militares, ¿no?
Dentro del mismo equipo.
Entonces, al final, esa rotación que puedas tener,
se puede reducir el impacto gracias a tener esos equipos
heterogéneos o mixtos donde tienes los dos perfiles, ¿entiendes?
Yo me he hecho un poco la moda de diablos,
muchas veces las empresas las fuerzas de seguridad,
a esos especialistas, a esos responsables de seguridad,
y ese talento que precisamente el Estado ha encargado de entrenar,
que en ciberdelincuencia pasa la empresa privada
y abandonalo que es la lucha contra la ciberdelincuencia.
Bueno, yo creo que eso es un poco no lo comparto,
porque al final las entidades públicas
tienen unos presupuestos.
Y hacen contrataciones con consultoras especialistas
en el sector de la ciberseguridad y te garantizan el negocio,
por decirlo así.
Entonces, sí que es verdad que ocurre eso.
En mi compañía ha ocurrido así, hemos contratado a.
Pero también es verdad
que las propias organizaciones públicas tienen el presupuesto
y las capacidades para poder mantener a sus profesionales.
Yo siempre le vamos a dar paso a algunas de las preguntas
que nos están llegando.
Yo sugeriríamos a la gente que está aquí presente en la sala,
José pregunta a Román ¿qué tipo de IA están desarrollando las empresas?
A ver, yo trabajo en una consultora tecnológica.
Entonces, nosotros ahí tienes distintos escenarios,
casos de uso, ¿de acuerdo?
Tienes lo que pueden ser a partir de modelos fundacionales,
como puede ser el chat GPT, luego puede ser el copilot,
puedes luego hacer fine tuning para especializarlo
en un ámbito concreto,
puedes desarrollar lo que son granjas de agentes,
no son ya chatbots, son agentes IA,
que se encargan de distintos pasos dentro del mismo proceso
y lo que hacen es orquestar todos esos pasos
a través de esos agentes, ¿vale?
Puedes aplicar temas de visión artificial,
con inteligencia artificial, con AWS.
Hemos hecho concretamente en Asertic, en Navarra,
hemos hecho un proyecto para ayudar a la gente
con alguna discapacidad física, visual, etc.,
para poder ayudarles a identificar cuál es el mejor trayecto
dentro de Pamplona para llegar de un punto a otro.
Y gracias a AWS nosotros somos capaces
de poder identificar cuál es el grado de inclinación
que tiene una calle dentro de la misma calle,
en las aceras, para tú poder indicarle luego a través de voz.
Puedes ir indicándole por dónde tiene que ir,
qué autobús coger, qué tren, etc. Entonces,
hay un conjunto muy amplio de inteligencias artificiales,
o casos más que inteligencias artificiales,
son casos prácticos que puedes aplicar
con la inteligencia artificial.
Sí, porque nosotros en Amazon Web Services lo que decimos
es que hemos democratizado el uso de la IA generativa.
Tenemos más de 100 modelos
que tú puedes consumir con nuestro servicio,
el Amazon Bedrock, que es un poco el pilar de la IA generativa
y utilizas el modelo que tú consideres más óptimo.
Como decía Román, dependiendo del caso de uso,
será más óptimo utilizar unos u otros modelos.
Pero esto digamos que es, por decirlo de alguna manera,
la capa de arriba.
Al final, la IA generativa necesita unos datos.
O sea, dependiendo del caso de uso,
tú le tienes que nutrir de unos datos
y decimos nosotros garbage in, garbage out.
Es decir, si tú no tienes una buena gobernanza de datos
y un buen curetaje de los datos que tú tienes
y con los que le vas a nutrir a la IA generativa,
pues la IA generativa no hace maravillas,
no te va a dar no te va a dar gran resultado solo
a nivel empresarial o de servicio público,
pues al final tienes que tener, como digo, los que no siempre,
y viene siendo habitual que los organismos públicos,
pues a nivel de datos, pues tienen que hacer un ejercicio
para poder utilizar la guía generativa
de una manera más segura.
Más reluciente.
Tienes que implementar el gobierno del dato y el gobierno de la IA.
Algo tan tonto y tan sencillo y complicado a la vez
como es etiquetar todos tus datos.
Esa es una de las primeras etapas dentro del gobierno del dato,
para que luego pueda,
como dice Alberto, la IA utilizar esos datos
de una forma segura, confortable, etc. En concreto,
Alberto, nos pregunta Maribel si hay diferencias
entre las directrices de seguridad de AWS en España
y en Estados Unidos.
No, en absoluto.
Somos una multinacional y son las mismas,
no hay ninguna diferencia.
De hecho, los servicios en nube tú puedes consumirlos
desde cualquier parte del mundo, no necesitas más que un ordenador,
una conexión a internet, abres la consola de AWS,
te creas una cuenta y empiezas a utilizar servicios,
al principio en capa gratuita y puedes empezar a consumirlos,
da igual donde estés y las políticas que se implementan
son las mismas.
Hablando de IA y de IA generativa,
sí que es verdad que hay que ver qué modelos fundacionales
estás utilizando,
porque luego tienen términos y condiciones de utilización.
Cada uno tiene el propietario de ese modelo,
según cómo haya entrenado esos modelos.
De hecho,
pues como ocurre, hay muchos modelos que, por ejemplo,
no se pueden utilizar para aplicar la ley.
Bueno, pues dependiendo de cómo se han entrenado
y cómo esa empresa haya entrenado ese modelo y cómo dictamine,
pues hay que tener en cuenta esos términos y condiciones.
Por eso digamos que nosotros delegamos el modelo.
El modelo se consume desde nuestra infraestructura,
pero es el proveedor del modelo el que provee tanto esos términos
y condiciones, ¿no?
Hola, buenas tardes de nuevo.
Quería preguntarte, Román, cuando has comentado antes
que la gente subía a Hojas Excel a HGPD
y al final le cortasteis.
¿Lo hacíais con, teníais una cuenta para la empresa,
era mucha GPT empresarial o era la gente subiendo?
El caso era yo, yo tenía que hacer una comparativa de dos Excel
y iba a empezar a hacer las fórmulas
y dije voy a tirar de la inteligencia artificial
que lo hace mucho más rápido, no digo mejor,
pero más rápido, ¿no?
Y yo tengo una cuenta de HGBT, fui a subir los ficheros
y no subía.
Digo, no sube, no sube, no sube.
Digo, ¿qué pasa?
Y de repente cuando lo haces directamente y más
formalmente te dice, no se permite la subida de archivos.
Nosotros con Copilot lo podemos hacer.
Tenemos Azure y nosotros en Copilot
sí que podemos subir archivos.
Ficheros, pero incluso es más acede a nuestro SharePoint,
etc. Pero en ChatGPT, a nivel de compañía,
se ha decidido que no se pueden subir ficheros.
O sea, que a pesar de lo que se firma con ChatGPT
cuando contratas a nivel empresarial,
no se fía a la empresa de que se puedan tirar sus datos.
Bueno, yo.
Has hablado ahí de cero trash, yo no me fío de nada, ¿vale?
Esa es la primera premisa, ¿de acuerdo?
Entonces, el tema es que,
y como comentaba al principio, Tenemos que, lo típico que se dice,
el eslabón más débil siempre somos las personas.
Entonces, tenemos que garantizar o poner los mecanismos
para que Román no haga sin querer un estropicio
y pueda poner en riesgo la credibilidad de la compañía,
etcétera, etcétera.
Y otra pregunta es, desde tu experiencia,
¿las inteligencias artificiales que están implantando
son las típicas que vemos en chat GPT o Pilot
o también están utilizando modelos de open source?
A ver, ahí tienes dos escenarios.
Tú puedes trabajar con fabricantes, como puede ser AWS,
como puede ser Google, con Gemini, etc. O puedes decidir,
porque tienes.
La duda de, oye, ¿qué se hace con mis datos?
Y trabajar en local.
Nosotros tenemos dos líneas de investigación en la compañía.
Como te he dicho antes,
trabajamos con AWS para hacer proyectos,
pero sí que es verdad que también estamos trabajando
para ver cómo dentro de la casa podemos llegar a tener agentes
que consuman la información que tenemos en la compañía,
porque nosotros ya estamos en un proceso,
llevamos dos años de transformación digital y lo que ha ocurrido
es que ahora mismo prácticamente tienes una visión de toda la compañía
con un clic.
Entonces, eso representa muchos riesgos a la hora
de consumir la información.
Entonces, ¿qué ocurre?
Que decimos, oye, vamos a exponer
la información que no sabemos qué se hace con ella.
El concepto de no se hace con ella, esto es como todos tenemos
Gmail, ¿no?
Y todos nuestros correos están allí.
No nos vamos a fiar de lo que hacen las compañías con nuestros correos.
¿Por qué no me voy a fiar
de qué hacen yo como empresa con mis datos?
Entonces, al final es un poco.
Romper la barrera de la desconfianza de qué ocurre con mis datos.
Pero en el día a día de nuestra vida personal
estamos compartiendo nuestros datos con terceros, que son un gemelio.
El uso de los LLMs chinos como DeepSeek y demás,
¿se está utilizando en las empresas o solo se utilizan los AGPTs,
los cogeres?
Nosotros, cuando trabajamos con empresas,
se trabaja con una AWS, con un Copilot, con un Gemini,
no se trabaja en local.
Sí que este contexto desde el punto de vista de Amazon Web Services,
cuando se implementa una solución con IA generativa,
nos basamos con lo que llamamos el modelo de responsabilidad
compartida.
Esto es que nosotros somos responsables
de una parte de la seguridad y aquí englobamoslo
que es la seguridad física, nuestro centro de datos,
que nadie entre allí a robar nada la de bajo nivel
el hardware y dependiendo ya del servicio que consumas
pues te pones a un nivel más alto o más bajo si tú
por ejemplo estás consumiendo un servicio de una base de datos
gestionada pues toda la capa.
Digo, seguridad física, hardware, virtualización, software,
middleware.
En la base de datos, todo el parcheado de ciberseguridad
de todos estos componentes, etcétera, nos encargamos nosotros.
Pero si los datos de esa base de datos nos movemos en la capa de.
Pues el responsable de compartida, somos responsables de una parte.
El cliente es responsable de la parte de esa base de datos.
Si se deja el usuario de la password acceso a esa base de datos abierto,
pues él es responsable.
Entonces nosotros.
Es el integrador que implanta la solución,
es el que será responsable o el cliente final
de esa parte de arriba, nosotros de la parte de abajo.
Con lo cual, contestando a tu pregunta,
pues depende de dónde esté la brecha de seguridad
o cómo se esté implementada la solución,
quién es responsable de cada una de las partes.
Voy a ser papito, no te preocupes.
Yo tengo una cuestión que podéis responder cualquiera de los dos,
Román o Alberto,
que tiene que ver.
Yo aparte la has contestado porque iba por el sentido
de responsabilidad compartida, ¿de acuerdo?
Antes hemos comentado que hemos hablado
que estamos desplegando inteligencias artificiales
en muchos sentidos con mucha capacidad
o nula capacidad de securización de los sistemas, ¿de acuerdo?
Hay mucha parte del negocio que va sobre la nube,
especialmente en Amazon,
que tiene.
Si no recuerdo mal, y me corrige Alberto,
que es el proveedor,
que tiene más penetración en el mercado en esa área, ¿no?
Entonces, a mí lo que me.
No, sí me preocupa, quiero decir.
Se está lanzando en muchas empresas, por eso quería pedir vuestra opinión
desde el punto de vista de la empresa,
desde el punto de vista del proveedor para la empresa,
cómo se están implementando esas técnicas de securización
más allá de la responsabilidad compartida en el acceso
a la información.
Porque es verdad que, por ejemplo, en métodos tradicionales,
el uso tradicional de las consolas web
que aparecen para los LLMs,
Os recuerdo también que hay una parte muy preñita
que pone debajo que hay una reglamentación humana,
es decir, que puede haber que supervisores humanos
están viendo la información.
Por eso digo que, ojito, compartir la información que aparece ahí,
porque si bien me has puesto el ejemplo de los correos electrónicos,
el correo electrónico está automatizado,
no hay intervención humana en casi ningún sitio,
o está todo automatizado en cuanto a esa parte,
no aquí, ¿de acuerdo?
Porque precisamente se metió esa intervención humana
para una razón, para mejorar el rendimiento
y la evaluación del, digamos del LLM respecto de las respuestas
a los humanos, ¿de acuerdo?
Entonces, en ese sentido,
y obviando esa parte, yo sí quería preguntaros,
en ese sentido, ¿qué medidas se están poniendo,
digamos, desde el punto de vista de la corporación o del proveedor,
para mejorar esa securización de los sistemas?
Porque a mí me preocupa bastante
que la gente esté lanzando muy rápido,
porque es razonablemente muy sencillo,
es un ejemplo, lanzar soluciones basadas en IA,
pero sin tener en cuenta esos aspectos de securización.
A ver, volviendo un poco a lo mismo, cuando utilizas un modelo,
tienes que ver ese modelo, lo que tú bien comentabas,
cómo se ha entrenado, para qué se ha entrenado
y qué condiciones de uso tiene ese modelo.
Que eso, digamos, nosotros tenemos nuestros propios modelos en AWS,
pero también, como digo, hay más de 100 modelos,
hay muchos externos.
Ahora, sí que es bien importante,
en tiempo de desarrollo de la solución,
el que el integrador que esté desarrollando esa solución.
Haga siempre lo que llamamos el human in the loop.
Es decir,
siempre hay que tener supervisión de lo que estás haciendo,
hacer analítica del resultado.
Hablaba antes de guardar raíles, de poner límites
al contenido que no quieres que se filtre.
Es decir, hay una capa.
Y no solo en tiempo de implementar la solución.
Cuando está implementada,
tienes que el flywheel que llamamos, el círculo vicioso
de estar continuamente analizando qué está pasando.
Porque, por ejemplo, la tecnología esta
de prompting, el hacking del prompting, de hecho,
nuestros arquitectos es una de las primeras cosas que hacen.
Cuando está implementado un chatbot, por ejemplo, empiezan a preguntarle
a preguntarle porque se distorsionan las respuestas
y te acaban dando unas respuestas para las cuales no estaba preparado.
Entonces, Todas estas tecnologías,
es verdad que esto está cambiando muchísimo y no estamos hablando
de hace un año o dos años cuando empezó a salir esto, a día
de hoy que todas estas tecnologías están mucho más avanzadas
y todo esto está más securizado.
Pero también es verdad que la idea generativa,
que normalmente estamos hablando de ello todos,
no es determinista, es probabilística,
con lo cual hay que tener mucho cuidado con lo que contesta.
Entonces, bueno, pues hay que ver cómo se implantan
todas estas soluciones.
A ver, yo como responsable del dato, a mí lo que me preocupa
es quién accede al dato.
No lo que es hacer luego con el dato, ¿no?
Para eso ya tenemos el CSO,
etc. Pero yo la duda que siempre tengo es cómo voy a ser capaz
de que con un pronged injection no me van a saltar los mecanismos
que el equipo de IA.
Ha implantado para poder suplantar una identidad
y acceder a mis datos.
Esa es mi perspectiva o duda o riesgo que yo veo
y no hay una respuesta a eso.
A día de hoy yo creo que no hay una respuesta.
Al final, las personas somos el eslabón débil,
como he dicho antes.
¿Y qué ocurre?
Yo puedo poner agentes.
Yo esos agentes, como pasa con Copilot.
Con Copilot estás logado, es single sign-on,
y cuando accedes al SharePoint, el agente de Copilot
lo que hace es entrar como si fueras tú.
Con lo cual, las restricciones que nosotros hemos puesto
son las que aplican.
Pero se puede dar la circunstancia que,
en otro contexto.
No pasemos por la gente que tenemos definido
y el usuario entre directamente.
Tengo un problema ahí.
¿Me entendéis?
Entonces, al final.
Y. No quiero decir que haya riesgos, que los hay,
pero tampoco podemos estar siempre con el temor,
y yo soy de los que tienen el temor, ¿no?
De decir, no, es que voy a cortar todos los accesos
porque si no corro el riesgo de una multa millonaria
y arruino a la compañía, ¿no?
Y lo primero pierdo mi puesto de trabajo,
por ejemplo, ¿no?
Entonces, al final dices, oye, ¿qué hacemos?
¿Damos acceso?
Para que la compañía pueda evolucionar,
incluso sea competitiva.
Porque, claro, si tú no haces eso, otros lo van a hacer.
Que lo que hablábamos antes con lo que hacen los malos
y lo que hacemos los buenos, ¿no?
Con el tema de la ley.
Pues esto es lo mismo.
A lo mejor tienes que correr ciertos riesgos para poder
ser competitivo en el mercado también.
Es que es muy complicado la respuesta.
No, no es de sí o no.
Se radica en el compromiso entre eficiencia, innovación y.
Yo digo, porque estábamos hablando antes de ese tema,
que a mí me preocupa porque.
Esa rapidez a veces hace que se olvide el despliegue
de esa silla.
No digo en los propios descorticos, digo en general.
Estoy poniendo el ejemplo porque en vuestro caso en Amazon
tenéis mucha estructura para facilitar
ese despliegue automático.
O sea, que incluso de modelos que no habéis desarrollado,
que no están en vuestro catálogo, que los conozco bastante,
entonces lo sé.
Lo que quiero decir.
La forma de utilizar esos algoritmos luego y cómo se realimenta
esa información no está securizado en los canales internos.
Externamente hay ciertas salvaguardas y otras cuestiones,
pero como he visto, hay ya mecanismos muy establecidos para, por ejemplo,
pasa con Dixit.
Es muy fácil hacer que Dixit se vuelva como talumba y empiece
a dar problemas y el núcleo de ejecución se va al garete,
con lo cual viene a ser como una técnica de acción
de servicio a todos los efectos, de acuerdo desde el punto de vista
de la ciberseguridad.
Y puedes acceder a algún técnico de trabajo.
Es un ejemplo muy sencillo que está muy probado por ahí,
en la versión 2 o 3, que eso lo solucionaron.
Pero no los utilizaron desde el modelo de la IA.
Las empresas se lanzan a la IA.
Se lanzan a, oye, necesito este producto
para automatizar lo que sea, el conjunto de agentes
para resolver estas problemáticas.
Eso es perfecto y yo creo que el mensaje tiene
que ser no tanto el hecho de que no se haga,
sino que haya un compromiso entre las cuestiones
porque el problema al final viene por el otro lado.
Viene por el hecho de no tener suficientes garantías al final
de que pueda ocurrir y asumir una parte de riesgo,
que eso es evidente.
Era por ahí la pregunta.
Y luego la formación de los profesionales.
Lo que hemos hablado de.
Trabajar de forma segura, de forma ética
y de forma responsable, no solo por ti,
sino por la compañía.
Entonces, esos labores de formación
y de concienciación nosotros en la compañía,
de vez en cuando te hacen alguna suplantación de identidad,
te escribe el CIO y te ha cambiado la dirección
y de repente hace uno para acá y pulsa.
Entonces, te hacen análisis.
Entonces, al final es eso que.
El problema somos las personas, no es la inteligencia artificial,
es cómo la usamos y para qué la usamos dentro de la compañía.
Es que con un ejemplo muy claro lo que tú has dicho
es, por ejemplo, yo cojo mi empresa, pongo un chatbot,
le doy acceso a base de datos internas.
Y venga, lo pongo en el ámbito público
en la intranet.
¿Qué pasa?
Pues que a lo mejor un perfil de un técnico está accediendo
a datos de recursos humanos o a datos financieros.
Y es lo que tú comentas.
Pues el modelo puede ser muy bueno y los datos muy bien,
pero al final tengo que poner una capa de validación de identidad
antes de ese chatbot.
Es el riesgo, ¿no?
Y hay gente que sin querer se lo salta.
Además, sin querer.
Lo hacen sin querer.
Para terminar, sería aquí el punto.
De la inteligencia artificial, por ejemplo,
y la automatización de determinados ataques que componen además.
El grueso de la cibercriminalidad que se ha registrado en España,
en cuanto a lo del phishing, estamos hablando de los tic-tacs
y demás, y cómo se puede contrarrestar por partes,
tanto de empresas como de particulares.
Porque es verdad que, tras un tiempo, los mensajes,
había mensajes que no llegaban a los ciudadanos,
que simplemente por las faltas de ortografía, el tono utilizado,
sabíamos que ahí había la prensa.
Pero ahora, sin embargo,
La inteligencia artificial es capaz de esa ingeniería social
que permite convencer a la víctima, a la potencial víctima,
de que está en un lugar absolutamente legal,
que está haciendo lo correcto.
Por eso digo cómo, qué papel cree que va a jugar
en la cibercriminalidad y en la lucha contra la cibercriminalidad.
A ver, es muy complicado.
O sea, hay que formar, hay que hacer awareness,
o sea, divulgación, porque es que es muy complicado.
El otro día me hablaban de un caso
de que ya directamente te llaman al móvil y un chatbot
hablándote que no eres capaz de identificarlote está haciendo
una pregunta de manera inteligente.
Hasta que le contestas con las claves del banco lo que haga falta,
es decir, que bueno,
que a lo mejor los que estamos aquí no nos pasa,
pero uno de cada mil seguro que le pasa, ¿no?
Entonces, a escala, pues entonces es muy,
muy complicado.
Entonces, bueno, ha estado aquí antes INCIBE,
que se dedican precisamente a esto, entonces, ya digo, divulgando,
formando y con todas las armas que podamos, ¿no?
Porque es muy complicado, cada vez es más complicado, ¿no?
Yo hemos llegado a una situación en la que el mundo digital
hay que ponerlo en duda.
Todo lo que veas digital hay que ponerlo en duda.
Es así.
Porque lo físico no lo puedo suplantar,
pero lo digital sí.
Entonces, con los modelos de guía generativa
puedes hacer prácticamente cualquier cosa.
Entonces, es casi tener una filosofía de cero atrás.
Cuando coges el teléfono no dices sí,
dices diga.
Para que no te graben el sí.
Porque con ese sí, luego pueden suplantar tu voz
y decir que tú contrataste un servicio, etc. Entonces,
tenemos que entrar en esa paranoia para decir, oye,
todo lo que sea digital, luego tengo que poner en duda,
porque no hay otra forma de poderte salvaguardar tu integridad
de tu negocio o a nivel personal.
Sí, pero, por ejemplo, ese consejo.
Yo lo hago, sí.
Por supuesto, yo creo que la sociedad no es consciente,
nos quedamos con el típico reels de las redes sociales
de, mira, ¿puedo hacer este cambio?
Eso es el chauchao que vemos en las redes sociales.
Es mucho más peligroso y mucho más complicado.
Y cuando digo complicado es porque de una forma muy sencilla,
¿vale?
Como hemos dicho antes, no necesitas un perfil técnico
para poder hacerlo
y es una persona que sepa dar de forma correcta
las instrucciones a la inteligencia artificial y con mucha creatividad
puede plantear escenarios para engañar a una persona
para que firme.
Os voy a poner un ejemplo que es mío, ¿vale?
Me pasó a mí.
Eh.
Yo en una red social, que yo soy usuario habitual,
vi un anuncio.
El anuncio me interesaba.
Yo partí de la premisa de que ese anuncio,
como estaba en esa red social,
la empresa que se anunciaba era una empresa seria, honesta, etc.
Cuando entré, no era así.
Era un fraude.
Era una empresa que estaba en Australia
y estaba vendiendo un producto que a mí me interesaba.
Entonces, es que ya no te puedes fiar
ni de dónde te viene la información, ¿entendéis?
Es muy complicado, por ejemplo.
La plataforma digital tienes tú por pulsar pero sí.
Vamos a ponerle Facebook LinkedIn.
¿Facebook no tiene una responsabilidad subsidiaria?
No lo sé.
Es un tema legal, eso no sé.
Si os parece, vamos a pasar al siguiente panel.
Para ir más al día más, en primer lugar,
muchas gracias por asistir.
Y nada, a seguir desconfiando de todo lo que veamos.
Muchas gracias a todos.