Buenos días y yo también les doy la bienvenida
a todas las personas que están presentes aquí y a las personas
inscritas.
La verdad es que esta actividad ha tenido un impacto tremendo
porque hay esta misma mañana le avisado a Javier Sierra,
porque esta misma mañana, el secretario del Máster
y que está detrás también de toda la difusión que habían
entre otras 15 inscripciones esta misma mañana
y llevamos 250 inscripciones online y bueno,
y las personas que están aquí para lo que suele ser habitual
en la UNED es un grupo bastante interesante, presencial,
porque nosotros estamos acostumbrados a hacerlo todo a distancia
entonces sin duda es porque el tema es muy, muy importante
y también porque yo creo que los ponentes,
como ya han dicho los profesores Salvador Pérez y Sonia
-carnaza, son de mucho nivel.
Entonces yo les voy a presentar previamente a la profesora suena
de la sierra, que es catedrática de Derecho Administrativo,
de la ansia de CastillaLa Mancha en el Campus de Toledo;
si no me equivoco,
y aunque es cántabra.
Estudió en allí la carrera de derecho,
aunque la terminó?
Si no estoy mal informado en o en Alemania y de hecho
ha estado mucho, tiene mucho contacto con nuestras alemanas
y es el doctorado.
Creo que también lo hizo el toro, pero diferencia con Jacques civiles
y otro buen amigo y bueno,
ya personas.
En fin, tenemos algunas cosas en común con Alemania
y con otros países
no ha estado también ha sido investigadora o profesora visitante
en distintas universidades, en Oxford,
en Columbia una full Brain en la lucha de Roma
y ha estado, por ejemplo, hasta el Consejo de Estado francés,
y también el Tribunal Supremo español, del letrada,
pero si está aquí porque también en los últimos años
se ha dedicado mucho a esta cuestión,
el del Derecho digital.
Digámoslo las fue uno de los 17 expertos que el gobierno de España
nombró para elaborar la carta de derechos digitales en España
y ha trabajado estos temas también sobre la sociedad digital,
sobre el ámbito de la cultura,
Derechos Fundamentales y últimos tiempos.
Ha habido las suyas publicaciones, muchísimas han sido de este ámbito,
por lo que yo he podido ver espacio digital europeo.
Las brechas que está provocando el proceso de transformación digital.
Incluso me llama la atención este término.
Casi utilizan uno de sus últimas trabajos
sobre la procura existencial digital, que es muy interesante,
porque los que hemos trabajado con el ámbito
de los derechos sociales no de la procura
es aplicar nuestro ámbito digital.
Es muy interesante.
Bien, entonces creo que es una especialista en España
en esta materia, que todo el mundo,
cuando piensa en alguien especialista en esta cuestión,
sale en nombre de subsana.
Yo lo agradezco mucho porque fue rapidísimo,
dijo que sí y y le agradezco mucho su disponibilidad.
Además, me consta que bueno, ayer estuviste en Cantabria,
abstenido esta semana la semana,
media ajetreada y, de hecho viene preocupada por su voz,
pero yo creo que lo hará aguantará la voz estoy convencido,
y estoy muy contento de que esté hoy aquí con nosotros
cuando quiera.
Pues bien, muchísimas gracias, Carlos.
Muchas gracias por la invitación.
Es siempre un placer estar en la UNED.
Tengo contacto evidentemente muy estrecho con compañeros
y compañeras del departamento de Derecho Administrativo,
pero también con otras personas, a quienes he conocido
a lo largo de mi vida profesional con Carlos
coincidía hace unos años en Berlín.
Justamente por esa afinidad germana en un encuentro que celebraba
las constituciones alemana, italiana y española,
y estaba también axilar,
y desde entonces pues mantenemos una cordial relación profesional,
muchísimas gracias a quienes han organizado las jornadas,
y yo he preparado una presentación o ese es mi objetivo
de unos 40 minutos aproximadamente me he anotado aquí más
o menos la ahora a la que tendría que terminar,
pero se inclemente Carlos, por favor,
y he preparado esta presentación pensando en un público objetivo,
que entiendo que son alumnos, alumnas del máster.
Algunas personas estarán más familiarizadas
con el derecho administrativo, otras menos.
Algunas personas estarán más familiarizadas
con la inteligencia artificial, quizás las más menos.
Entonces, ese esos son, digamos, o esas son las premisas metodológicas
de las que yo he partido para preparar esta sesión.
Como indicaba Carlos como terminó la docencia ordinaria,
se me han concentrado tres charlas o ponencias en lugares distintos,
con temperaturas muy diferentes.
El viernes estuve en Barcelona con un calor impresionante
y un aire acondicionado gélido.
Ayer en Cantabria,
que estábamos ya en invierno de nuevo con la calefacción,
y hoy aquí espero que la que la garganta me
de una tregua, voy a explicar también cuál es el contexto
de mi investigación que me lleva a exponer aquí algunas ideas,
hoy ya compartirlas y estoy abierta a debatirlas,
porque me van a enriquecer a mí también como investigadora
y como docente.
Entre los años 2016 2019, trabajé como la letrada al servicio
del gabinete técnico del Tribunal Supremo
y participe, digamos, en la puesta en funcionamiento
del nuevo recurso de casación contencioso
-administrativo.
Es un recurso en el que no voy a abundar ahora,
pero que modifica radical,
radicalmente, bueno, pues la forma de controlar la actividad
de la Administración por el Tribunal Supremo.
El Tribunal Supremo ahora tiene mucha más libertad y la reforma deriva
de un informe sobre las necesidades de adoptar medidas
para garantizar la eficiencia de la justicia,
cuando sale del tribunal en el año 2019,
pues retome el estudio de la jurisdicción,
que ya me había ocupado en la tesis doctoral,
que es un tema que me interesa mucho y donde aprovecho
y apunto aquí que creo que tenemos que fortalecer más
el diálogo entre procesalistas y administrativistas,
porque es algo que nos compete a las dos disciplinas.
Bien, pues cuando sale del tribunal retome esta línea de investigación,
porque, desde mi punto de vista,
la reforma del recurso de casación contencioso
-administrativa, que entra en vigor en el año 2016,
es un síntoma de un conjunto de transformaciones
en la justicia administrativa.
No es una reforma más, no es una reforma aislada,
es un síntoma de las transformaciones en la actividad administrativa,
por supuesto, y en el control de la actuación administrativa.
Entonces me puse a desarrollar esta línea de investigación.
Ahora ya tenemos un borrador, más o menos cerrado de monografía
y me ocupé de estudiar distintos aspectos,
y entre los aspectos que caracterizan las transformaciones de la justicia
administrativa en los últimos tiempos pues lógicamente,
integre también el estudio de la digitalización
y de la inteligencia artificial, es decir,
así llegue yo a la inteligencia artificial y a la digitalización
en el contexto del control de la Administración.
Voy pasando porque ella conecta con lo que voy a contar.
Aquí me interesaba reflexionar y me interesa reflexionar aquí
de manera colectiva sobre cómo la justicia administrativa
controla una administración digitalizada y que utiliza
instrumentos de inteligencia artificial, es decir,
la justicia administrativa.
La jurisdicción está preparada a día de hoy
para controlar este tipo de actividad,
si no, qué reformas resultarían necesarias pero también
evidentemente se planteaba y se plantea el interrogante del uso
de instrumentos de inteligencia artificial y instrumentos digitales
con carácter general por la propia justicia administrativa,
y esto conecta con reformas recientes y en particular con el real decreto
-ley, seis barra, 2000 veintitres,
al que no me voy a referir hoy.
En particular.
Eso fue objeto ayer del curso de la jurisdicción contencioso
-administrativa en Santander, pero, evidentemente,
si alguien tiene alguna pregunta o alguna consideración al respecto
en el turno de preguntas,
en el turno de debate lo podemos abordar.
Por lo tanto, se integra en esa investigación.
En el contexto de las transformaciones del control
de las administraciones públicas como controlamos la administración
digitalizada y utiliza instrumentos de inteligencia artificial,
y, como la justicia administrativa en la jurisdicción contencioso
-administrativa se vuelve digital
o se vuelve una justicia entre comillas inteligente
y eso conecta ya que estamos en un máster de Derechos Fundamentales,
lógicamente, con el artículo 24 de la Constitución,
con el derecho a la tutela judicial efectiva están los jueces en España
preparados para garantizar este derecho.
En estos nuevos contextos,
qué reformas resultarían necesarias bien algunas precisiones pensando
en aquellas personas que igual no están tan familiarizadas
con los conceptos de inteligencia artificial
y de algoritmo, no son sinónimos algoritmo,
no es necesariamente sinónimo de inteligencia artificial;
algunos algoritmos, son manifestación de inteligencia artificial.
Voy a poner muchos ejemplos para que veamos en concreto
de qué estamos hablando, pero otros algoritmos,
no son inteligencia artificial.
Los algoritmos, son un lenguaje, son un lenguaje informático,
son el lenguaje en el que se programan,
se programan,
pues todos los instrumentos que luego se van a utilizar
algunos algoritmos, están programados desde el origen con unas reglas muy,
muy claras.
Por lo tanto, es previsible saber
lo que lo que van a producir esos algoritmos,
mientras que en otras ocasiones el algoritmo,
si ese programa informático permite que la máquina,
que el instrumento aprenda por sí solo,
que tenga autonomía.
Eso sería en sentido estricto, inteligencia artificial.
Por lo tanto, en primer lugar
hay que tener presente que algoritmo inteligencia artificial
no son expresiones necesariamente sinónimas
y que el propio concepto de inteligencia artificial
es un concepto heterogéneo y evolutivo.
Es un concepto heterogéneo.
Voy a pasar rápidamente a algunas diapositivas.
Es un concepto heterogéneo
desde que surge en el año 55 con ocasión de una solicitud
de un proyecto de investigación por un grupo de personas
que ellas estaban ocupando de algunas técnicas en plural.
De ahí
que sea heterogéneo, vinculadas con la inteligencia artificial,
con lo que hoy conocemos por inteligencia artificial,
por ejemplo, procesamiento del lenguaje natural
en el ámbito de las administraciones públicas.
Esto permite, por ejemplo, que una máquina, un chat voz,
ofrezca información sobre servicios que presta un municipio
o que una máquina que procesa lenguaje natural permita
que un ciudadano que no sabe escribir o que es ciego
dicte lo que estime oportuno para formular una solicitud
a la administración y el sistema de Inteligencia Artificial,
transcriba eso en un texto escrito.
Bueno, pues procesamiento del lenguaje natural,
por ejemplo, es una de las técnicas de inteligencia artificial,
sistemas de pensamiento abstracto que permitan generar contenidos,
por ejemplo, un instrumento de inteligencia artificial,
que lee varias sentencias y realizar resúmenes de las mismas
o por ejemplo identifica conceptos clave para bueno
pues verse esas sentencias están relacionadas entre sí
y para ver si pueden alegarse en una demanda
o para ver si pueden utilizarse como precedentes
en una resolución judicial.
Bueno, son distintas técnicas que ya se venían elaborando
y en el año 55 se pide este proyecto de investigación que se concede.
Es el proyecto dar mus y se articula en torno a ese concepto
que se crea entonces la inteligencia artificial.
Hay quien sostiene que no es más que un elemento de marketing
que se podía haber llamado computación analítica.
Se podía haber llamado de cualquier otra manera
lo relevante ahora es insisto subrayar
que es una categoría heterogénea, y eso lo subrayo porque como juristas
tenemos que tener esta circunstancia muy presente
porque cada una de las técnicas presenta riesgos distintos
y cada una de las técnicas tendrá que estar configurada jurídicamente
de una manera distinta.
Cada una de las técnicas será utilizada
por la administración pública de una manera distinta
y el juez, cuando lo controla, y otros órganos,
que también controlarán la actividad,
las administraciones públicas
tienen que tener en cuenta esta heterogeneidad,
porque las técnicas de control también van a ser heterogéneas.
El algoritmo como indicaba no es más ni menos
que utilizo aquí una definición del apreciado y admirado
Alejandro vuelvo lora,
que se ha ocupado mucho de la materia.
Cualquier procedimiento formalizado procedimiento
en el sentido jurídico,
cualquier procedimiento formalizado en una serie de pasos
para solucionar un problema o conseguir un resultado.
Esto, bueno, pues procede del álgebra del del, término guarismo,
y es aplicable insisto, con carácter general,
pero en particular se utiliza la informática,
como digo, como lenguaje de programación
o como instrumento de programación,
y un procedimiento administrativo no deja de operar
como un algoritmo un conjunto ordenado,
de pasos que conducen a un resultado cuando ese conjunto ordenado de pasos
no depende hasta el último detalle de un ser humano
del ser humano que programa, sino que la máquina
aprende por sí misma y tiene autonomía,
pues porque capta datos de unos documentos
porque capta datos de imágenes,
por ejemplo una imagen de una matrícula
o de muchas matrículas
y a continuación pues eleva una propuesta de sanción
o capta imágenes por ejemplo de personas que están en una playa
y automáticamente lanza una alerta en relación con el aforo.
Esto sucedió en la época del cómic en la famosa desescalada, bien,
pues ahí la máquina aprende por sí sola,
tomando datos de la realidad datos que son también heterogéneos
y múltiples pueden ser documentos imágenes etc
pues hay cuando la máquina actúa con esa autonomía.
Bueno, pues estamos en presencia de Inteligencia Artificial
en sentido estricto.
La inteligencia artificial,
el concepto de inteligencia artificial que surge,
como digo, canónicamente de esa solicitud de financiación
para el proyecto de investigación de dar es un concepto debatido
no solo en la doctrina jurídica, sino entre los propios informáticos
y ingenieros que se dedican a estas cuestiones.
No hay un consenso absoluto sobre el concepto de inteligencia artificial
como juristas.
Esto nos plantea problemas, evidentemente,
porque si vamos a regular la inteligencia artificial
tendremos que partir de una definición,
pero no solamente no hay consenso entre entre quienes se ocupan
realmente del día a día de la inteligencia artificial,
sino que, como adelantaba antes, es un concepto evolutivo;
ha evolucionado,
tan es así que no solo ha evolucionado desde el año 55,
ha evolucionado desde el año 21 en el año 2021.
La Comisión Europea
plantea el proyecto de reglamento de inteligencia artificial
que se aprobó el pasado 13 de marzo por el Parlamento,
luego se han incluido algunas correcciones en sucesivas votaciones
y estamos pendientes y no se ha publicado hoy
de publicación en el diario oficial de la Unión Europea.
Bien, pues en esa es esa definición de inteligencia artificial
que proponía.
La comisión en el año 2021 ha quedado obsoleta, de hecho,
la noción o la definición de Inteligencia Artificial.
Ha sido una de las cuestiones más controvertidas
en el proceso de negociación del reglamento de Inteligencia,
Artificial, porque entre tanto se ha subrayado la necesidad
de adoptar una visión estricta de Inteligencia,
Artificial, dejar de lado otros sistemas
y centrarse solo en aquellos que operan con autonomía.
Aparece la definición,
que finalmente se encuentra reflejada en el artículo tres del reglamento
y que y en el que se subraya, como digo,
la autonomía en este tiempo
se han desarrollado los sistemas de inteligencia artificial generativa
charge es decir
que generan predicciones contenido recomendaciones resoluciones etcétera
que en el 21 cuando estaban,
desde luego, generalizados, y por lo tanto para los juristas,
que somos conservadores, por definición,
en el sentido de que solo cuando los debates está maduro
los clamamos en normas,
o al menos en teoría, pues esto es un problema,
porque trabajar y e intentar regular un concepto evolutivo
es problemático, más aún si nos encontramos
en el delicado con su contexto de los derechos fundamentales.
Esto explica que de hecho el reglamento
contenga una delegación a la Comisión Europea
para ir actualizando el concepto de Inteligencia Artificial,
que plantea otro tipo de problemas en los que no me voy a detener ahora,
porque bastante problema ya significa que tengamos que operar como juristas
con un concepto heterogéneo no siempre preciso
y además evolutivo algunos ejemplos de uso de la administración,
de la inteligencia artificial en la administración.
He mencionado algunos, hay muchísimos problemas principal,
sobre todo para la tutela,
que no sabemos que se están utilizando.
No sabemos si en general que se están utilizando por qué?
Pues porque la administración pública
no lo no, no, no le da transparencia a esa actuación.
Hay alguna excepción, por ejemplo, que aparece en otra diapositiva.
Más adelante adelanto y luego vuelvo.
Por ejemplo, en Estados Unidos
hay una página web que ayer o antes de ayer
entre y por alguna razón en estos momentos estaba.
No se podía acceder, pero yo tengo el excel
porque en realidad da acceso a una tabla excel;
en Estados Unidos hay una página del Gobierno
dedicada específicamente a inteligencia artificial,
y ahí hay un elenco.
Como digo, es una tabla excel, muy rudimentaria sobre los casos
de uso de inteligencia artificial en el gobierno federal,
y luego hay una iniciativa promovida por tres ayuntamientos,
el de Barcelona, que es muy activo en estas materias.
El Ámsterdam y el de Nueva York,
que han bueno, pues,
constituido un observatorio global de Inteligencia Artificial urbana,
que podemos entrar.
Bueno, no hace falta porque luego luego podemos entrar,
pero esto da lugar este lindan, lugar, que lo puedo circular,
no tengo problema en circular.
La presentación da lugar a un mapa donde se puede explicar
y ver que se se hay desplegables, y entonces,
pues en seúl todos los usos de Inteligencia Artificial,
según en Barcelona, también hay algunos el de monitorización
de la asistencia de la fuera de las playas,
por ejemplo, es uno de ellos los asistentes, conversacionales,
los chats voz para ofrecer servicios municipales
también son otros ejemplos etc pero como digo con algunas salvedades
en general no sabemos si la administración pública
está utilizando instrumentos de Inteligencia Artificial
y qué instrumentos de Inteligencia Artificial
está utilizando, pero poco a poco vamos teniendo información.
Más allá de que hay esta reclamación
de que desde el principio de transparencia
y para garantizar la tutela de la ciudadanía,
pues dentro de los deberes de publicidad activa
de las administraciones públicas, estas estarían obligadas a publicar
en un portal web los instrumentos de inteligencia artificial
que están utilizando para que se están utilizando,
por ejemplo, en España,
pues en materia de subvenciones en la Junta de Andalucía
hay algún caso interesante de lectura de documentación
en los procesos de solicitud de subvenciones
para identificar la información relevante y para proceder,
sobre todo a la al control del cumplimiento de las condiciones
en las que se ha otorgado la subvención
en materia de contratación pública,
pues para lectura también de los pliegos que presentan
quienes se presentan a su vez a las licitaciones,
infracciones e inspección.
Estos son los casos más conocidos
y los que más preocupan en materia de tráfico
por la captación de imagen para realizar una propuesta
de sanción por exceso de velocidad,
o porque un vehículo sea adentrado en una zona
de bajas emisiones y no está autorizado a entrar
en esa zona o a adentrado en una zona donde solo
un número limitado de vecinos pueden acceder la Agencia Tributaria
y la Seguridad Social también parece que están utilizando
este tipo de instrumentos para detectar el fraude
y para elaborar listados de personas potencialmente investiga,
hables.
Aquí hay quien argumenta,
lógicamente del lado de la administración
esto no son resoluciones administrativas definitivas,
es decir, son actos, actos internos de la Administración
que identifican con todos esos datos
y estos documentos de los que dispone la Administración,
pues quienes tienen mayores posibilidades
de cometer fraude y entonces se supone
que esto es un instrumento de eficacia y eficiencia
de las administraciones públicas
que tienen pocos recursos para pusiera grano
no ir a quienes parece que, según dice la máquina,
tienen más probabilidades de cometer fraude.
Bueno, ya esto no es una resolución definitiva,
pero evidentemente si a uno le miran con muchísimo detalle,
pues yo creo que se salvan muy pocas personas,
no por decirlo de una manera casi coloquial entonces sí
que es relevante lo que quiero decir
es que sí que es jurídicamente relevante.
Como la administración elabora estos listados
que condicionan su actividad inspectora
y, por lo tanto, qué menos que saber,
pues qué instrumento están utilizando,
qué datos están manejando para saber si esos datos
tienen sesgos o no tienen sesgos, cómo está operando el algoritmo,
cuál es su forma de funcionamiento, etc. Y la CNMC la comisión nacional
de los mercados y de la competencia, también desde hace poco tiempo,
ha creado una unidad de inteligencia económica,
que era la que se puede acceder desde su web
un poco con las mismas funciones,
entre los casos que se han judicializado de uso,
de instrumentos de inteligencia artificial
por las administraciones públicas.
En España destaca el caso Bosco.
Además, la semana pasada justamente se dictó una sentencia esperadísima
que nos ha dejado desinflados,
pero una sentencia esperadísima que resolvía el recurso de apelación
que se había planteado en el año 21 este caso Bosco.
En resumen, en síntesis, obedece a lo siguiente.
En España existe un denominado bono social
en la factura eléctrica.
Para consumir consumidores vulnerables.
Qué es un consumidor vulnerable?
Viene definido en una norma, en un real decreto,
con una serie de características muy claritas, es decir,
la aplicación del bono social es en términos jurídico
-administrativos, una potestad reglada, derecho administrativo.
Hablamos de potestades regladas y potestades discrecionales.
En las potestades regladas no hay margen de apreciación por parte
de la Administración si se dan una serie de requisitos.
La administración está obligada a resolver
de una determinada manera.
Por ejemplo, quienes obtengan una nota superior a siete
tengan unos ingresos inferiores a equis recibirán una beca,
es sus reglado.
Quienes voy a conceder tres becas por calidad artística,
se valorará la trayectoria no sé qué y constituir una comisión
para que evalúen la calidad artística;
eso no es reglado, esos discrecional hay un margen de apreciación.
Explico.
Esto es de lo poco de Derecho Administrativo
que voy a explicar,
porque precisamente esa diferencia es muy importante a la hora de luso,
de instrumentos de inteligencia artificial por parte
de la Administración,
es decir, en el caso de las potestades regladas,
donde la norma está muy clarita y la administración
o no tiene margen de apreciación en realidad, me da un poco igual
que la operación de subsunción la realizó un funcionario
o la realizó una máquina,
o casi mejor una máquina por eficiencia de recursos.
Me da un poco igual, porque además,
si la máquina se equivoca, pues es fácilmente comprobable;
si se reunían o no los requisitos plantea otra serie de problemas,
pero ese punto de vista del control, pues es sencillo.
Ahora si estamos en presencia de una potestad discrecional,
donde hay margen de apreciación, y la administración pública
decide utilizar un instrumento de inteligencia artificial
para automatizar, esa decisión a ese plantea muchísimos problemas,
y si yo resultó perjudicada por la decisión de la Administración,
que saber cómo funciona ese instrumento,
que no me ha dado la razón en este caso concreto.
Eso justifica, por ejemplo, que en algunos ordenamientos jurídicos,
como es el caso de Alemania, hayan prohibido en su ley
de procedimiento administrativo, en el artículo 35,
que las decisiones discrecionales o en general,
las que contengan un margen de apreciación
se puedan adoptar por instrumentos de inteligencia artificial.
No se pueden automatizar en realidad dice el precepto.
En España veremos cómo no hemos llegado a eso.
Es decir, si se pueden adoptar este tipo
de decisiones con instrumentos de inteligencia artificial
pero con cautelas.
Eso es lo que nos interesa desde la teoría del control
y desde el artículo 24 de la de la Constitución.
Vuelvo al caso Bosco, después de haber explicado
esta distinción entre potestad reglada, potestad discrecional,
en el caso busco como decía hay una,
hay un bono social de pago reducido,
la factura de la electricidad para el consumidor vulnerable que,
como digo, está determinado en una norma,
nos plantea mayor misterio quién es consumidor vulnerable?
Lo determina esa norma conforme a unos criterios,
pero lo aplica un sujeto privado,
que es la empresa comercializadora del suministro de electricidad.
Cada uno tenemos controlada contratada la electricidad
con una empresa.
Si yo soy consumidora vulnerable,
solicito a la empresa que me aplique ese bono social
para pagar menos o no pagar nada y en un momento dado,
desde el ministerio se establece un sistema automatizado,
se diseñó, se contrató el diseño de un algoritmo
para que fuera la máquina, quien, en función de los datos disponibles,
determinara quiénes consumidor vulnerable
y quién no, y esa a esa información podía acceder,
la empresa comercializadora la que fueran de esa,
la que fuera y aplicarlo o no aplicarlo.
Qué sucedió?
Que empezaron a surgir muchos problemas,
no cuadraba la información,
personas que claramente tenían derecho a recibir el bono social,
pues no lo recibieron.
Pensemos además que son consumidores vulnerables.
Algunos.
Ahí hay supuestos como violencia de género,
pero si no en general son situaciones de vulnerabilidad por motivos
obvios, que son motivos económicos, por lo tanto,
pues la posibilidad de acceder a una defensa letrada,
en condiciones, etc. Y la propia capacidad de reacción,
pues en generales, más limitada que en otros colectivos sociales.
Hay una fundación, la fundación civio,
que vela por la transparencia de las administraciones públicas,
pues solicitó al ministerio por medio de la ley de transparencia
que solicitara acceso al algoritmo;
el algoritmo se denominaba bosco a las especificaciones técnicas,
es decir cómo se había programado este algoritmo.
Qué pruebas habían realizado con este algoritmo para verificar
que funcionaba correctamente.
Y cuál era el código fuente de este algoritmo?
El código fuente es lo que explica cómo funciona
no solo mandatos que se le hayan dado al instrumento
sino la tripa del algoritmo el ministerio hago la historia corta
pero el ministerio dijo que no se recurrió
ante el consejo de transparencia y buen gobierno que es
un organismo independiente en España que vela justamente por este tipo
de cuestiones y el Consejo de transparencia determinó
en un primer momento que sí que era correcto
que se ofrecieran las especificaciones técnicas
que se indicara qué pruebas habían realizado
pero que no había derecho de acceder al código fuente del algoritmo
por varias razones fundamentalmente por dos porque estaba protegido
por propiedad intelectual de las administraciones públicas
que este es uno de los argumentos jurídicos
debatidos y en segundo lugar por cuestiones de seguridad pública
porque ofrecer información y dotar de transparencia al código
fuente de esta algoritmo generaba vulnerabilidades en el sistema
porque si se hacía público podían entrar los jackets y además acceder
a esta información tan sensible de personas en situación
de vulnerabilidad lo voy a explicar cómo acabó estos tribunales
porque aquí simplemente me interesaba mencionarlo como caso de uso
por la administración pública
también se se están utilizando algoritmos en procesos selectivos
y aquí también se ha producido alguna judicialización procesos selectivos
por ejemplo para elegir de manera aleatoria a personas
que componen comisiones de selección en las administraciones públicas.
Pensemos aquí en una universidad
por las comisiones de selección de profesorado,
donde hay que integrar un listado de profesores y profesoras
para que las compongan, bueno, pues que la constitución definitiva
venga determinada por un algoritmo,
en función de quizás no sabemos que, bueno,
pues ha habido varias reclamaciones en este sentido en castilla
-la mancha y en Madrid, en la Comunidad de Madrid,
donde se han utilizado estos sistemas,
se ha judicializado, que yo sepa, el de la Comunidad de Madrid
y la sentencia se ha pronunciado de la misma manera que en el caso
Bosco, que adelanto que es favorable a proteger el código fuente
y a no dotar de transparencia al mismo.
Luego diré algo más y el sistema sanitario también.
El sistema sanitario público, que es derecho administrativo,
está utilizando instrumentos de inteligencia artificial,
por ejemplo para el diagnóstico de enfermedades
a través de múltiples datos de imagen de radiografías,
etc. Que ocurre por ejemplo, su facultativo.
Sigue ciegamente la indicación de un instrumento
de Inteligencia Artificial para identificación de enfermedades
y resulta que la máquina se equivoca es responsable administrativamente
de ese resultado.
Bueno, y la semana no.
Esta semana, el martes, en Consejo de Ministros,
se ha aprobado la estrategia de inteligencia artificial 2024,
que entre otras cuestiones propone el proyecto voz;
tecla que va a ser un lugar controlado, de pruebas de algoritmo,
de instrumentos de inteligencia artificial.
Para ser desarrollados
y utilizados en el seno de la Administración General del Estado.
Fuera de España también hay algunos ejemplos
conocidos a los que no me voy a referir con detalle ahora
y lo que es muy importante es que con carácter general,
lo cierto es que los instrumentos de inteligencia artificial,
los algoritmos,
no se están utilizando como instrumento
para resolver procedimientos.
Es decir, no despliegan efectos jurídicos
que directamente incidan en la esfera jurídica del ciudadano,
sino que son con carácter general insisto.
Instrumentos de ayuda para la posterior adopción
de decisiones y para el desarrollo de políticas públicas.
Este uso de instrumentos de inteligencia artificial por parte
de las administraciones públicas, lógicamente,
tiene que ser controlado desde la óptica,
por lo menos del artículo 24,
pero también desde otros artículos no necesariamente vinculados
con los derechos fundamentales, como es la garantía de la objetividad
de la actuación de la Administración Pública.
Pero también, por ejemplo, desde la óptica del artículo 9,
dos del principio de igualdad material,
para garantizar, por ejemplo, que no se produzca,
que no se produce discriminación en determinadas personas
o en determinados colectivos con el uso de estos instrumentos
y aquí hay que pensar en una teoría amplia del control.
La jurisdicción contencioso
-administrativa, que lógicamente es la clave de bóveda
de toda la construcción,
la tutela judicial es la clave de bóveda
de toda la de toda la teoría del control,
es una piezas más unida a otros instrumentos de control
que tienen que funcionar también porque la justicia no llega a todo
y porque además para que haya debates procesales
de calidad esa cuestión ha tenido, desde mi punto de vista,
que venir trabajada con carácter previo,
porque si no, jueces y tribunales se encuentran con un material
en muchas ocasiones no adecuado para ofrecer una tutela judicial
a la altura de los tiempos.
El control interno
en los últimos tiempos se viene insistiendo muchísimo.
La importancia del control interno
de actualizar también los sistemas de control interno,
asesoría jurídica e intervención que tienen
que conocer también de digitalización en Inteligencia Artificial,
para, bueno, pues elaborar esa primera criba
y trabajar junto a los técnicos para garantizar que efectivamente
la inteligencia artificial no es un fin en sí mismo,
sino que es un instrumento de esta idea.
También me interesa subrayar.
La inteligencia artificial es un instrumento,
estamos un poco en manos de los técnicos
y como juristas tenemos que acompañar los procesos desde el inicio.
Eso requiere también una transformación interna
de las administraciones públicas, y los mecanismos de control externo
se tienen que desarrollar para acompañar a la jurisdicción,
sistemas de auditorías.
Por supuesto que es
una de las apuestas del reglamento de Inteligencia Artificial,
pero también de otras normas.
Se tienen que desarrollar organismos independientes o reguladores
diré algo de ello a continuación órganos jurisdiccionales,
por supuesto, y otros órganos constitucionales,
ya que hablamos del control de las administraciones públicas,
como puede ser el tribunal de cuentas, que es cierto
que fiscaliza las cuentas de las administraciones públicas
y de otras entidades que manejan fondos públicos,
pero que muchas veces va más allá de la estricta fiscalización
de las cuentas,
y aquí el tribunal de cuentas podría dar un pasito más,
al igual que lo está haciendo la intervención
para evaluar este tipo de cuestiones desde otros puntos de vista,
y el Defensor del Pueblo,
que controla la actuación de las administraciones públicas,
pues creo que también debería adentrarse en estas cuestiones
para evaluar el funcionamiento.
En la práctica de estos instrumentos y para garantizar, por ejemplo,
la transparencia de cara a la tutela judicial efectiva,
pero esta teoría del control lógicamente
se tiene que ejercer en un marco jurídico,
y el problema es que el marco jurídico que tenemos a día
de hoy es muy endeble.
No tenemos un marco jurídico a la altura de los tiempos,
tenemos este reglamento de Inteligencia Artificial de la
Unión Europea, que será.
No tienen, no tienen necesidad de transposición,
pero su aplicación efectiva se difiere en el tiempo
y hay algunas normas.
Por ejemplo, a nivel autonómico hay un decreto
-ley de inteligencia artificial en Extremadura
al habrá una futura ley de inteligencia artificial en Galicia
y en el ámbito estatal se requieren reformas normativas.
Existe una carta de derechos digitales que mencionaba antes,
Carlos, tuve el honor de formar parte del grupo de expertas
y expertos que preparó este texto, que fue presentado
por el Gobierno en julio de 2021.
Es un texto no jurídico, es un texto de esof low
de política pública que puede inspirar
y que en principio va a inspirar futura reformas normativas,
pero no es vinculante, se trataba.
Ese era el mandato de reflexionar justamente sobre la protección.
Yo es fundamental en los nuevos contextos,
como adaptar los derechos fundamentales actualmente vigentes
a los nuevos contextos y reflexionar sobre si eso no es necesario,
crear nuevos derechos,
y fruto de ello es esta carta de 28 apartados,
dividida en secciones, derechos de libertad,
derechos de igualdad, derechos de participación
y relacionados con el espacio público,
y aparecen los derechos de la ciudadanía
con las administraciones públicas,
derechos a los entornos laborales y empresariales
y luego otros derechos donde aparecen derechos en el contexto de la salud,
en el contexto de la investigación,
la inteligencia artificial de manera específica,
etcétera.
La dignidad humana es el punto de partida de esta carta
y trata de garantizar la equivalencia de los derechos o flamenco y online.
Los apartados singularmente relevantes
son algunos de los que he mencionado seguramente relevantes
para para esta ponencia de hoy los derechos digitales
de la ciudadanía en sus relaciones con las administraciones públicas,
derechos ante la inteligencia artificial, que también se aplican
en la, en las relaciones entre la ciudadanía
y las administraciones públicas,
y la garantía de los derechos en los entornos digitales.
Aquí y voy muy rápido para no consumir demasiado tiempo
que se ha reconocido, por ejemplo, entre, entre otras cuestiones,
pues se ha reconocido, por ejemplo, la transparencia sobre el uso
de instrumentos de inteligencia artificial,
es decir, que haya esta obligación de publicidad activa por parte
de las administraciones públicas que indiquen en su portal web
qué instrumentos se están utilizando
y para que derecho también a obtener una motivación comprensible
el lenguaje natural,
no el lenguaje matemático ni informático,
una motivación comprensible
cuando una administración ha tomado una decisión utilizando uno
de estos instrumentos y luego se reconoce el derecho
al que me refería indirectamente antes,
a que la adopción de decisiones discrecionales
quede reservada a personas, salvo que, por lo tanto,
no estamos en presencia de la norma alemana,
salvo que normativamente se prevea la adopción de este tipo
de decisiones con garantías adecuadas.
Es decir, que una norma, una norma con rango de ley,
establezca que determinada decisión discrecional
se podrá adoptar con un instrumento de inteligencia artificial,
y quede claramente identificado
en qué condiciones se podrá realizar ello, etc,
y que cabe esperar de esa actuación administrativa
y siempre por supuesto con derecho de recurso ante una persona humana.
Más adelante se recoge en los derechos
ante la inteligencia artificial con carácter general
en el sector público y en el sector privado,
pero resultan de aplicación también insisto en el ámbito
de las administraciones públicas y se recoge en principios
como de nuevo el de transparencia auditabilidad
del algoritmo, las auditorías explicabilidad, trazabilidad,
supervisión humana y gobernanza,
y luego una cláusula de cierre de derechos
en los entornos digitales,
donde se prevé por ejemplo,
que también la Administración de Justicia
pueda utilizar instrumentos de inteligencia artificial
cuando recurra y puede recurrir a la misma para la utilización
o el desarrollo de sistemas de soporte
a las decisiones o herramientas de justicia predictiva.
Algo así es lo que ha incorporado el decreto
-ley.
Si es barra, 2000 veintitres, en los artículos 56 a 58,
donde bueno, pues introduce la posibilidad
de que en los órganos judiciales no solamente jueces y magistrados,
también el letrados de la Administración de Justicia,
por ejemplo, puedan acudir a estos sistemas para,
entre otras cosas, elaborar borradores de resoluciones.
Bien bien, cómo se ejerce el control
hasta la fecha contamos con muy poca resoluciones judiciales
que hayan afrontado estas cuestiones.
El consejo de estado italiano sí se ocupa de ello los últimos años
en relación con litigios derivados de procesos selectivos,
donde determinadas personas habían presentado al proceso selectivo
de maestros y habían solicitado destino en equis lugares,
y la provisión de puestos de trabajo se había atribuido
el algoritmo que se había vuelto loco y no había tenido en cuenta
ni la puntuación obtenida en el examen
ni las preferencias manifestadas.
Es decir, era manifiesto que el resultado era equívoco
y, pero no se sabía cómo había funcionado el algoritmo
y aquí el consejo de estado italiano acudió a principios constitucionales
asentados y los adaptó a los nuevos contextos,
y acudió al principio de eficiencia y buen gobierno del artículo 97,
la Constitución italiana y a principios generales
como los de publicidad, transparencia, razonabilidad
y proporcionalidad,
además del principio de no discriminación.
Otro caso conocido de los pocos que existen
es el caso Siri allá donde se utiliza un algoritmo
para perseguir el fraude,
en el acceso a las ayudas sociales y aquí bueno,
pues se denunció el sistema por discriminación,
pues porque en realidad reforzaba la vulnerabilidad
de determinadas personas y se consideraba
que se habían visto perjudicadas por discriminadas personas
que pertenecían a determinados colectivos sociales
respecto de otras.
Aquí el tribunal
acudió al artículo ocho del Convenio Europeo de Derechos Humanos
, que garantiza la intimidad personal y familiar.
Para entender que,
dado que el algoritmo no era transparente ni verificable,
se había vulnerado ese derecho contenido en el convenio,
en España el Consejo de transparencia y buen gobierno
se ha ocupado de estas cuestiones,
a raíz de los casos que he mencionado ya del caso Bosco
y de estos asuntos en los procesos selectivos.
Voy rapidísimo, porque ya hay que ir concluyendo.
Ahora.
Vuelvo.
Aquí en el caso Bosco,
que ya ha explicado, con carácter general,
se dicta una sentencia en primera instancia en el año 21,
30 de diciembre de 2021 por el juzgado central
de lo contenciosoadministrativo,
que deniega el derecho de acceso al código fuente,
es decir, a las tripas del algoritmos,
algoritmo que determinada quienes determinaba
quiénes consumidor vulnerable para acceder o no al bono social
entiende que la administración sí que está amparada por el derecho
de propiedad intelectual; eso por una parte,
pero además que no se vulnera el principio de legalidad
ni de interdicción de la arbitrariedad
ni el derecho a conocer la motivación de la resolución administrativa.
No lo dice así pero porque estamos ante una potestad reglada,
es decir, yo usuario,
si conozco los requisitos para ser consumidor vulnerable
y resulta que esta resolución no me lo reconoce,
no tengo problemas de tutela, me da igual
si solo ha decidido un funcionario o si lo ha decidido una máquina,
porque si yo recurro el juez,
tiene obligación de acceder o desestimar mi pretensión,
porque yo reúno, los requisitos,
la máquina no aprende por sí misma y por lo tanto, en este caso concreto
no se menoscaba la tutela judicial efectiva.
Por qué los requisitos son los que son
y no importa qué instrumento se haya utilizado si uno humano
o uno no humano para alcanzar esa decisión que efectivamente
es equivocada problemas
o requiere individualmente recurrir a cada una de las personas
cuando lo que se está utilizando de manera sistemática
es una máquina que de manera sistemática con este comete
este error y no sé por qué no todavía Muchas gracias.
No, perdón, no sé por qué no aparece.
Aquí no he metido la sentencia.
Bueno, la sentencia de la semana pasada de la Audiencia Nacional,
de 30 de abril,
que se notificó el martes confirma la sentencia de la instancia
era una sentencia que bueno pues estábamos esperando
pues para ver en qué términos se pronunciaba
Es una sentencia muy escueta que en realidad confirma, primero,
el de la propiedad intelectual de la Administración
respecto de este tipo de instrumentos y, en segundo lugar,
que no se produce menoscabo a la tutela judicial efectiva.
Bueno, pues, porque es fácilmente controlable.
Se conocen los requisitos
y, en realidad, lo conduce a una cuestión de prueba,
entiende que la parte no ha desvirtuado,
uniforme, técnico, de un subdirector del ministerio que afirmaba
que hacer público el código fuente del algoritmo acrecentaba,
las vulnerabilidades del sistema por las razones
que mencionaba antes, es decir,
por qué los jackets pueden acceder a datos sensibles
de las personas potencialmente beneficiarias
de este bono social.
Ahora cabe recurso de casación se preparará, recurso de casación.
Veremos en qué términos precisamente porque la sentencia
como digo se centra mucho en esta cuestión de prueba
y en la casación en principio sólo se pueden formular
cuestiones de derecho
y veremos que en cuestión de interés casacional objetivo
se formula si lo admite el tribunal,
que yo espero que sí y bueno luego en su día
como se pronuncia esta tutela judicial imprescindible
lógicamente tiene que venir acompañada y está siendo acompañada
por tutela administrativa, oportú tutela de órganos independientes,
supervisores, etcétera,
en el proceso de elaboración de la carta de derechos digitales
y planteó la posibilidad de crear una agencia independiente
de derechos digitales que supervisara.
Bueno, pues estas cuestiones dudo mucho
que se cree una agencia de derechos digitales,
por muchos motivos, entre otros, los presupuestarios
se valoró la posibilidad
de que se aumentaran las competencias de la agencia de protección de datos
porque además el reglamento de inteligencia artificial,
sobre todo en el régimen sancionador,
se inspira mucho el Reglamento General de Protección de Datos,
pero pero tampoco creo en la agencia de protección de datos.
Me da la sensación de que no quieren ni oír hablar de ello
porque tampoco le sobran efectivos.
Implicaría más trabajo y casi seguro,
no les dotarían de mayores efectivos para realizar esta función.
El consejo de transparencia y buen gobierno
hasta ahora está desarrollando una función importante,
como hemos visto accediendo en algunas ocasiones
a las solicitudes de transparencia en relación con los instrumentos
de inteligencia artificial que utiliza la Administración,
porque he de decir que no lo he dicho que el consejo de transparencia
ha cambiado de criterio en el caso osco entendió
que no era necesario facilitar el código fuente del algoritmo.
Luego lo ha matizado, no lo ha matizado,
ha cambiado de criterio en resoluciones posteriores
desde la óptica justamente de la tutela judicial efectiva,
y ha indicado que sí que hay esa obligación de transparencia
cuando sea necesario para preparar la defensa
y para garantizar precisamente la tutela judicial efectiva,
para conocer la motivación real de la administración,
en un caso concreto,
otras posibilidades de la Agencia Estatal de evaluación
de políticas públicas que se va a crear fruto de la ley,
de institucionalización de la evaluación de políticas
públicas en la Administración General del Estado,
pero sobre todo por supuesto la Agencia Española de supervisión
de inteligencia artificial, que tendrá su sede en Coruña.
Esto también fue objeto de litigio, pero tendrá su sede en Coruña.
Se estaba eligiendo ahora.
Estaba abierto el proceso selectivo para, bueno,
pues para seleccionar la persona que va a estar al frente de la misma
y, por ejemplo, a los efectos que ahora nos interesan.
No solamente va a acompañar o asesorar
a las administraciones públicas
cuando estas decidan implantar sistemas de inteligencia artificial,
sino que entre sus competencias, curiosa,
tal curiosamente a través de este departamento de sensibilización.
Formación, difusión, promoción y concienciación
se encuentra en la siguiente.
Apoyar técnicamente y o asesorar a jueces y tribunales
en casos de conflictos relacionados con la inteligencia artificial,
a requerimiento de los propios tribunales,
porque esto conecta con la cuestión que mencionaba al principio,
es decir, están jueces y tribunales preparados
para controlar el uso de instrumentos de inteligencia artificial por parte
de las administraciones públicas.
Pues el debate procesal es un debate técnico,
no es el único debate técnico complejo
al que se enfrentan los jueces, tampoco los jueces de lo contencioso
-administrativo, evidentemente, en materias de urbanismo, materias
de alta complejidad económica pues requieren en su caso,
periciales, por ejemplo, pues aquí también,
pero las periciales en esta materia son singularmente costosas
y, por lo tanto, el hecho de que esta agencia pueda,
por ejemplo, participar como una suerte de amicus
curiae en este tipo de procesos, desde mi punto de vista,
coadyuva a la tutela judicial efectiva.
Precisamente por la complejidad de la materia
y porque jueces y tribunales a día de hoy no sabemos si en el futuro,
pues no están excesivamente familiarizados
con este tipo de cuestiones tan relevantes,
y aquí y así aquí ya me detengo.
Muchísimas gracias por la invitación, por la atención,
y quedo a disposición para.
Pues muchas gracias, Susana.
Veo que se ha respetado un poco más o menos la voz
y la verdad que a mí me pasa con este asunto,
que todo el mundo está trabajando, inteligencia, artificial también
en Derecho Constitucional,
y yo no he hecho nada y estoy cada vez diciendo.
Tengo que empezar a hacer algo
porque y claramente es que has hecho una un panorama impresionante,
o sea que nos afecta a todos, a todas las materias
y a todas las cuestiones.
Yo a mí me venía a la cabeza más,
creo que a lo mejor ahora Patricia de esto luego no todo el tema,
pero me viene más a la cabeza porque justo acabamos de tener,
estamos en proceso electoral y me viene a la cabeza
el tema de la desinformación, las feminismos y tal,
pero que no tiene tanto que ver también
con estas cosas de Inteligencia artificial,
pero que es un mundo que me da pánico porque no y cuando has dicho esto
el final de lo de los está esta cuestión,
de que el órgano oeste que viene a bueno
que viene que va a la comunidad,
es que como yo soy de Ferrol viene digo, viene, se se puede utilizar
también como asesor asesor para tribunales, etcétera.
Esto, claro, el problema va a ser como dimensión a ese organismo,
porque como te pongas asesorar a todos los tribunales no llega,
o sea te has dicho antes con la agencia de protección de datos
que no quería, no quiere asumir o probablemente no quiere asumir eso
por falta de personal y de recursos.
Pues esto tampoco cubrirían.
Bueno, no quiero pisar terreno a posibles preguntas.
Las personas que están conectadas a través de Canal UNED
pueden enviar preguntas al correo electrónico que les hemos dicho
y los que están aquí
y las que están aquí pueden hacer ya Ignacio.
Nació Gutiérrez, profesor atribuciones,
si yo no, yo tampoco he hecho nada de Inteligencia,
Artificial, siempre me conformado con la tontería natural
que manejo, y este es un mundo del por qué me siento desbordado.
Yo admiro a los jóvenes que se han metido
en los más jóvenes que yo se han metido en el admiro mucho más
a los mayores,
como Hoffman ring, que se han metido en ese mundo
desde una formación más clásica, aunque él siempre ha sido
lo más innovador que había en el mundo,
y, y yo solo es decir, después de una exposición,
como ha dicho Carlos absolutamente clarificadora.
Para mí es un mundo muy complejo y en el que,
en el que una exposición tan clara se agradece muy especialmente.
Yo me me vuelvo a los principios, se habla de la dignidad humana
y, claro, hoy son principios tan genéricos
que ofrecen muy poco asidero para tomar decisiones concretas.
Hace falta muchos niveles de concreción.
El nivel de con el nivel básico siempre ha sido
el principio de legalidad, y el principio de legalidad impone,
de acuerdo con el artículo 105.
C de la Constitución.
Me están mirando el número, porque yo para los números muy malo
que sea la ley la que regule los procedimientos administrativos
en medida, reforzar la intensidad en la exigencia al principio
de legalidad, permitiría diría pregunto,
digamos vigilar la inteligencia artificial,
porque si los procedimientos administrativos deben ser regulados
por la ley es evidente que no debería bastar,
nos debería bastar con una remisión genérica
de la ley al uso de procedimientos adversativos,
sino que tendría que ser la ley la que especificara
con mucho más detalle todo es eso.
Se se vincula en general a los procedimientos administrativos
ya en el Estado social cuando hay normas de programación final,
y eso pues la el debate está desde Bobbio
con la, con la teoría funcional del derecho, etc.
Las normas de programación final van mucho más vinculadas
a los controles de procedimiento, y esos procedimientos a su vez,
quedan en manos del ejecutivo que dirige la administración pública,
etc. Pero esa ese paso del Estado social al Estado
artificialmente, inteligente o como se quiera llamar,
exige una, a mi juicio,
una revitalización del principio de legalidad.
Por lo que se refiere al a la regulación
de los procedimientos administrativos desde dicho sea, repito,
desde la, desde la ignorancia en esas materias,
si no puedo estar más de acuerdo, y voy a hablar de mi libro,
que no es mi libro pero que no es mi libro,
o sea no como como no sé si lo he dicho al principio,
pero como entre a ocuparme de la inteligencia artificial
en este marco concreto
y la inteligencia artificial lo permea todo,
pues a veces a quien se ocupa estas cuestiones,
nos piden charlas o temas que no guardan relación
con lo que venimos estudiando y en general.
Si eso sucede, digo que no la verdad,
porque no es mi tema y porque la inteligencia artificial
es algo transversal que, insisto permea todo y cada uno
nos tenemos que quedar en mi opinión,
en el ámbito que conocemos, pero dentro de las excepciones,
que no era una excepción.
Tampoco tan extraordinaria.
Me pidieron que preparara una ponencia para el Congreso
de profesores y profesoras de Derecho Administrativo,
que tuvo lugar en Vigo en el mes de enero
sobre el ejercicio de potestades mediante inteligencia artificial.
A la luz y la verdad es que, bueno, pues yo había trabajado
desde la teoría del control, que ya bastante trabajo es,
no había trabajado desde la teoría de la acción administrativa,
que lógicamente, por requiere leer otra bibliografía
y profundizar en otras fuentes distintas.
Eso me llevo por muchos meses de trabajo
y presente la ponencia en el mes de enero,
y la conclusión en realidad era era esa,
del mismo modo que aquí insistido,
en la heterogeneidad de la inteligencia artificial,
ahí se insistía.
En la heterogeneidad
de la propia noción de potestad administrativa
y en la necesidad.
Esa es la conclusión, digamos, más sucinta de aumentar
la densidad normativa.
Necesitamos más principio de legalidad y necesitamos más,
desear normativa.
Ahí se plantean varias preguntas.
Por ejemplo, necesitamos una ley de Inteligencia Artificial,
como, por ejemplo, la futura ley gallega.
Pues en mi opinión no es necesaria una nueva ley
que, por motivos quizás, pues no lo sé de visión,
o que se pueda adoptar también una ley de Inteligencia Artificial.
Pues bueno, pero yo creo que precisamente
como la inteligencia artificial es transversal,
habrá que estudiar en cada caso concreto
qué reformas normativas son necesarias
y en particular, desde luego en el procedimiento administrativo,
en la ley de procedimiento administrativo
y luego en la regulación específica
de cada uno de los procesos de procedimientos administrativos.
Por lo tanto, si necesitamos mayor densidad normativa,
porque además hasta la fecha
la aproximación a la inteligencia artificial,
con las salvedades de reglamento de alguna norma,
se ha realizado desde la ética,
y yo no tengo nada en contra de la ética,
y nos van a hablar hoy de ética, muy bien aquí
pero, claro, yo soy jurista, positivista que piensa en el control
y en la defensa de los derechos de la ciudadanía
y en la acción de la Administración y en someterla a derecho.
Entonces entiendo que en una cuestión tan novedosa como es
esta necesitamos probablemente un nuevo contrato social,
necesitamos repensar esas bases éticas que se encuentran en.
Se son la base del ordenamiento jurídico
y que una vez que las cuestiones estén maduras,
pues se positivizar harán, pero necesitamos también
ese derecho positivo.
Una vez esos acuerdos éticos ya están maduros.
La carta de derechos digitales
en cierta manera representa esos acuerdos éticos,
ese nuevo contrato social y poco a poco se está positivizando.
De hecho,
aparece mencionado en el decreto mencionado en el decreto
-ley seis barra, 2000 veintitres.
Se indica expresamente en el preámbulo
que el elenco de derechos y deberes digitales
en el seno de la Administración de Justicia
se inspira en la Carta.
La Ley 15 barra, 2000 veintidos,
de igualdad de igualdad y no discriminación
en el artículo veintitres hace mención a la carta,
indica también que el uso de algoritmos en el seno
de las administraciones públicas de conformidad con la Carta,
tendrá que respetar el principio de no discriminación, etc.
Se mencionó la carta también, por ejemplo,
en la reciente ley general de telecomunicaciones.
Se va positivizando poco a poco.
Entonces, desde luego, si necesitamos más derecho positivo
y necesitamos densidad normativa que aterrice todo esto
de lo que estamos hablando de juristas tenemos
que estar ahí del lado de los técnicos,
porque si no son ellos los que los que lo están haciendo muy
bien ha pedido la palabra Jorge Portocarrero.
Bueno, aquí otra palabra, y pedía a Jorges profesor.
Bueno, se está incorporando congresos de Derecho Constitucional.
O quién discípulo de pobreza?
Sí y perdone, Jorge voy a hacer también
voy a hacer también dos debía ser, o sea, ahora un mínimo
es tu pregunta a estas dos que hace el profesor sabor,
organizar tacho, que está conectado y hace dos preguntas que es profesor
de derecho constitucional.
Crees que cabe situar en los supuestos de impugnación
de los actos de trámite ese uso,
inteligencia artificial en alguno de los supuestos castigado
y hacia otra pregunta,
que es qué opinión le merece el uso de arterial,
para juri, metería, debería regularse o prohibirse
y Jorge ahora tú y no que Buenos días Jorge Portocarrero ahora
Universidad Pontificia Comillas?
Pero te vas a incorporar enseguida bueno,
vale la declaración, dos cuestiones que quizás me queda
un poco claras desde la perspectiva, un poco más de la teoría
y Filosofía del Derecho, que es donde yo me muevo en un momento
mencionaste que la inteligencia artificial no es un fin en sí mismo,
sino que es un instrumento.
Esto con la idea de dignidad, no humana, o sea,
no le hemos asignado más dignidad como concepto.
Es una afirmación que entró un poco en contradicción,
porque, bueno, la base de la dignidad humana
con la que manejamos actualmente es la dignidad.
El concepto de, en abstracto, no viene de Kant,
no de la metafísica, de las costumbres
y donde dice que precisamente la idea de dignidad
se basa en ser un fin en sí mismo, no solamente un medio,
sino también un fin en sí mismo.
Entonces, cuando dices que la alineat
la y la y ya no es un fin en sí mismo,
sino que es un instrumento, estamos quitando de plano este
cualquier tipo de discusión sobre que tenga una posible dignidad,
alguna máquina o el logaritmo basado en este tipo de inteligencia.
Inteligencia es una pregunta,
cuál es tú opinión sobre eso
y, segundo, sobre los límites de la inteligencia artificial
en las decisiones judiciales?
No mencionase el ejemplo de Alemania,
donde se prohíbe decisiones donde exista
el uso de inteligencia artificial
en decisiones donde existe valoración y discrecionalidad,
entonces ese es el límite,
o sea, sería el límite, no todo el entorno,
razonamiento judicial, que no vaya más allá de una mera subsunción,
donde tener que valorar este cuestiones, un poco más,
estoy pensando en proporcionalidad o en ponderación
en donde tenga que verse valores,
o en la definición de conceptos este vagos controvertidos,
la inteligencia artificial tendría una pared que no podría saltar,
y esto en relación con el principio de jueces,
que ser un juez natural o ser un juez este online.
Bueno, muchas gracias, y esta no sé tu opinión.
Sobre este gracias.
No sé si hay alguna como queramos,
pero de momento no llevamos.
Vale, pues muchísimas gracias.
Luego luego le damos la palabra después,
si en relación con las preguntas que planteaban en el chat,
efectivamente la la cuestión de esos instrumentos
de Inteligencia Artificial
que, por ejemplo, se utilizan para elaborar un listado de personas
a las que se va a investigar por fraude, nos lleva a la pregunta
de la potencial recurribilidad de esas decisiones.
Podría quizás interpretarse de manera generosa la regulación concerniente
a los recursos frente a actos de trámites,
pero en mi opinión, en este tipo de cuestiones
creo que convendría realizar una reforma normativa
en el sentido ya indicado porque creo que es un ejemplo perfecto
de cómo la ley de procedimiento está planteando nuevo reto nuevos desafíos
que requieren probablemente adaptarla a los nuevos contextos.
Entonces interpretándolo de una manera amplia
quizás lo veo complicado pero desde luego me parece
que sí que hay que reformar la ley de procedimiento para esa cuestión.
El tema de la júreme trilla es decir,
utilizar instrumentos de inteligencia artificial,
por ejemplo por despachos de abogados,
para valorar las posibilidades de éxito de una demanda
si recae en tan juzgado o en tal otro.
Bueno, esto en Francia está prohibido, por ejemplo,
por presión del ovi de jueces.
Entiendo, bueno, es un instrumento más, a mí me interesa,
porque, más allá del derecho conectado con el derecho,
es verdad que en Estados Unidos,
en esta distinción, no, no se realiza tanto,
pero pero me interesa con carácter general
los mecanismos que ahora se ha puesto de moda, los mecanismos
por los cuales los jueces adoptan resoluciones judiciales,
no que eso, desde la ciencia política,
desde la sociología,
pues ha llevado a varias publicaciones,
y yo creo que este es un instrumento más que puede
ser utilizado a través de datos para intuir,
como los jueces toman decisiones y para intuir
pues en qué sentido se van a pronunciar o no.
No me veo motivo para prohibirlo desde ningún punto de vista,
como ha sucedido en Francia.
La dignidad, si me permiten, reformularlo.
En realidad, la pregunta es si la inteligencia artificial
tiene dignidad, no es una reformulación
que por ser subrayado, que la dignidad no humana,
sino la dignidad y que entonces es contradictorio,
sea la pregunta,
y si si lo he entendido bien es si la inteligencia artificial
tiene dignidad.
Ese es un debate que me imagino que Fernando ya no o directa
o indirectamente lo va a abordar hoy en su ponencia.
Es una cuestión que viene ocupando a los teóricos y filósofos
del derecho desde hace un tiempo como administrativista.
Yo me quedo en que la máquina es un instrumento.
Y los límites?
Si efectivamente con una regulación jurídica
como la alemana, el límite es evidente,
yo no sé si van a mantener esa regulación
o la van a modificar no lo sé;
me parece que probablemente se debió a una aplicación del principio
de precaución muy entendible ante los nuevos desarrollos,
pero yo no estoy segura
de que se pueda prescindir totalmente del uso de instrumentos
de inteligencia artificial en el ejercicio
de la discrecionalidad he de decir que yo he cambiado de opinión aquí
y porque es un tema que evoluciona cuando empecé a ocupar
de estas cuestiones tenía una posición radicalmente contraria
al uso de instrumentos de inteligencia artificial
en el ejercicio de la discrecionalidad,
pero evolucionado, y me uno más autores,
pues como Alejandro huelgo, Yuri Ponce, sigue manteniendo
que no, pero precisamente porque la inteligencia artificial
en muchas ocasiones no se utiliza para la adopción de una resolución,
es decir, para automatizar una decisión,
sino en momentos previos.
Creo que el instrumento de inteligencia artificial
puede permitir a la administración manejar mucha más información
y reducir la discrecionalidad.
Por lo tanto, creo que tenemos que reflexionar e ir
hacia una posición quizás un poquito más matizada,
y pensar con calma cómo y de qué manera
permitimos el uso de instrumentos de inteligencia artificial,
también en el ejercicio de la discrecionalidad,
porque puede contribuir a reducirla.
Muy bien.
Hay otra palabra pedida y al fondo y las dos últimas,
porque tenemos que intentar terminar ya la misma Sí?
Sí?
Pero estas dos sí sí perdón,
es que nos retrasamos porque llevamos ya ya,
pero sí aquí delante y luego allí bueno.
Gracias.
Buenos días.
Muchas gracias por la ponencia, muy interesante
y yo estaba un poco al tema de la disertación sobre el control.
Estaba en las de sabe qué?
Un reglamento inteligente, artificial,
la dado el control de la, el supervisor europeo,
que en Francia y Alemania
ni nada han sido las autoridades de protección de datos
las que han obtenido ese control.
Sin embargo, en España se optado por una autoridad distinta,
distinta, distinta, la inteligencia artificial,
eso general también problemas, puesto que esto que el qué amplia,
amplio actuación se sobre se controla,
se sobreponen uno con otros,
y eso puede llegar a dar a problemas evidentes,
pues me gustaría saber cuáles son opinión al respecto.
Quizás sería mejor dárselo la gente, protección de datos
o cómo podríamos solventar estos problemas,
además de sobre eso,
pero la sección de ámbitos sí comparto completamente
la preocupación,
porque hay que añadir además otros organismos.
La ecuación.
Hay que añadir la CNMC, que ha sido la autoridad a para,
como órgano de gobernanza de aplicación
o de ejecución de reglamento de servicios digitales.
Creo que la hacen emergidas.
Aspiraba a ser también
el órgano de gobernanza en relación con la inteligencia artificial
y en mi opinión, tendría sentido desde la convicción
de que este tipo de organismos son necesarios
para dotar de un sistema robusto, de control,
porque los jueces llegan a lo que llegan.
Creo que esta dispersión no ayuda y luego además podríamos hablar
de la configuración concreta de la silla de la Agencia Española,
su provisión de la inteligencia artificial,
porque las notas de independencia son, cuando menos cuestionables,
muy cuestionables.
Por qué?
Porque son personas designadas por los ministerios.
Entonces, pues si destinarán técnicos independientes,
como parece que ha sido, pero no parece que esa tenga que ser
la configuración de un organismo independiente,
entonces va a haber problemas, haber problemas de solapamiento
y quizás habrá que establecer protocolos de coordinación este año
o la anterior ya no.
El año pasado tuvimos en Toledo
en la facultad en el centro de estudios europeos,
un investigador italiano que ha terminado ya su tesis,
que trabajaba en modelos de coordinación de autoridades
de supervisión, en protección de datos,
en gobernanza de datos perdón, y parece ser,
nos explicó que en Italia existe un protocolo
porque también hay distintas autoridades
que de una manera o de otra tienen competencias,
que convergen en una misma realidad y hay protocolos de cooperación
y no daba crédito porque en España no.
Hasta la fecha, si no me equivoco, no existen,
no estoy segura, he de decir estoy segura,
pero en cualquier caso tendrían que existir y tendrían
que desarrollarse de una manera un poco robusta precisamente
para evitar este tipo de problemas.
Bueno, lo dejamos aquí.
Para acabar al asocie los Jorge y muchísimas gracias.
La verdad que yo me quedaría todo el tiempo escuchando,
porque lo que ha dicho Ignacio
examinas ha aclarado muchísimas cosas y me has acercado a este mundo,
y a lo mejor a partir de ahora empezamos a hacer algo.
Los que no habíamos hecho nada, tú nuevo.
Bueno, ya veremos.
Muchas gracias y ya vamos.
Paso a la siguiente.