Y ahora pues tenemos el placer de poder escuchar un resumen
de estos trabajos tan buenos que han sido merecedores
de los premios.
Bueno, vamos a seguir el orden marcado en la agenda
y en primer lugar está la presentación del trabajo ganador
al premio del trabajo fin de máster.
Presenta Adrián Lujil de López.
Bueno, buenas tardes a todos.
Yo no estoy tocando nada.
Ah, vale.
Ya me estaba extrañando.
Buenas tardes a todos.
Bueno, me presentaron.
Mi nombre es Adrián Lujilde.
Y antes de comenzar, quisiera dar las gracias tanto al comité
y a la organización del evento, no solo por el premio,
sino por la oportunidad de presentar este trabajo aquí.
Titulado Diseño y Desarrollo de Simulaciones
en Unity para la práctica de la endoscopia intestinal.
Y, bueno, pues quería introducir un poco el origen
de dónde surgió este trabajo, lo que se hizo durante el TFM
y el estado actual del proyecto,
porque es un proyecto que sigue en desarrollo durante mi tesis.
Entonces, comenzando con el origen del proyecto,
esto surgió ante la respuesta por necesidades en el aprendizaje
en la formación de colonoscopia.
Los colonoscopistas novatos necesitan aprender un conjunto
de conocimientos sobre patologías y anatomía,
así como una elaborada coreografía de movimientos,
sobre todo en lo referente a coordinación mano-ojos,
para controlar el endoscopio durante los procedimientos.
Este aprendizaje se realizaba normalmente.
En procedimientos con pacientes reales,
siendo la supervisión de un experto o colaborando con él
o simplemente como un observador.
Esto es un problema porque no hay un número exacto,
pero por lo general podemos establecer un estándar
como más de 200 procedimientos necesarios de este tipo
antes de poder participar en ningún escenario clínico
con pacientes reales.
En las últimas décadas se estandarizó ante estas necesidades de aprendizaje
el uso de simuladores de distintos tipos,
pasando por los que usan animales, son simplemente sus órganos,
los modelos mecánicos con modelos de plástico o goma
y los más avanzados siendo los computarizados
que ya se intentan imitar un entorno de simulación virtual
para realizar esta práctica.
Pese a que por lo general han dado unos resultados muy atractivos,
muy buenos, en comparación con la práctica
con simplemente un experto y pacientes reales,
pues sí que presentan diversos problemas,
como puede ser la dificultad de compararlas al entrenamiento,
tienen un realismo reducido,
un número de entrenamientos también limitado,
la sensibilidad de la práctica obviamente no es la misma,
sobre todo, por ejemplo, en los que son de entorno virtual,
se pierde esa sensación de resistencia de los órganos, etc.,
Y sobre todo lo más notable es que tienen un precio elevado,
el desarrollo de estos simuladores suele ser muy costoso,
sobre todo para los computarizados, a más avanzado más coste,
y tienen una portabilidad y una disponibilidad muy limitada,
debido también en relación a estos tamaños,
a los precios, solo están disponibles en centros de simulación,
instituciones médicas y en muy pocos,
por ejemplo en España.
Según los datos que tenemos, solo están disponibles
los computarizados, un modelo de una compañía,
en tres hospitales de España.
Entonces, hay una limitación a la hora de realizar esta formación
con los estudiantes.
De aquí surgió la idea de intentar proponer una alternativa
o buscar soluciones a estos problemas que presentaban los simuladores.
Y surgió la idea de, con este diseño y desarrollos,
intentar lograr una aplicación que nosotros llamamos
Logivit, Logger Guasting Test en el Virtual Trainer,
que es básicamente un entorno de entrenamiento virtual
para formación de cronoscopio en escenarios preclínicos.
Se desarrolló en Unity, en el framework de Unity,
ya que es un software de alta disponibilidad
y que es compatible con dispositivos bastante económicos,
no es que con un buen trabajo de optimización
requiere pocos componentes hardware.
Y el objetivo,
más allá de simplemente diseñar y desarrollar esta simulación
y si ve las capacidades de las tecnologías actuales,
es en última instancia conseguir una herramienta complementaria
para formación en colonoscopia en etapas iniciales,
centrándonos en últimos años de medicina,
lo que correspondería con la adquisición
de los conocimientos sobre patologías y anatomía.
Y los primeros años de residencia, R0 y R1,
ahí ya entraría la parte de la formación técnica y adquisición
de esa coreografía, mano a ojo,
esos conocimientos sobre cómo controlar el endoscopio.
Entonces, bueno, como se incluye a lo largo del TFM,
se realizará una serie de diseños, una serie de desarrollos
para probar distintas tecnologías.
Cómo estaba en este estado
la virtualización para trabajar con estos entornos
y a partir de estos desarrollos se sentaron básicamente
como tres bases o tres principios que se siguieron a lo largo
de todo el desarrollo.
En primer lugar, seguir la misma idea de los simuladores computarizados,
era el desarrollo de un entorno virtual
con virtualización para el escritorio,
para lo de los escritorios, lo hicimos en un principio,
usando ratón y teclado para los controles o un gaypad,
el típico control de una Xbox o de una Playstation,
ya que tiene controles como los joysticks o tal,
que favorecen simplemente no tener ese control binario
que puede tener un teclado.
También se estableció como principio básico
la inclusión de un editor de modelos para la creación de los modelos,
Y esto es en relación a los límites en el número de escenarios.
Más allá de los simuladores físicos,
que ya tienen sus propias limitaciones físicas,
como es normal,
los computarizados suelen incluir módulos que traen 10 o 15 modelos
y no permiten variaciones.
Son muy costosos.
Los hospitales compran una colección y ya no compran más.
Entonces, pues hay un límite.
El entrenamiento repetitivo no favorece a los estudiantes.
Entonces la idea era darle la vuelta al problema
y generar modelos sintéticos desde cero sin necesidad de,
como hacen los computarizados,
que dependen o de una creación manual por parte de un técnico
de todos los modelos y las mallas o de reconstrucciones de 2D
a 3D que requieren tanto conocimientos como médicos y técnicos
para obtener unos modelos válidos y que también tienen estos costes
tan elevados de producción.
Entonces optamos
por una solución que no encontramos en la literatura, que era
simplemente crear modelos sintéticos parametrizados
donde el usuario, en nuestro caso, después de varias iteraciones,
optamos por crear el modelo con curvas de Bézier
en su conjunto formando un spline y los modelos se pueden cambiar
en tiempo real alterando los nodos y otra serie de herramientas
que mostraré más adelante con unos vídeos que tengo.
Y la última base que terminamos con este trabajo
era modular las físicas.
Tenemos que modular tanto por un lado las físicas del endoscopio flexible,
probando elementos que ya tiene Unity,
por ejemplo articulaciones, muelles y otra serie de elementos dinámicos
y físicos para, de alguna forma, como se intentó,
discretizar en elementos más pequeños el endoscopio y simular
el funcionamiento y las físicas de su tubo de inserción.
Y por otra parte,
la física de soft bodies, que es la física de los cuerpos del órgano,
básicamente los tejidos.
Es un órgano con propiedades anisotrópicas y plásticas,
tiene elasticidad longitudinal, transversal,
tiene una posición de reposo a la que intenta volver,
pero acepta deformaciones.
Entonces, es necesario aplicar unos cálculos de físicas
bastante avanzados
y que requieren una curiosidad muy adecuada para poder simular
cómo se comportaría el órgano realmente.
Todos estos desarrollos
nos llevaron al estado que se ha mostrado en el TFM
y algunas inclusiones del estado actual,
donde en desarrollo progresivo
se llevó el entorno a un desarrollo virtual,
una escena virtual con VR,
se usó el kit de Steam incluyendo controles y las gafas,
ya que son de los pocos controles del mercado que soportan
la detección de gestos de manos y movimientos de las manos.
Migramos todo lo que es el proyecto a un entorno en realidad actual
para aumentar la inversión y la experiencia
de los participantes.
El desarrollo se mantuvo en Unity,
solo que hicimos una migración de lo que es la pipeline
de renderizado por defecto a una pipeline HD,
lo que nos permitió tener texturas y materiales de mayor calidad,
donde ahora podemos representar tanto las paredes celulares,
las venosidades, refracciones de mucosa,
artefactos de iluminación, juegos de cámara, etc.
Es una visualización mucho más realista que nos permite dar imágenes
más cercanas a los reales y al nivel de muchos simuladores
computerizados comerciales.
Seguimos con el desarrollo del editor.
Se hizo un editor ya íntegro
completamente para crear modelos avanzados desde cero,
con un montón de herramientas para que puedan los usuarios
crearlos a su gusto.
Y se hicieron también dos tipos de entrenamientos configurables
con navegación guiada.
Se hizo esto porque en la primera etapa,
siguiendo el desarrollo que comentaba,
nos centramos en herramientas para la formación en los últimos años
de medicina, la formación en cuanto a conocimientos
de patologías y anatomía.
Y dejamos un poco de lado hasta ahora la generación de las físicas,
más allá de lo que se hizo durante el TFM,
para dejarlo en la segunda etapa
y orientarlo a las etapas de residencia de R0 y R1.
Asimismo, ahora se han hecho finalmente integraciones
con un interés artificial
para proporcionar apoyo durante los entrenamientos
y también a la hora de generar los modelos,
pues dar un poco de agilidad durante esta generación.
Entonces, viendo un poco las funcionalidades
respecto a los escenarios ilimitados, tenemos el editor,
aquí podemos ver el entorno de navegación,
la vista de un usuario normal,
pueden controlar los nodos de control,
cambiar las posiciones del intestino a su gusto,
todo está en tiempo real, son los dos de la spline,
pueden poner las formas que quieran y a su gusto.
También, bueno, como pueden ver,
aunque nosotros somos un órgano entero durante el modelado,
el órgano sí está discretizado.
Cada una de las secciones que se ve ahí están discretizadas,
son austras, independientes, que con herramientas de modelado,
basado en morfing, una técnica modelada en 3D,
pues podemos cambiar.
Desde la forma, la presencia de las vándalas musculares,
los pliegues, los cierres en las uniones, etc. Ya subimos,
excluimos, aquí se está viendo navegación interna por dentro,
pues para colocar patologías, pueden girarlas,
hacerlas más grandes o más pequeñas.
Estamos haciendo un banco,
estas son simplemente unas de prueba,
pero estamos haciendo un banco de datos en colaboración
con los médicos del hospital de Vigo,
el hospital Hablado Conqueiro.
Para generar las mallas 3D para que puedan tener
una base de datos de patologías de distintos tipos
e incluirlas en los modelos y así poder
tener esta variabilidad que tanto nos gusta.
También hay una serie de herramientas
como, por ejemplo, presets para formas predefinidas,
loops que quieran repetir más veces, lo pueden guardar,
reutilizar, exportar, compartir con los estudiantes,
esto en aras de agilizar la edición.
También para agilizar la edición incluimos la integración con usos
de inteligencia artificial para generar modelos
parametrizados del intestino.
Básicamente hicimos fine tuning de LLMs a partir de pruebas
de usuarios orientados, por ejemplo, a un nuevo intestino grueso
con una formación en alfa loop en el sigmoide
y un gamma en el transverso y pues el.
El LM lo entiende y nos genera el archivo JSON
que contiene todas las estructuras para esa spline de la cava,
todos los puntos de control, los nodos,
así como valores para darle forma a esas herramientas de morphing,
esos blend shapes que dan forma a cada anillo.
Actualmente seguimos refinando el modelo.
Para CACETE, en última instancia,
es directamente el caso de un paciente, mujer de 40 años,
con lesión intestinal, pólipo de clase 2A en tal sitio,
de forma que simplemente un médico no tenga que hacer
todo el ajuste desde el principio y pueda usar al final el editor
si lo necesita solo para hacer un retoque fino,
algunos cambios o si quiere, pues lo puede crear desde cero
en el editor.
Y ya en cuanto a entrenamientos, pues definimos dos tipos.
El primer tipo sería el de disolución o el de cobras,
en el que la idea es que el usuario debe cubrir la mayor superficie
del lumen posible.
Ellos entran en nuestra navegación, donde tienen, bueno, pues.
Esta vista puede configurar el entrenamiento,
la configuración puede hacerlo más fácil o menos fácil,
puede activar o desactivar un asistente de IA
que tiene para ayudarlo durante el entrenamiento,
una vista externa del órgano que le muestre
los porcentajes que ya ha cubierto,
que pueda ver qué partes del órgano estás en explorar,
al final es para dificultar o facilitar el entrenamiento.
Y en estos entrenamientos guiados,
pues como no tenemos esas físicas aún,
estos entrenamientos son sólo para formación en patologías
y.
La anatomía, pues navegación es guiada,
va por el centerline que está definido por la spline.
Los usuarios, pues con el control derecho,
el mando, simulanlo que sería el movimiento del tubo.
Deben avanzar, agarrar hacia atrás, avanzar hacia delante,
tienen un control de velocidad.
La mano izquierda representa los controles del endoscopio,
que son los que controlan la angulación de la punta,
el endoscopio de la punta, el estómago distal.
Puede angularse para girar la cámara,
cambiar la luz, misuflar aire,
todas estas herramientas están en esa mano.
Entonces deben acostumbrarse a hacer los juegos de muñeca
con la mano derecha, enfrentar el tubo, avanzarlo,
con la izquierda controlar la angulación de la cámara,
de la punta, para apuntar a los distintos sitios.
Y de ahí vengo el objetivo, como una colonoscopia real,
cubrir toda la superficie posible para no perder ninguna patología,
nada durante el procedimiento.
Y el segundo tipo es ya el entrenamiento de detección
y identificación de patologías.
En este caso, el del vídeo es de pólipos,
mismo entorno, la configuración obviamente es distinta,
configuran otras herramientas, poder ver las patologías,
saber cuántas hay, cuáles no, poder hacer la corrección
de la identificación in situ.
Y la idea es, pues una vez tienen ya la familiaridad
con esta exploración, el COBRAS,
deben ahora detectar los pólipos dentro de lo que es el órgano en sí
y realizar la identificación y la clasificación correcta.
Como ven ahí, pues está jugando un poco con la muñeca
para intentar orientar correctamente.
Ahí no está bien identificado con la cámara del pólipo,
debe tomar otra posición para tomar la captura.
Si no, no es válida.
La inteligencia artificial está diciendo
que corrija la captura.
Una vez está en un ángulo correcto,
saca la captura y le saca una venta divergente
para que realice la clasificación, en este caso, tamaño y ubicación,
y las escalas de París y Jotanet,
que son escalas que tienen los pálipos.
Todo esto puede interaccionar en cualquier momento
con la inteligencia artificial para que preguntarle
a la clasificación cuál es la que debe usar
o, básicamente, incluso cómo funciona el entrenamiento y qué debe hacer.
Es simplemente ese soporte
para que no haga falta que requieran,
como por ejemplo los computerizados o con órganos de animales vivos
o muertos, tener un supervisor para que les esté ayudando.
Y bueno, esto son simplemente funcionalidades hasta ahora.
Esto sigue siendo un proyecto en desarrollo,
es la continuación de mi tesis.
Y ahora hemos pasado a la segunda etapa
en la que se está planteando.
Ya se ha iniciado la sensorialización de un endoscopio real,
no un endoscopio 3D,
sino los endoscopios reales como tienen en las aulas
para formación o los procedimientos de colonoscopia,
porque así también facilita la creación de un gemelo digital
y evita que queramos simular manualmente todas las interacciones
del endoscopio,
lo que nos reduce la carga computacional.
También estamos.
Hemos retomado los desarrollos de formaciones físicas,
tanto los que ya se habían usado en el TFM,
como fueron las creaciones de modelos de muelles por masa
o métodos con elementos finitos para las formaciones,
o integraciones de otras librerías como SOFA,
que es un framework que ya está diseñado
para la simulación de órganos
y todos sus comportamientos en el método médico,
pero que no tiene una integración directa con Unity.
Y así mismo, bueno, hay ciertos refinados
que están haciendo para tener mallas mejores,
como la integración de motores de renderizado de programas
de gestión 3D, como puede ser Blender,
y obviamente, pues, seguir refinando y hacer fine tuning de los LLMs
para que puedan ofrecer unas sugerencias
y un apoyo más adecuado durante el entrenamiento.
Todo eso, bueno, un proceso en desarrollo,
sigue en trabajo.
Si tienen alguna curiosidad, dejo ahí mi correo
por si alguien quiere ponerse en contacto y espero
que les haya resultado interesante.
Si te parece.
Yo por si hay alguna pregunta.
Ah, no sabía que había sesión de preguntas, perdón.
No, como nos indicó, no, no, no, para nada, como nos indicó.
Vale, vale, perfecto.
Mejor, si eso es que hay curiosidad por.
Bueno, muchísimas gracias por la presentación,
muy interesante trabajo.
Y bueno, no sé si hay alguna pregunta sobre el trabajo.
Muchas gracias.
Sí.
No hubo mala relación porque la idea surgió,
esto surgió de otro proyecto,
estaba haciendo la medición de lesiones musculoesqueléticas
con un traje completo y demás durante colonoscopia.
Entonces, estaba trabajando con médicos
y entonces, claro, surgió el contacto con algunos que decían, mira,
tenemos estas necesidades para entrenamiento,
hay estos problemas,
necesitamos algo, ¿qué nos podéis ofrecer?
Cuando ya surgió,
pues estamos trabajando con ellos, tenemos reuniones mensuales
o cada dos semanas para ver el progreso,
hacer los ajustes.
Este viernes estemos en Coruña,
en el centro de formación a nivel gallego para cronoscopia,
también quieren colaborar con nosotros,
vieron el proyecto.
Y ahora se van a unir también al proyecto para colaborar con él.
Entonces, no hubo en ningún momento esa complejidad de colaborar.
Un único malo, que es una especialidad única en medicina.
Entonces, es difícil encontrar médicos.
Por ejemplo, en el Conqueiro creo que tienen solo 17 coloscopistas,
de los cuales 6 o 7 son residentes.
Entonces, no hay esa.
Cuando quieres formar grandes grupos para hacer grupos de control
y tal, es bastante complicado.
Pero bueno, la colaboración es buena.
En sí no hay ningún problema.
Gracias.
Bueno, yo quería también hacer una pregunta
y es si se había evaluado con médicos,
o sea, si hay datos de evaluación, no se espera hacer en un futuro.
Se hicieron los datos de evaluación respecto al editor,
por ejemplo, en su versión cuando estaba modo escritorio,
cuando estaba para trabajar en escritorio.
A partir de ahí se recogió el feedback
para pasarlo al trabajo en radio virtual
porque les faltaba esa.
Inmersividad, querrían, estaban acostumbrados
pues a otras experiencias
y pues ahora estamos haciendo las pruebas con la red virtual,
lo están probando ahora,
por eso fue por ejemplo esta visita al centro de formación en Coruña
y pues la siguiente etapa ahora es con este centro,
con el que vamos a colaborar
para hacer las pruebas del endoscopio sensualizado,
pues ellos tienen allí ya unas instalaciones,
tienen un personal, ya hacen sesiones de formación,
entonces vamos a colaborar con ellos
para poder hacer las pruebas del endoscopio con ellos allí también.
Muchas gracias.
¿Alguna pregunta más?
Sí.
¿No hay que facilitar ese entorno para poder comunicarse con el.
Con el endoscopio.
Estamos trabajando en ello,
pero no hay ninguna dificultad en el sentido
de que acepta entradas por serial, por Bluetooth, por Glicy,
tiene un montón de plugins que acepta cualquier input.
Es más complicado en el sentido
de visualizar correctamente toda la información
y recoger correctamente cómo está moviendo el tubo,
porque es un tubo flexible.
Entonces, nuestra idea es, como hicimos cuando se modeló en 3D,
se hizo un.
Gemelo digital, pero de cero,
no partió de uno real.
Pues se descritizó en unidades pequeñas
y cada una era como se simulaba la forma.
Aquí se va a descritizar igual el tubo con sensores equidistantes
a lo largo del tubo para poder coger el movimiento
y lo que es la unidad de control, pues el hecho son.
Bueno, voy a cerrar la presentación porque no he contado
con las preguntas.
Pero bueno, la unidad de control tiene una serie de ruedas y la idea
es que con potenciómetros se recogen los diferentes de voltaje,
intensidad, para recoger esas angulaciones de la rueda.
Esos son datos que se realizan, se pasan a Unity
y no es ningún problema.
Hay que hacer los algoritmos
y el código para saber a qué se corresponde,
pero no hay ningún problema porque ya está pensado.
Tiene un montón de drivers,
un montón de plugins para trabajar con dispositivos ápticos
de otros elementos.
Unity es un motor pensado para el desarrollo de juegos en sí.
Por eso, por ejemplo, tenemos que buscar las físicas
en otros software porque era muy útil.
Unity como está es muy útil para lo que hicimos del desarrollo
del editor porque permite trabajar con las mallas a muy bajo nivel.
Las mallas al fin y al cabo se crean prácticamente desde cero.
Parten de un anillo.
Las austras que hablaba, que son anillos independientes,
es la única malla que se usa de verdad.
Luego se colocan a lo largo de la spline, se deforman,
entonces Unity permite trabajar con eso a muy bajo nivel.
¿Qué pasa en las deformaciones?
Por ejemplo, solo deja deformaciones rígidas,
no de cuerpos blandos.
Entonces hay que hacer la integración.
Entonces todo eso al final estamos inventando cosas nuevas
porque como no las hay, pues tenemos que hacer esas integraciones
y lo del endoscopio no es precisamente
lo que más problemas nos haya dado.
En el sentido de que drivers
y eso va muy bien en Unity.
Pues muchísimas gracias, ha sido un trabajo excelente,
muchísimas gracias por exponerlo y nada,
pues vamos a continuar con la siguiente.