Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información
Las imágenes de resonancia magnética son comprensiblemente complejas y contienen muchos datos.
Debido a esto, los desarrolladores entrenar modelos de lenguaje grandes (LLM) para el análisis de resonancia magnética han tenido que dividir las imágenes capturadas en 2D. Pero esto da como resultado sólo una aproximación de la imagen authentic, lo que limita la capacidad del modelo para analizar estructuras anatómicas intrincadas. Esto crea desafíos en casos complejos que involucran tumores cerebralestrastornos esqueléticos o enfermedades cardiovasculares.
Pero GE atención sanitaria parece haber superado este enorme obstáculo al presentar el primer modelo básico de investigación (FM) de resonancia magnética 3D de cuerpo completo de la industria en la feria de este año. AWS re: Inventar. Por primera vez, los modelos pueden utilizar imágenes 3D completas de todo el cuerpo.
El FM de GE Healthcare se creó en AWS desde cero (hay muy pocos modelos diseñados específicamente para imágenes médicas como las resonancias magnéticas) y se basa en más de 173 000 imágenes de más de 19 000 estudios. Los desarrolladores dicen que han podido entrenar el modelo con cinco veces menos computación de la que se necesitaba anteriormente.
GE Healthcare aún no ha comercializado el modelo básico; todavía se encuentra en una fase de investigación evolutiva. Un evaluador temprano, Common de masa Brighamcomenzará a experimentar con él pronto.
«Nuestra visión es poner estos modelos en manos de equipos técnicos que trabajan en sistemas de atención médica, brindándoles herramientas poderosas para desarrollar aplicaciones clínicas y de investigación de manera más rápida y también más rentable», dijo a VentureBeat Parry Bhatia, director de inteligencia synthetic de GE HealthCare.
Permitir el análisis en tiempo actual de datos complejos de resonancia magnética 3D
Si bien se trata de un desarrollo innovador, la IA generativa y los LLM no son territorio nuevo para la empresa. El equipo lleva más de 10 años trabajando con tecnologías avanzadas, explicó Bhatia.
Uno de sus productos estrella es AIR Recon DLun algoritmo de reconstrucción basado en aprendizaje profundo que permite a los radiólogos lograr imágenes nítidas más rápidamente. El algoritmo elimina el ruido de las imágenes sin procesar y mejora la relación señal-ruido, reduciendo los tiempos de escaneo hasta en un 50%. Desde 2020, 34 millones de pacientes han sido escaneados con AIR Recon DL.
GE Healthcare comenzó a trabajar en su MRI FM a principios de 2024. Debido a que el modelo es multimodal, puede admitir búsquedas de imagen a texto, vincular imágenes y palabras, y segmentar y clasificar enfermedades. El objetivo es dar profesionales de la salud Más detalles que nunca en una exploración, dijo Bhatia, lo que lleva a un diagnóstico y tratamiento más rápidos y precisos.
«El modelo tiene un potencial significativo para permitir el análisis en tiempo actual de datos de resonancia magnética 3D, lo que puede mejorar procedimientos médicos como biopsias, radioterapia y cirugía robótica», dijo a VentureBeat Dan Sheeran, gerente normal de atención médica y ciencias biológicas de AWS.
Ya ha superado a otros modelos de investigación disponibles públicamente en tareas que incluyen la clasificación del cáncer de próstata y la enfermedad de Alzheimer. Ha mostrado una precisión de hasta el 30 % al hacer coincidir exploraciones de resonancia magnética con descripciones de texto en la recuperación de imágenes, lo que puede no parecer tan impresionante, pero es una gran mejora con respecto a la capacidad del 3 % exhibida por modelos similares.
«Ha llegado a una etapa en la que está dando resultados realmente sólidos», dijo Bhatia. «Las implicaciones son enormes».
Hacer más con (muchos menos) datos
El proceso de resonancia magnética Requiere algunos tipos diferentes de conjuntos de datos para respaldar diversas técnicas que mapean el cuerpo humano, explicó Bhatia.
Lo que se conoce como técnica de imágenes ponderadas en T1, por ejemplo, resalta el tejido graso y disminuye la señal de agua, mientras que las imágenes ponderadas en T2 mejoran las señales de agua. Los dos métodos son complementarios y crean una imagen completa del cerebro para ayudar a los médicos a detectar anomalías como tumores, traumatismos o cáncer.
“Las imágenes de resonancia magnética vienen en diferentes formas y tamaños, de manera comparable a como tendrían libros en diferentes formatos y tamaños, ¿verdad?” dijo Bhatia.
Para superar los desafíos presentados por diversos conjuntos de datos, los desarrolladores introdujeron una estrategia de «cambiar el tamaño y adaptar» para que el modelo pudiera procesar y reaccionar ante diferentes variaciones. Además, es posible que falten datos en algunas áreas (una imagen puede estar incompleta, por ejemplo), por lo que le enseñaron al modelo a simplemente ignorar esas instancias.
“En lugar de quedarnos estancados, le enseñamos al modelo a saltarse las brechas y centrarse en lo que estaba disponible”, dijo Bhatia. «Piense en esto como resolver un rompecabezas al que le faltan algunas piezas».
Los desarrolladores también emplearon el aprendizaje semi-supervisado entre alumnos y profesores, lo que resulta especialmente útil cuando hay datos limitados. Con este método, se entrenan dos redes neuronales diferentes con datos etiquetados y sin etiquetar, y el profesor crea etiquetas que ayudan al estudiante a aprender y predecir etiquetas futuras.
«Ahora estamos utilizando muchas de estas tecnologías autosupervisadas, que no requieren grandes cantidades de datos o etiquetas para entrenar modelos grandes», dijo Bhatia. «Scale back las dependencias, lo que permite aprender más de estas imágenes sin procesar que en el pasado».
Esto ayuda a garantizar que el modelo funcione bien en hospitales con menos recursos, máquinas más antiguas y diferentes tipos de conjuntos de datos, explicó Bhatia.
También destacó la importancia de la multimodalidad de los modelos. «Mucha tecnología en el pasado period unimodal», dijo Bhatia. “Solo miraría la imagen, el texto. Pero ahora se están volviendo multimodales, pueden pasar de imagen a texto, de texto a imagen, de modo que se pueden incorporar muchas cosas que se hacían con modelos separados en el pasado y realmente unificar el flujo de trabajo”.
Hizo hincapié en que los investigadores sólo utilizan conjuntos de datos sobre los que tienen derechos; GE Healthcare tiene socios que otorgan licencias para conjuntos de datos no identificados y tienen cuidado de cumplir con los estándares y políticas de cumplimiento.
Uso de AWS SageMaker para abordar los desafíos de datos y computación
Sin duda, existen muchos desafíos al construir modelos tan sofisticados, como la potencia computacional limitada para imágenes 3D de gigabytes de tamaño.
«Es un volumen masivo de datos en 3D», dijo Bhatia. «Es necesario traerlo a la memoria del modelo, lo cual es un problema realmente complejo».
Para ayudar a superar esto, GE Healthcare se basó en Amazon SageMakerque proporciona redes de alta velocidad y capacidades de capacitación distribuida en múltiples GPU, y aprovechó Nvidia A100 y GPU con núcleo tensorial para capacitación a gran escala.
«Debido al tamaño de los datos y al tamaño de los modelos, no pueden enviarlos a una sola GPU», explicó Bhatia. SageMaker les permitió personalizar y escalar operaciones en múltiples GPU que podían interactuar entre sí.
Los desarrolladores también utilizaron AmazonFSx en amazon s3 almacenamiento de objetos, que permitió una lectura y escritura más rápida de conjuntos de datos.
Bhatia señaló que otro desafío es la optimización de costos; Con la nube informática elástica (EC2) de Amazon, los desarrolladores pudieron mover datos no utilizados o utilizados con poca frecuencia a niveles de almacenamiento de menor costo.
«Aprovechar Sagemaker para entrenar estos grandes modelos, principalmente para un entrenamiento eficiente y distribuido en múltiples clústeres de GPU de alto rendimiento, fue uno de los componentes críticos que realmente nos ayudó a avanzar más rápido», dijo Bhatia.
Enfatizó que todos los componentes se construyeron desde una perspectiva de cumplimiento e integridad de los datos que tuvo en cuenta HIPAA y otras regulaciones y marcos regulatorios.
En última instancia, «estas tecnologías realmente pueden optimizar, ayudarnos a innovar más rápido, así como mejorar la eficiencia operativa normal al reducir la carga administrativa y, finalmente, impulsar una mejor atención al paciente, porque ahora se brinda una atención más personalizada».
Sirviendo como base para otros modelos especializados y afinados.
Si bien el modelo por ahora es específico del dominio de la resonancia magnética, los investigadores ven grandes oportunidades para expandirse a otras áreas de la medicina.
Sheeran señaló que, históricamente, la IA en imágenes médicas se ha visto limitada por la necesidad de desarrollar modelos personalizados para condiciones específicas en órganos específicos, lo que requiere anotaciones de expertos para cada imagen utilizada en el entrenamiento.
Pero ese enfoque es “intrínsecamente limitado” debido a las diferentes formas en que las enfermedades se manifiestan entre los individuos e introduce desafíos de generalización.
«Lo que realmente necesitamos son miles de modelos de este tipo y la capacidad de crear rápidamente otros nuevos a medida que encontramos información novedosa», dijo. También son esenciales conjuntos de datos etiquetados de alta calidad para cada modelo.
Ahora, con la IA generativa, en lugar de entrenar modelos discretos para cada combinación de enfermedad/órgano, los desarrolladores pueden entrenar previamente un modelo básico único que puede servir como base para otros modelos especializados y perfeccionados posteriores.
Por ejemplo, el modelo de GE Healthcare podría ampliarse a áreas como la radioterapia, donde los radiólogos dedican mucho tiempo a marcar manualmente los órganos que podrían estar en riesgo. También podría ayudar a reducir el tiempo de exploración durante las radiografías y otros procedimientos que actualmente requieren que los pacientes permanezcan sentados en una máquina durante períodos prolongados, dijo Bhatia.
Sheeran se maravilló de que “no sólo estamos ampliando el acceso a datos de imágenes médicas a través de herramientas basadas en la nube; Estamos cambiando la forma en que se pueden utilizar esos datos para impulsar los avances de la IA en la atención médica”.
