En los últimos años, los modelos de inteligencia artificial han experimentado un avance impresionante, particularmente en el desarrollo de modelos multimodales, capaces de comprender y generar diferentes tipos de datos como texto, imágenes, audio y video. En este contexto emergen dos innovaciones fundamentales: Emu3 y MIO, dos modelos que representan puntos de inflexión en la carrera hacia una inteligencia artificial más versátil y general. A través de un enfoque basado en la predicción del siguiente token, ambos modelos han logrado integrar múltiples modalidades, lo que abre nuevas oportunidades para aplicaciones complejas en el campo de la IA. En este post exploraremos la naturaleza de estos dos modelos, destacando sus similitudes, diferencias y la relevancia de su impacto en el desarrollo de sistemas de inteligencia artificial más completos.
Emu3: Unificando Modalidades mediante la Predicción Autoregresiva
Emu3 es un modelo que se basa en la predicción del siguiente token, un enfoque tradicionalmente asociado a los modelos de lenguaje natural, pero que aquí se extiende a modalidades como las imágenes y los videos. Desarrollado por el equipo de BAAI, Emu3 tokeniza imágenes, texto y videos en un espacio discreto, permitiendo que un único transformador entrene y prediga las secuencias de estos elementos. La clave de este modelo es su simplicidad: elimina la necesidad de arquitecturas complejas como los modelos de difusión o enfoques compuestos como CLIP (que combina la visión por computadora con el procesamiento de lenguaje natural), logrando resultados competitivos en tareas de generación y percepción multimodal.
El enfoque de Emu3 es profundamente autoregresivo. A través de la predicción del siguiente token, el modelo es capaz de generar imágenes de alta calidad, comprender texto-visual y, de manera notable, generar videos previendo los siguientes fotogramas en una secuencia de video. Esto lo posiciona como un competidor directo de modelos de difusión como Stable Diffusion XL (SDXL) y de grandes modelos de lenguaje multimodal como LLaVA. Además, el equipo detrás de Emu3 ha abierto el acceso a su tecnología clave, facilitando que otros investigadores puedan explorar y mejorar el campo de la IA multimodal.
MIO: Ampliando las Fronteras de la IA Multimodal
Por otro lado, MIO representa una evolución más ambiciosa hacia lo que podríamos llamar inteligencia artificial «any-to-any». Mientras que Emu3 se centra en texto, imágenes y videos, MIO añade una dimensión crítica: el audio o voz. Esto permite que MIO maneje un espectro aún mayor de modalidades, lo que le otorga la capacidad de transformar cualquier combinación de entradas y salidas. Por ejemplo, puede generar una imagen a partir de un audio, o producir un video basado en texto y voz. Su capacidad de generar secuencias intercaladas multimodales, donde múltiples modalidades se combinan en la entrada o salida, lo convierte en un modelo pionero en la creación de contenido complejo y enriquecido.
El entrenamiento de MIO sigue un proceso en cuatro etapas: primero, un preentrenamiento de alineación que optimiza las relaciones entre las modalidades; luego, un preentrenamiento intercalado, donde se entrena al modelo en secuencias complejas de múltiples modalidades; posteriormente, un preentrenamiento mejorado con voz, que refuerza su capacidad para procesar audio, y finalmente, una fase de ajuste fino supervisado sobre tareas textuales, visuales y de audio. Este enfoque robusto le permite a MIO superar modelos anteriores, como el reciente GPT-4o, en tareas complejas de cualquier-a-cualquier modalidad, algo que GPT-4o no permite dado que no soporta la generación de secuencias multimodales intercaladas.
Similitudes entre Emu3 y MIO: Hacia una IA Multimodal General
Ambos modelos comparten un enfoque en la multimodalidad, lo que los distingue de modelos anteriores más especializados en una o dos modalidades. Tanto Emu3 como MIO tienen la capacidad de manejar texto, imágenes y videos, lo que les permite abordar una gama diversa de tareas. Esta versatilidad es clave en el avance hacia lo que muchos en el campo de la inteligencia artificial denominan inteligencia general, donde los modelos no están limitados a un tipo específico de información, sino que pueden interactuar con múltiples fuentes de datos en simultáneo.
Además, los dos modelos utilizan un enfoque autoregresivo. En lugar de depender de arquitecturas complicadas como los modelos de difusión, ambos predicen el siguiente token en una secuencia de elementos multimodales. Este enfoque simplifica el diseño del modelo y permite una mayor eficiencia tanto en la fase de entrenamiento como en la de inferencia, haciendo posible su escalabilidad para tareas más complejas.
Diferencias Fundamentales: MIO frente a Emu3
Pese a sus similitudes, MIO y Emu3 se diferencian en aspectos clave que determinan su aplicabilidad y alcance. Mientras que Emu3 se centra principalmente en texto, imágenes y videos, MIO añade una cuarta dimensión crítica: el audio o voz. Esto no solo amplía su capacidad de comprensión y generación, sino que también le permite realizar tareas mucho más complejas en las que múltiples modalidades interactúan de forma simultánea. MIO es un modelo que puede procesar cualquier combinación de entrada y salida (texto a video, audio a imagen, etc.), lo que lo convierte en una herramienta más flexible y adaptable para una mayor variedad de aplicaciones.
Otra diferencia importante radica en sus respectivos procesos de entrenamiento. MIO sigue un enfoque de cuatro etapas que incluye el preentrenamiento de secuencias intercaladas y el preentrenamiento mejorado con voz, mientras que Emu3 utiliza un proceso más sencillo de predicción del siguiente token con un único transformador. Esta diferencia en la arquitectura y en el entrenamiento le da a MIO una ventaja en términos de capacidad de generación compleja y razonamiento multimodal, lo que lo convierte en una opción más potente para aplicaciones que requieren interacciones entre varias modalidades.
Conclusión: El Futuro de la Inteligencia Multimodal
Tanto Emu3 como MIO representan avances significativos en el desarrollo de la inteligencia artificial multimodal. Mientras que Emu3 destaca por su simplicidad y eficacia en la generación de videos y la comprensión multimodal basada en la predicción de tokens, MIO amplía estas capacidades al añadir soporte para el audio y al permitir interacciones complejas entre múltiples modalidades. Ambos modelos son un testimonio del potencial que la inteligencia artificial multimodal tiene para transformar sectores como la creación de contenido, la edición de imágenes, el reconocimiento de voz y la generación de videos.
En definitiva, tanto Emu3 como MIO son parte de la vanguardia de la IA, y su desarrollo marca un paso importante hacia una inteligencia artificial más general, flexible y poderosa, capaz de interactuar con el mundo de manera más rica y profunda, al integrar múltiples modalidades de datos en una única arquitectura unificada.