En su reciente artículo titulado «Scaling: The State of Play in AI«, Ethan Mollick ofrece una detallada visión del estado actual y futuro de la inteligencia artificial (IA), enfocándose principalmente en los Modelos de Lenguaje Grande (LLM, por sus siglas en inglés). Estos modelos, como GPT-4 o Gemini, son fundamentales para el desarrollo de chatbots avanzados, y Mollick nos invita a explorar cómo el aumento de la escala ha sido clave para su progreso.
¿Qué Significa Escalar en IA?
El concepto de «escala» es central para entender el desarrollo de los modelos de lenguaje. En términos sencillos, a medida que los modelos crecen en tamaño y en la cantidad de datos que procesan, se vuelven más inteligentes y capaces. Este crecimiento está impulsado por un aumento en los parámetros, que son los valores ajustables que los modelos utilizan para predecir el siguiente paso en una secuencia. Además, se requieren grandes cantidades de datos, medidos en tokens (palabras o partes de palabras), para entrenar los modelos.
Un punto clave es que el aumento en la capacidad de un modelo también implica un incremento significativo en la potencia de cálculo necesaria para entrenarlo. Esta potencia se mide en FLOPs (operaciones de punto flotante), que cuantifican el esfuerzo computacional de entrenamiento. Cuanto mayor es el número de FLOPs, mayor es la cantidad de operaciones matemáticas necesarias para hacer que el modelo funcione mejor. Mollick ilustra este punto utilizando ejemplos como BloombergGPT, un modelo especializado en análisis financiero, que fue superado por GPT-4 simplemente por ser más grande y estar entrenado en más datos, lo que demuestra que en IA, la escala realmente importa.
Generaciones de Modelos: Del Gen1 al Gen4
Mollick propone una categorización propia para entender la evolución de los modelos de IA. Describe cómo, en los últimos años, hemos visto una progresión generacional, desde los modelos Gen1 (2022), como ChatGPT-3.5, que requirieron hasta 10^25 FLOPs, hasta los modelos Gen2 (2023-2024), como GPT-4, que aumentaron esa cifra a 10^26 FLOPs. Con cada nueva generación, no solo aumenta la capacidad de los modelos, sino también el costo y la complejidad de su entrenamiento.
En la actualidad, estamos a punto de presenciar el lanzamiento de modelos Gen3 (2025-2026), como GPT-5, que requerirán un incremento aún mayor en la potencia de cálculo, llegando hasta los 10^27 FLOPs y costando más de mil millones de dólares para su desarrollo. La expectativa es que esta tendencia continúe, y en los próximos años podamos ver modelos Gen4 que cuesten más de 10 mil millones de dólares y utilicen más de 10^28 FLOPs.
Los Cinco Principales Modelos Frontier Gen2
Mollick identifica cinco modelos Gen2 que actualmente dominan el panorama de la IA:
- GPT-4o: Este modelo, que impulsa ChatGPT y Microsoft Copilot, destaca por su capacidad multimodal, lo que significa que puede trabajar con voz, imágenes, archivos y más. Es el líder en cuanto a funciones avanzadas, como la interpretación de código y la búsqueda en la web.
- Claude 3.5 Sonnet: Aunque tiene capacidades más limitadas en comparación con GPT-4o, es excepcional en la gestión de grandes volúmenes de texto, lo que lo convierte en una opción ideal para escritores y editores.
- Gemini 1.5 Pro: El modelo más avanzado de Google, con capacidades multimodales parciales y una enorme ventana de contexto, ideal para procesar grandes cantidades de información.
- Grok 2: Desarrollado por X.AI de Elon Musk, este modelo destaca por su rápida evolución y su integración en la plataforma Twitter/X, lo que le permite extraer información de dicha red social y generar imágenes sin muchas restricciones.
- Llama 3.1: El modelo de Meta, que es el único de código abierto entre los cinco, lo que permite a cualquier persona descargarlo y modificarlo, acelerando así su desarrollo comunitario.
El Futuro de la IA: Escalar el Pensamiento
Mollick señala una fascinante novedad en la evolución de la IA: la capacidad de «pensar» después del entrenamiento. OpenAI ha desarrollado una nueva técnica que permite a los modelos realizar múltiples pasos de razonamiento interno antes de producir una respuesta final. Esta forma de «pensamiento» mejora la precisión del modelo y abre la puerta a nuevas formas de escalabilidad. Esta idea de escalar el pensamiento sugiere que, incluso si llegamos a un límite en la capacidad de entrenamiento de los modelos, aún podríamos seguir mejorando sus capacidades aumentando el tiempo que dedican a «pensar».
Reflexiones Finales
El artículo de Mollick nos recuerda que estamos en los albores de una nueva era en la IA, donde tanto el tamaño de los modelos como su capacidad de «pensar» determinarán el futuro. Aunque las implicaciones sociales y económicas de esta aceleración son enormes, una cosa es clara: el camino de la IA sigue avanzando a pasos agigantados. Y aunque las fronteras de lo posible aún no están completamente definidas, el ritmo de progreso no muestra signos de desaceleración.
Este artículo proporciona una excelente visión general de hacia dónde nos dirigimos en el mundo de la IA. Para obtener más detalles, te invitamos a leer el post original de Ethan Mollick aquí.