¿Puede la IA seguir escalando hasta 2030? Un análisis de las limitaciones y el futuro del entrenamiento de IA
El crecimiento exponencial de la Inteligencia Artificial (IA) ha sido impulsado en gran parte por el aumento constante en la escala de los entrenamientos de modelos. Según un estudio reciente de EpochAI titulado «Can AI Scaling Continue Through 2030?», la capacidad de entrenamiento de IA ha estado creciendo a un ritmo de 4 veces por año. Sin embargo, el informe plantea la pregunta clave: ¿podrá continuar este ritmo de escalado hasta 2030?
En esta entrada de blog, analizaremos los factores que podrían limitar el escalado de la IA en los próximos años y qué avances se necesitarán para superar estos obstáculos.
Factores que limitan el escalado de la IA
El estudio identifica cuatro limitaciones principales que podrían afectar el escalado de los entrenamientos de IA: la energía disponible, la capacidad de fabricación de chips, la disponibilidad de datos y la llamada «pared de latencia». A continuación, exploramos cada uno de estos factores.
1. Limitaciones energéticas
El entrenamiento de modelos de IA requiere enormes cantidades de energía. Actualmente, los centros de datos dedicados a IA están aumentando su consumo energético, pero se espera que para 2030 las instalaciones puedan consumir entre 1 y 5 GW de energía. Esto permitiría entrenamientos de hasta 3e29 FLOP, lo que sería un avance notable en comparación con los modelos actuales.
El uso de redes distribuidas, donde los entrenamientos se realicen en varios centros de datos ubicados en diferentes regiones, podría aumentar la disponibilidad de energía. Sin embargo, esto requerirá inversiones significativas en infraestructura, como la construcción de nuevas plantas de energía y la mejora de la conectividad entre centros de datos.
2. Capacidad de fabricación de chips
Los chips, como las GPU (unidades de procesamiento gráfico), son esenciales para el entrenamiento de grandes modelos de IA. A medida que los modelos se hacen más grandes, la demanda de chips también aumenta. El estudio prevé que la capacidad de fabricación de chips, en particular de tecnologías avanzadas como el empaquetado de chips y la memoria de alta velocidad (HBM), podría expandirse significativamente para 2030.
En el mejor de los casos, esta expansión podría permitir la producción de 100 millones de GPUs H100 (equivalentes), suficientes para soportar entrenamientos de 9e29 FLOP. Sin embargo, este crecimiento no está exento de desafíos, y la velocidad de expansión de la producción de chips sigue siendo incierta.
3. Disponibilidad de datos
El entrenamiento de modelos de IA requiere grandes volúmenes de datos. Actualmente, se estima que el texto disponible en la web podría soportar entrenamientos de hasta 8e28 FLOP. Sin embargo, para continuar escalando, los modelos necesitarán más datos.
El estudio sugiere que el uso de datos multimodales (como imágenes, videos y audio) podría triplicar la cantidad de datos disponibles, permitiendo entrenamientos de hasta 2e32 FLOP. Además, los datos sintéticos generados por IA podrían aumentar aún más esta capacidad, aunque a costa de mayores recursos computacionales.
4. La «pared de latencia»
La latencia es el tiempo mínimo que tarda un modelo en procesar datos. A medida que los modelos crecen, la latencia aumenta, lo que podría limitar el tamaño de los modelos en el futuro. Aunque la latencia no es un problema grave hoy en día, podría convertirse en un obstáculo importante para entrenamientos extremadamente grandes hacia el final de la década. Se necesitarán avances en las redes de comunicación y la topología de los centros de datos para mitigar este problema.
¿Es posible seguir escalando la IA hasta 2030?
El estudio de EpochAI concluye que, si bien hay incertidumbre, es probable que los entrenamientos de IA puedan escalar hasta 2e29 FLOP para 2030. Esto sería un avance significativo, comparable a la diferencia entre GPT-2 y GPT-4, con una potencia de cálculo 10,000 veces mayor que los modelos actuales.
Sin embargo, el éxito de este escalado dependerá de resolver los desafíos en la energía, la fabricación de chips y la disponibilidad de datos. Además, se necesitarán inversiones masivas por parte de empresas y gobiernos para construir la infraestructura necesaria. Algunas proyecciones sugieren que los costos de entrenar modelos a esta escala podrían superar los cientos de miles de millones de dólares.
Conclusiones
El escalado de la IA ha sido fundamental para las mejoras en el rendimiento de los modelos actuales, y continuar este ritmo hasta 2030 es técnicamente posible. No obstante, las limitaciones en energía, chips y datos representan obstáculos que deberán superarse mediante inversiones estratégicas y avances tecnológicos.
Si se logran superar estos desafíos, podríamos ver avances en IA tan importantes como los que se han producido en los últimos cinco años, llevando a modelos capaces de resolver problemas cada vez más complejos y de transformar industrias enteras.