De GPT-4 a AGI: Contando los OOMs

El concepto de «Inteligencia General Artificial» (AGI, por sus siglas en inglés) ha sido discutido durante años, pero Leopold Aschenbrenner argumenta que estamos mucho más cerca de alcanzarlo de lo que muchos creen. En su ensayo «Situational Awareness: The Decade Ahead», Aschenbrenner sugiere que la AGI será una realidad para 2027, y que la clave para comprender este progreso es “contar los OOMs” (órdenes de magnitud).

Un «orden de magnitud» (OOM) representa un incremento por un factor de 10, y según Aschenbrenner, el avance en la inteligencia artificial se puede rastrear en términos de mejoras en computación, eficiencias algorítmicas y lo que él llama “unhobbling” o “desbloqueo de capacidades latentes” de los modelos de IA.

De GPT-2 a GPT-4: El Salto Cualitativo

El progreso de GPT-2 a GPT-4 en tan solo cuatro años es un claro ejemplo del rápido avance en inteligencia artificial. Mientras que GPT-2, lanzado en 2019, era comparable a un niño de preescolar en términos de habilidades cognitivas, GPT-4, en 2023, ya alcanzaba el nivel de un estudiante de secundaria brillante, capaz de resolver problemas complejos de matemáticas, escribir código y redactar ensayos detallados.

La evolución entre estos modelos no fue un golpe de suerte, sino el resultado de la acumulación constante de mejoras en la infraestructura y algoritmos de IA. Desde 2019 hasta 2023, se ha registrado un incremento de entre 4.5 a 6 órdenes de magnitud (OOMs) en la escala computacional efectiva, lo que ha permitido este impresionante progreso.

Las Tendencias en el Aprendizaje Profundo (Deep Learning)

Durante la última década, el aprendizaje profundo ha avanzado a una velocidad sin precedentes. Un ejemplo claro es cómo los modelos de hace diez años apenas podían identificar imágenes simples, mientras que hoy en día superan con creces los benchmarks (puntos de referencia) humanos en diversas áreas.

El ritmo de mejora es tan rápido que las pruebas que antes tomaban décadas en superar ahora se resuelven en cuestión de meses. Por ejemplo, el benchmark MMLU, que evalúa la comprensión en múltiples dominios, fue desarrollado en 2020 con la expectativa de que duraría años. Sin embargo, en solo tres años, modelos como GPT-4 lo han superado casi por completo.

Contando los OOMs: Computo, Eficiencias Algorítmicas y «Unhobbling»

El progreso hacia la AGI puede dividirse en tres áreas principales de mejora, cada una de las cuales puede medirse en órdenes de magnitud:

1. Cómputo: El aumento en el poder de computación es el factor más obvio en el progreso de los modelos de IA. Las inversiones masivas han permitido un crecimiento exponencial en la capacidad de cómputo, con incrementos de aproximadamente 0.5 órdenes de magnitud por año. Esto significa que cada cuatro años se produce una mejora de alrededor de 100 veces en la capacidad de procesamiento disponible.
2. Eficiencias Algorítmicas: Aunque el cómputo suele atraer la mayor atención, los avances en algoritmos son igual de importantes. Por ejemplo, en el benchmark MATH, que evalúa habilidades matemáticas de nivel competitivo, los costos de inferencia han disminuido 1000 veces en solo dos años. Esto se debe a mejoras en algoritmos que hacen que los modelos sean más eficientes, permitiendo que realicen las mismas tareas con menos recursos.
3. Unhobbling: A pesar de sus capacidades, los modelos de IA están «limitados» en muchas maneras que restringen su verdadero potencial. El desbloqueo de estas capacidades latentes, a través de técnicas como el aprendizaje por refuerzo con retroalimentación humana (RLHF) y el «razonamiento en cadena» (Chain of Thought, CoT), ha demostrado mejorar significativamente el rendimiento de los modelos sin necesidad de aumentar drásticamente el cómputo. Estas técnicas permiten a los modelos resolver problemas más complejos al trabajar paso a paso en lugar de dar respuestas rápidas y superficiales.

El Muro de los Datos: ¿Un Posible Obstáculo?

Uno de los desafíos más importantes que enfrentan los modelos de IA actuales es la escasez de datos de calidad. A medida que los modelos avanzan, necesitan más datos para seguir mejorando. Sin embargo, gran parte de los datos disponibles en internet ya se ha utilizado, lo que plantea la pregunta de si los futuros modelos podrán seguir escalando sin nuevas fuentes de información.

Algunos investigadores sugieren que técnicas como la generación de datos sintéticos y el uso de aprendizaje por refuerzo pueden mitigar este problema, permitiendo que los modelos aprendan más eficientemente a partir de los datos que ya tienen. Sin embargo, este sigue siendo un área de incertidumbre, y el progreso en esta área podría determinar la velocidad del avance hacia la AGI.

El Futuro: De Chatbots a Trabajadores Remotos

Aschenbrenner prevé que, con suficientes avances en «unhobbling» y cómputo, los modelos de IA evolucionarán de simples chatbots a agentes más inteligentes que podrán realizar tareas cognitivas de manera autónoma. Imagina un modelo de IA que pueda ser «contratado» como un trabajador remoto, capaz de leer documentación interna, comunicarse con colegas y realizar proyectos complejos sin intervención humana.

Este tipo de IA no solo superaría a los chatbots actuales, sino que tendría la capacidad de automatizar trabajos completos que requieren habilidades cognitivas avanzadas. Esto incluiría desde la investigación científica hasta el desarrollo de software, con la capacidad de trabajar en proyectos durante semanas o meses sin descanso.

Conclusión: Hacia la AGI en 2027

Si los OOMs continúan acumulándose al ritmo actual, es plausible que alcancemos la AGI para 2027. Esto significaría que los modelos de IA podrían realizar la mayor parte de los trabajos cognitivos humanos, automatizando tareas que van desde la programación hasta la investigación avanzada. Sin embargo, aún existen incertidumbres, como el muro de los datos y la posibilidad de que los algoritmos futuros no sigan escalando al mismo ritmo.

A pesar de estos desafíos, el progreso en IA ha sido imparable, y según Aschenbrenner, si seguimos «contando los OOMs», nos dirigimos hacia un futuro donde las máquinas serán tan inteligentes como los mejores expertos humanos, y quizás, incluso más.

---

Resumen de los Puntos Clave:

• OOMs (Órdenes de Magnitud): La medida clave del progreso en IA es el aumento en la capacidad de cómputo, eficiencias algorítmicas y desbloqueo de capacidades.
• De GPT-2 a GPT-4: Un salto cualitativo impresionante en solo cuatro años, con avances similares esperados hasta 2027.
• Desafíos como el muro de los datos: La falta de nuevos datos de calidad podría ser un obstáculo, pero hay soluciones potenciales.
• El futuro: La IA evolucionará de chatbots a agentes autónomos capaces de realizar trabajos complejos de manera independiente.

Este análisis nos lleva a una pregunta fundamental: ¿estamos realmente preparados para un mundo donde la AGI se convierta en una realidad en menos de una década?