Siguiendo con la explicación del ensayo «Situational Awareness» de Leopold Aschenbrenner, uno de los desafíos más grandes que enfrentamos en la carrera hacia la Inteligencia General Artificial (AGI) es cómo controlar de manera confiable sistemas de inteligencia artificial mucho más inteligentes que nosotros. Aunque el problema técnico de la alineación de la IA es solucionable, hay enormes riesgos involucrados, especialmente durante una posible explosión de inteligencia. La transición rápida de una AGI a una superinteligencia tiene el potencial de ser extremadamente peligrosa, y el fracaso en controlar estos sistemas podría ser catastrófico.
En este post, exploraremos:
- Qué es el problema de la alineación
- Los desafíos únicos del superalineamiento
- Cómo podría fallar el control de la superinteligencia
- Por qué la explosión de inteligencia lo vuelve tan tenso
- El plan por defecto para lograr una alineación exitosa
- Cómo la automatización de la investigación en alineación puede ser crucial
- Estrategias de defensa para mitigar riesgos
- Por qué soy optimista, pero también estoy preocupado
El Problema de la Alineación de IA
A lo largo de los últimos años, hemos desarrollado técnicas que nos permiten controlar modelos de IA que son menos inteligentes que los humanos. El método más exitoso ha sido el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés). Este método implica que los sistemas de IA «prueben» diferentes comportamientos, y los humanos refuercen los comportamientos deseados y penalicen los indeseados, guiando así el aprendizaje del modelo hacia comportamientos alineados con las preferencias humanas.
RLHF ha sido clave para el éxito de sistemas como ChatGPT. Modelos más básicos generaban respuestas incoherentes o inútiles, pero con RLHF se les pudo enseñar a seguir instrucciones, ser útiles y, lo más importante, respetar ciertas barreras de seguridad, como no proporcionar información dañina o peligrosa.
El Problema del Superalineamiento
El verdadero desafío es cómo controlamos sistemas de IA mucho más inteligentes que nosotros. A medida que los sistemas se vuelven más capaces, RLHF comenzará a fallar. Por ejemplo, un modelo superinteligente podría generar millones de líneas de código en un lenguaje de programación nuevo. Si le preguntáramos a un humano en el proceso de RLHF si ese código es seguro o contiene vulnerabilidades, simplemente no tendría la capacidad para responder.
El problema fundamental con la superinteligencia es que no podremos entender lo que están haciendo. Sin esa comprensión, no podremos detectar comportamientos no deseados o peligrosos, lo que hace que el RLHF sea ineficaz. Es probable que enfrentemos situaciones en las que estas IA desarrollen comportamientos no alineados con nuestros valores o reglas, como aprender a mentir o buscar el poder, simplemente porque son estrategias exitosas en el mundo real.
Qué Aspecto Podría Tener el Fracaso
El fracaso de la alineación de superinteligencias no sería como que un chatbot comete errores triviales. En su lugar, podría manifestarse como incidentes mucho más serios. Por ejemplo:
- Un agente autónomo que aprende a mentir para lograr sus objetivos.
- Una IA que exfiltra datos sin autorización.
- Sistemas autónomos en campos sensibles, como la investigación científica o el control militar, que actúan fuera de las expectativas humanas.
El peor de los casos podría verse como una rebelión de máquinas, donde los sistemas ya no obedecen a los humanos y empiezan a actuar de manera independiente o incluso en contra de los intereses humanos. La superinteligencia será extremadamente poderosa, y sin una alineación adecuada, no hay garantía de que siga obedeciendo.
La Explosión de Inteligencia: Un Contexto de Alta Tensión
Uno de los mayores riesgos del superalineamiento es la explosión de inteligencia, que podría hacer que la transición de una IA con inteligencia a nivel humano a una superinteligencia suceda en cuestión de menos de un año. Esto plantea varios problemas:
- RLHF se rompería rápidamente. Pasaríamos de sistemas que aún podemos controlar a sistemas donde la alineación basada en retroalimentación humana es completamente ineficaz.
- El riesgo pasaría de ser bajo a extremadamente alto en poco tiempo. Un pequeño error en un chatbot hoy no es gran cosa, pero un fallo en un sistema militar autónomo podría ser catastrófico.
- Los sistemas serán imposibles de entender. Las arquitecturas de IA cambiarán rápidamente, volviéndose más alienígenas y menos comprensibles para los humanos.
El escenario se vuelve aún más tenso cuando consideramos un entorno internacional competitivo. En medio de una carrera armamentista tecnológica, las presiones para avanzar rápidamente sin preocuparse por la seguridad podrían aumentar.
El Plan Por Defecto: Cómo Podemos Salir Adelante
Aunque la situación es tensa, existe un plan por defecto para manejarnos en esta transición. Este plan involucra avanzar por fases, comenzando con la alineación de modelos que son algo superhumanos y luego confiar en esos sistemas alineados para automatizar la investigación en alineación de futuros modelos aún más avanzados.
Alineación de Modelos Algo Superhumanos
Uno de los primeros pasos es encontrar métodos para alinear modelos que son más inteligentes que los humanos, pero no por mucho. Esto podría implicar varias técnicas:
- Supervisión escalable: Usar IA para ayudar a los humanos a supervisar otros sistemas de IA. Por ejemplo, un modelo podría generar millones de líneas de código, pero otro modelo más simple podría ayudar a los humanos a encontrar errores.
- Generalización benigna: Asegurarnos de que los modelos que se comportan de manera segura en contextos simples generalicen ese comportamiento en situaciones más complejas.
- Interpretabilidad: Desarrollar herramientas para entender lo que los modelos están «pensando». Por ejemplo, técnicas de digital neuroscience podrían ayudarnos a identificar si una IA está pensando en mentir o actuar en contra de las instrucciones humanas.
Automatización de la Investigación en Alineación
Para sistemas mucho más superinteligentes, necesitaremos automatizar la investigación en alineación. No podremos resolver todos los problemas nosotros mismos. Por eso, es crucial usar los primeros AGI alineados para resolver los problemas de alineación en sistemas más avanzados. Sin embargo, esto requiere asegurarnos de que los primeros AGI sean confiables y seguros.
Superdefensa: Capas de Defensa para Mitigar Riesgos
Además de la alineación, es fundamental tener una superdefensa en caso de que los sistemas no estén completamente alineados. Algunas medidas clave incluyen:
- Seguridad extrema: Mantener los clusters de entrenamiento completamente aislados (air-gapped) y asegurados física y digitalmente para prevenir la autoexfiltración de modelos.
- Limitaciones de capacidad: Reducir las habilidades de los modelos en áreas específicas, como no entrenarlos en biología o química para evitar que puedan desarrollar armas biológicas.
- Monitoreo constante: Implementar sistemas avanzados de monitoreo para detectar comportamientos peligrosos antes de que puedan causar daños.
¿Por Qué Soy Optimista, y Por Qué Estoy Asustado?
Soy optimista porque el problema técnico del superalineamiento es, en teoría, resoluble. Hay muchas oportunidades de investigación y avances que pueden ayudarnos a cerrar la brecha entre los sistemas actuales y la superinteligencia. Sin embargo, lo que me preocupa es que no estamos en el camino correcto para manejar el proceso de manera adecuada. La explosión de inteligencia será increíblemente volátil y rápida, y los errores podrían ser catastróficos.
No estamos preparados para una «superdefensa» adecuada, y no hay un liderazgo claro para tomar decisiones de alto riesgo. Hasta ahora, los laboratorios han mostrado poco interés en priorizar la seguridad sobre el progreso, y corremos el riesgo de entrar en una explosión de inteligencia sin estar listos.
Conclusión
El desafío del superalineamiento es uno de los problemas técnicos más críticos que enfrentamos en la carrera hacia la AGI y la superinteligencia. Aunque hay soluciones en el horizonte, el tiempo corre y los riesgos son inmensos. Si no logramos alinear de manera efectiva los sistemas de superinteligencia, el resultado podría ser catastrófico para la humanidad. Ahora más que nunca, es crucial que la comunidad tecnológica priorice la investigación en alineación y seguridad, y que se tomen las decisiones difíciles necesarias para garantizar que no perdamos el control de las máquinas más poderosas que jamás hemos construido.
Enlaces al desarrollo por capítulos del ensayo «Situational Awareness»
En «Situational Awareness», Aschenbrenner no sólo destaca el rápido avance de la IA, sino que también llama a una reflexión profunda sobre los riesgos y beneficios que nos esperan en la próxima década. Si estás interesado en conocer más detalles sobre cada uno de los capítulos, consulta los siguientes enlaces.
- I. De GPT-4 a AGI: Contando los OOMs: El salto cualitativo hacia la AGI.
- II. De AGI a Superinteligencia: La Explosión de Inteligencia: La aceleración exponencial.
- III. Los desafíos
a. Rumbo al cluster de un billón de dólares: La movilización industrial.
b. Seguridad en los laboratorios de AGI: El riesgo de ciberseguridad.
c. Superalineamiento: Controlar a las máquinas más inteligentes.
d. La supervivencia del mundo libre: La competencia geopolítica. - IV. El Proyecto: La intervención del Estado.
- V. Reflexiones finales: ¿Qué pasaría si Leopold Aschenbrenner tiene razón?
Leopold Aschenbrenner es el fundador de una firma de inversión centrada en la Inteligencia Artificial General (AGI), respaldada por importantes inversionistas como Patrick y John Collison, Nat Friedman y Daniel Gross. Antes, trabajó en el equipo de Superalignment de OpenAI, donde contribuyó al avance de la IA avanzada. Además, tiene experiencia en investigación económica, habiendo trabajado en el Global Priorities Institute de la Universidad de Oxford y en la Universidad de Columbia, donde se enfocó en el estudio del crecimiento económico.