El nuevo Proyecto Manhattan y la carrera por la inteligencia artificial general

En junio de 2024, un documento sacudió a la comunidad tecnológica. «Situational Awareness: The Decade Ahead», escrito por el antiguo investigador de OpenAI Leopold Aschenbrenner, presentaba una visión detallada y sorprendentemente precisa del futuro de la inteligencia artificial. Sin embargo, la historia que hay detrás del autor me llama tanto la atención como el documento.

Leopold Aschenbrenner dejó la empresa apenas un mes antes que el responsable de su equipo, Ilya Sutskever, a quien dedicó su artículo. Leopold, que ahora tiene 23 años, es un becario de Emergent Ventures de Tyler Cowen. Fue a la Universidad de Columbia con 15 años y se graduó en 2021 como valedictorian.

Aschenbrenner, que trabajó en el equipo encargado de desarrollar una IA segura de OpenAI durante los años críticos del desarrollo de GPT-4, fue despedido en circunstancias controvertidas a principios de 2024. Se dijo que había filtrado información confidencial de OpenAI, aunque el grado de secreto de esta información es inexistente, según él. Su marcha coincidió con un periodo de intenso debate interno sobre la seguridad y el ritmo de desarrollo de la IA. A pesar de su salida, o quizá debido a ella, publicó un tratado de 165 páginas sobre el futuro de la IA, «Situational Awareness», un análisis exhaustivo que ha demostrado ser notablemente preciso en sus predicciones sobre el desarrollo de la IA.

Lo que hace especialmente fascinante este documento es su asombrosa capacidad para predecir varios avances clave en IA que hemos visto materializarse en los últimos meses. Desde el crecimiento explosivo de la capacidad computacional hasta los problemas de seguridad nacional, las predicciones de Aschenbrenner han demostrado ser algo más que meras especulaciones...

Coincidencias

Leopold opina que Estados Unidos debería ponerse en pie de guerra para desarrollar una IA avanzada y utilizarla para dominar el mundo, para que China no llegue antes. En opinión de Leopold, la próxima media década aproximadamente será el periodo más decisivo de la historia de la humanidad y las siguientes citas están extraídas de su documento (las negritas son mías):

La carrera hacia la AGI ha comenzado. Estamos construyendo máquinas que pueden pensar y razonar. Para 2025/26, estas máquinas superarán a muchos graduados universitarios. Al final de la década, serán más inteligentes que usted o yo; tendremos superinteligencia, en el verdadero sentido de la palabra. En el camino, se desatarán fuerzas de seguridad nacional no vistas en medio siglo, y en poco tiempo, El Proyecto estará en marcha.

Y considera que es su deber dar la voz de alarma:

Dentro de poco, el mundo despertará. Pero ahora mismo, hay unos pocos cientos de personas, la mayoría en San Francisco y en los laboratorios de IA, que tienen conciencia de la situación. Por alguna peculiar fuerza del destino, me he encontrado entre ellos. Hace unos años, estas personas eran tachadas de locas, pero confiaban en las líneas de tendencia, lo que les permitió predecir correctamente los avances de la IA en los últimos años. Queda por ver si estas personas también aciertan en los próximos años. Pero son personas muy inteligentes, las más inteligentes que he conocido, y son las que están construyendo esta tecnología. Quizá sean una extraña nota a pie de página en la historia, o quizá pasen a la historia como Szilard, Oppenheimer y Teller. Si están viendo el futuro aunque sea de forma correcta, nos espera un viaje salvaje.

He leído rápidamente el artículo. Este es mi crudo resumen de su tesis:

- Quien controle la AGI tendrá un poder abrumador, económico, militar y de otro tipo. Por lo tanto, quien llegue primero estará en posición de gobernar el mundo, potencialmente a perpetuidad.

- Sería malo que se tratara del pueblo equivocado, por ejemplo, China. La única forma de evitarlo es que Estados Unidos y sus aliados lleguen primero.

- Es probable que todo esto ocurra en 2030.

- Alcanzar la AGI, especialmente a ese ritmo, requerirá inversiones multimillonarias en chips, generación de electricidad y otras necesidades. Por lo tanto, nosotros (de nuevo, Estados Unidos y sus aliados) deben ponerse en pie de guerra: reunir recursos, suspender las protecciones medioambientales e imponer estrictos requisitos de seguridad.

Tal vez te hayas asombrado como yo al darte cuenta de que suspender las protecciones medioambientales y la fuerte inversión en chips es exactamente lo que Donald Trump ha firmado esta semana en sus primeras órdenes ejecutivas.

Paralelismo con el Proyecto Manhattan

Quizá lo más importante es que Aschenbrenner previó la transformación del desarrollo de la IA en una prioridad de seguridad nacional. La creciente implicación de las agencias gubernamentales y la creciente preocupación por las vulnerabilidades de seguridad de los laboratorios de IA han validado sus advertencias. La entrada de la NSA en el consejo de OpenAI, o los primeros acuerdos entre el Departamento de Defensa de EEUU y las Big Techs de GenAI lo demuestran (noticia de dic 2024).

Una de las contribuciones más significativas de Aschenbrenner fue poner de manifiesto las graves vulnerabilidades de seguridad de los principales laboratorios de IA. Sus advertencias sobre posibles robos de datos y espionaje precedieron a varios incidentes de gran repercusión, como la reciente detención de un ciudadano chino por el presunto robo de código de IA de una importante empresa tecnológica.

China ya se dedica al espionaje industrial generalizado; el director del FBI declaró que la RPC tiene una operación de piratería mayor que «todas las grandes naciones juntas». Y hace solo un par de meses, el Fiscal General anunció la detención de un ciudadano chino que había robado código clave de IA de Google para llevárselo a la RPC (en 2022/23, y probablemente solo sea la punta del iceberg).

La predicción más controvertida de Aschenbrenner -que el desarrollo de la IA acabaría requiriendo un proyecto dirigido por el gobierno similar al Proyecto Manhattan- suscitó inicialmente escepticismo. Sin embargo, el anuncio esta semana del Proyecto Stargate ha sido calificado por muchos expertos como la Carrera Espacial del siglo XXI, o el Nuevo Proyecto Manhattan. En esencia, el Proyecto Stargate AI es una asociación entre OpenAI, Oracle y SoftBank que pretende construir una red de centros de datos de última generación para dar forma al futuro del desarrollo de la IA. La iniciativa comienza con una inversión de 100.000 millones de dólares en su primera fase, que se ampliará a 500.000 millones en cuatro años. ¿El objetivo? Impulsar las innovaciones de vanguardia en IA al tiempo que se crean más de 100.000 nuevos puestos de trabajo, estableciendo a EE.UU. como líder mundial en infraestructura y desarrollo de IA.

Aunque algunos tachan a Aschenbrenner de alarmista, su historial de predicciones acertadas exige atención. A medida que asistimos a la aceleración del desarrollo de la IA, sus advertencias sobre la necesidad de una mayor seguridad, un desarrollo responsable y la cooperación internacional se hacen cada vez más difíciles de ignorar.

La cuestión no es si las predicciones de Aschenbrenner se harán realidad -muchas ya lo han hecho. La cuestión es si tendremos en cuenta sus advertencias sobre los retos que nos esperan y tomaremos las medidas necesarias para garantizar un desarrollo seguro y responsable de la IA.

Ya veremos.

Leer más

OpenAI supera el Muro con o3. ¿Estamos más cerca de la IA general?

Hace unos días, en los últimos coletazos de 2024, OpenAI dio un auténtico bombazo en el mundo tecnológico con el lanzamiento de su sistema de inteligencia artificial o3. Desde entonces, ha dado lugar a muchísimo debate y especulaciones sobre cómo de cerca estamos respecto de la inteligencia artificial general, y si finalmente, hemos tirado abajo el Muro del que se venía hablando en los últimos meses. Lo que ha presentó se está considerando como un antes y un después en el desarrollo de estos sistemas de grandes modelos de lenguaje. Para explicar en qué ha consistido este hito, hoy os traigo este artículo del blog. Empecemos por el inicio:

A lo largo del último par de años, no hemos parado de sorprendernos con distintos lanzamientos de los sistemas LLM (Large Language Model, Grandes Modelos de Lenguaje). Para no enrollar demasiado el post, me voy a centrar exclusivamente en OpenAI, dejando a un lado a su competencia:

La empresa liderada por Sam Altman parecía que había entrado en una espiral de éxito sin parangón y que iba a la cabeza de la carrera tecnológica por el dominio de esta tecnología de inteligencia artificial. En 2021 empezó a rompernos la cabeza y prendió la mecha con su modelo GPT3, posteriormente en 2022 desarrolló ChatGPT, y en marzo de 2023 finalmente lanzó GPT4. Parecía imparable. Cada vez "alucinaba" menos en sus respuestas, y era capaz de entender textos más complejos y tener una comprensión mayor del lenguaje natural, y además, los GPT se volvieron multimodales y comenzaron a aceptar texto, imágenes y audio.

Sin embargo, a partir del lanzamiento de GPT4, OpenAI fue perdiendo comba, y sus rivales le fueron alcanzando en la carrera tecnológica. Según parecía, GPT5 tardaría en salir, y los progresos no estaban siendo todo lo rápidos que a Sam Altman le gustaría. Por si eso no fuera poco, el jefazo de la empresa sufrió un golpe de estado a final de 2023 por parte de su directiva, con su posterior vuelta a la empresa unas semanas más tarde y la purga de casi todos sus compañeros de mesa. Pero volvamos al meollo técnico: OpenAI nunca se ha caracterizado por dar muchas explicaciones de cómo construía sus LLM, por eso, solo podíamos elucubrar sobre cómo funcionaba su inteligencia artificial, y por qué estaba fallando para llegar al próximo GPT5 y acercarnos un poco más a la inteligencia artificial general, que es oficialmente la esencia de la existencia de OpenAI.

Aparentemente, avanzar en el desarrollo de esta inteligencia artificial era cuestión de incorporar más datos y de escalar el sistema. Es decir, lo que parecía que buscaban las empresas eran textos con los que entrenar a sus grandes sistemas, y que el avance en este sistema de inteligencia artificial era cuestión de tamaño. Pero había varios problemas. Por un lado, por aquella época se especuló si los datos reales, los generados por usuarios, se habían agotado. Quizás era la hora de echar mano de lo que llamamos datos sintéticos.

Por otro lado, entrenar con sus servidores y tarjetas GPU requería tal cantidad de recursos, que OpenAI tuvo que hacer una maniobra empresarial para poder levantar más capital de Microsoft y afrontar todos los gastos. Además, entrenar con tantos miles de millones de datos requería una cantidad de energía sin parangón.

Pero es que además, entrenar con más cantidad de datos no estaba dando resultado.

El genio técnico detrás de todos los GPT, Ilya Sutskever, era uno de los que defendía que hacía falta esa cantidad de nueva información. Sin embargo, cuando fue purgado de la junta directiva de OpenAI y se lanzó a crear su nueva startup, comenzó a defender justo lo contrario, y argumentaba que el empleo de más datos para mejorar la inteligencia artificial estaba llegando a sus límites. Donde dije Digo digo Diego. A este fenómeno, es lo que una voz referente de la inteligencia artificial, Gary Marcus, es lo que llamó "el Muro". Acuñó la expresión deep learning is hitting a wall en marzo de 2022. Era el muro que los algoritmos empleados hasta la fecha no podían superar.

Por lo que se había logrado descubrir, OpenAI empleaba un tipo de entrenamiento para sus redes de transformers basados en aprendizaje supervisado, y deep learning. Posteriormente, de cara al afinado de los modelos, empleaba la técnica conocida como aprendizaje por refuerzo con retroalimentación humana (RLHF).

Pero ya por fin nos plantamos en 2024, y concretamente en septiembre del ya pasado año, OpenAI cambió la denominación de sus LLM y lanzó el modelo o1. Este modelo dejó muy buenas sensaciones, ya que parecía que la empresa de Altman volvía a la senda del progreso, y además este modeló demostró que lograba muy buenos resultados en distintos tipos de problemas matemáticos para los cuales GPT4 ofrecía muy malas respuestas. También el modelo o1 fue un cambio de paradigma, y es que comenzó a emplear para el entrenamiento de sus datos el algoritmo del aprendizaje por refuerzo como su técnica principal.

Para entender este concepto y que nos hagamos una idea del cambio de propuesta, podemos imaginar que a los modelos antiguos (los GPTs) los investigadores de OpenAI les daban la mejor vuelta rápida que hacía un Formula 1, y los LLM se dedicaban a imitar esa trayectoria, velocidad, giros de volante, etc. Sin embargo, con o1 los investigadores han comenzado a entrenar a sus LLM dándoles el dibujo del circuito, y que los algoritmos descubran cuál es la vuelta rápida por ellos mismos. Con este cambio, o1 se volvió un modelo que tardaba más tiempo que sus predecesores en dar una respuesta a nuestros prompts, pero era capaz de "razonar" parecido a un humano y de dar respuestas mucho más acertadas a ese tipo de problemas de ingenio.

Finalmente, como colofón a este nuevo impulso y entusiasmo por los nuevos modelos, y casi por sorpresa, OpenAI presentó en diciembre su modelo o3 (no nos hemos perdido: la compañía se ha saltado el modelo o2 por posibles problemas de copyright con la empresa de telecomunicaciones).

El sistema o3 ha sorprendido aún más a la comunidad tecnológica por su capacidad de razonamiento y por obtener una nota muy alta en el test ARC-AGI, creado por François Chollet. Chollet es un investigador francés y uno de los referentes en inteligencia artificial. Se hizo famoso hace algunos años gracias a su extenso artículo On the measure of intelligence, a lo largo del cual se planteaba cómo se podía medir la inteligencia y el progreso de las máquinas, y las dificultades para hacerlo. Y para hacerlo, desarrolló su test, que consiste principalmente en la resolución de problemas de ingenio representados mediante gráficos y diferentes imágenes, los cuales deberían ser resueltos por el humano medio. En el ARC-AGI, o3 logró un 75,7% en modo “bajo coste” y un 87,5% en modo “alto coste, lo cual es un salto enorme, ya que el modelo o1 logró un 21%. Es un test que hasta ahora ningún modelo de inteligencia artificial había sido capaz de estar tan cerca de resolver.

El o3 consume una barbaridad de recursos de entrenamiento y empleo, además de que tarda muchísimo en proporcionar las respuestas que se le piden. Por esta razón, nosotros no lo tendremos a nuestra disposición hasta dentro dentro de un tiempo, durante el cual la velocidad de los algoritmos y su consumo energético se hayan optimizado.

Por lo tanto, muchos titulares han corrido a afirmar que OpenAI por fin ha roto el Muro que le impedía avanzar. ¿Estamos más cerca de una inteligencia artificial general? No tanto, ya que o3 demostró que aunque es capaz de resolver problemas de ingenio y matemáticos mejor que sus predecesores, ofrece peores respuestas en el lenguaje natural. Es decir, parece que la gente de OpenAI no logra una generalización de su LLM y que sirva para todo. Así que puede que se haya roto un muro, pero que surjan nuevos obstáculos en el futuro. Pero eso es harina de otro costal, y tenemos 2025 por delante para ver lo que nos deparará el futuro.

Estamos viviendo una época fascinante.

Leer más