Creo que estamos superando rápidamente esa situación. Esa es mi opinión, considerando toda la inversión que se está realizando en los distintos centros de fabricación a nivel mundial. El problema principal será el material. En algún momento superaremos esa limitación, y entonces la energía se convertirá en un problema. Eso está muy cerca, justo después.
Cada vez que subes una foto o usas IA, activas una red invisible de servidores, chips y cables: la nube. No flota, está anclada a tierra y consume el 2% de la electricidad global. Si el futuro será en la nube, más vale entender la infraestructura que lo sostiene.
Hace unas semanas me llamó la atención una pregunta de un lector del New York Times a un periodista de tecnología. Esta persona decía que, hace décadas, una computadora ocupaba una habitación entera. Ya sabes, como esas enormes máquinas de IBM en los años 50. Hoy en día, llevamos máquinas complejas en nuestros bolsillos. Entonces pregunta, “¿existe alguna tecnología emergente que pueda volver obsoletos o reducir considerablemente el tamaño de estos centros de datos?” El periodista básicamente respondió que no, que la ley de Moore no aplica en la era de la inteligencia artificial porque la IA se basa en un nuevo tipo de chip especializado que se requiere en cantidades enormes. ¿Está de acuerdo con esa valoración?
Sí, creo que sí, porque hay varios factores a considerar. En primer lugar, el tipo de computación que necesitamos, al menos durante los próximos años, sigue la misma tendencia. Ahora bien, lo que está sucediendo es que, además de lo que ha ocurrido desde las computadoras de los años 40 y 50 hasta hoy, los transistores se han vuelto cada vez más pequeños.
Si observamos las tecnologías actuales, tenemos algo llamado dimensión crítica en la fabricación. Actualmente, esa dimensión crítica se mide en número de átomos. 10 átomos, 20 átomos, 100 átomos. Y esto se está reduciendo. En algún momento, aunque se siga reduciendo, se volverá inmanejable porque, si se tiene una dimensión crítica de uno o dos átomos, es muy difícil fabricar para ese paradigma. Así que, como saben, esta tendencia continuará un tiempo más.
Lo que vemos que la ralentiza es realmente la parte algorítmica. Se necesita ese tipo de memoria. Ahora mismo, si observamos estos modelos de vanguardia que superan el billón de parámetros, hablamos de 5 billones, 10 billones, incluso se habla de 50 billones. Son modelos enormes. Para entrenarlos, se necesita, en primer lugar, mucha potencia, lo que nos mantiene en la misma curva. Pero incluso después del entrenamiento, digamos que pasamos a la inferencia, observamos una tendencia similar a la del cerebro humano: al escanearlo mientras alguien bebe, se activan diferentes áreas durante distintos tipos de pensamiento o visión. Existe el concepto de mezcla de expertos (MOE, por sus siglas en inglés), donde se toman modelos muy inteligentes y se analiza qué partes se activan para una tarea específica. Esto reduce significativamente el tamaño de los modelos, hasta 10 o 100 veces. Así, se obtiene un modelo muy inteligente, pero no se necesita todo su conocimiento; solo la experiencia específica.
La clave está en que la siguiente fase del cambio, dado que nos acercamos a un límite tecnológico en cuanto a la reducción de tamaño, provendrá de la investigación avanzada en algoritmos y matemáticas aplicadas. Por eso la física y todos estos factores entrarán en juego. Empezaremos a averiguar qué hacer con la infraestructura existente y cómo usarla de manera eficiente.
