La inteligencia artificial se encuentra en una nueva era, donde el gasto en inferencia superará por primera vez al de entrenamiento, según un informe de Gartner. Este cambio, previsto para 2026, transformará la economía de la IA, pasando de ser una inversión inicial a un gasto operativo continuo. Las empresas tecnológicas y los proveedores de la nube deberán adaptar sus infraestructuras y estrategias de costos ante esta tendencia.
Desde la popularización de ChatGPT y la expansión de la IA a nivel global, el término 'entrenamiento' ha sido omnipresente. Aunque se sabía que el entrenamiento era costoso debido a la infraestructura requerida y el consumo de recursos naturales y energéticos, parece que nos adentramos en una nueva fase de la IA: la de la inferencia. Una estimación reciente sugiere que el gasto en infraestructura para inferencia superará al de entrenamiento por primera vez en 2026, y esta tendencia continuará.
Un informe reciente de Gartner indica que el gasto mundial en AI-optimized IaaS (un subsegmento de IaaS que provee recursos de cómputo de alto rendimiento para entrenamiento e inferencia de modelos de IA a gran escala bajo demanda) crecerá un 96% este año, alcanzando los 42.000 millones de dólares. Esto representa un aumento significativo respecto al año anterior, y lo notable es su distribución: 23.300 millones de dólares se destinarán a inferencia, frente a 19.000 millones a entrenamiento. La inferencia acaparará, por primera vez, la mayor porción de esta inversión, representando el 55% del presupuesto de IaaS para este año. Gartner también proyecta que el mercado de optimización de IaaS ascenderá a 66.100 millones de dólares en 2027, y que los 42.000 millones de dólares en AI-optimized IaaS para 2026 solo constituirán el 15% del mercado global de IaaS, estimado en 287.300 millones de dólares para el mismo año.
Este fenómeno es relevante porque no solo abre la puerta a nuevas plataformas de IA. El entrenamiento requiere principalmente potencia, mientras que la inferencia exige velocidad y baja latencia, ya que es el sistema que calcula la respuesta a la consulta de un usuario. En términos económicos, entrenar un modelo implica un costo inicial elevado, pero finito. Las empresas adquieren el equipo, escalan sus centros de datos y realizan el entrenamiento. Una vez completado, comienza la inferencia, que representa un costo recurrente que aumenta con cada interacción de los usuarios. En la incipiente era agéntica, estas solicitudes se multiplicarán, y ya existen análisis que estiman que la inferencia podría representar entre el 80% y el 90% del costo total de vida de un sistema de IA. El porcentaje restante corresponderá al entrenamiento. Aquí radica el cambio de paradigma: la IA deja de ser un "proyecto de inversión" para convertirse en un "gasto continuo". Para gigantes como Meta, Google, Amazon o Microsoft, esto significa que la IA ya no es un componente más del negocio, sino una parte fundamental del mismo. Sam Altman ha sido cuestionado sobre la ineficiencia del entrenamiento de IA, a lo que respondió que "entrenar" a un humano es aún más ineficiente.
Dentro de sus planes, estas grandes empresas deben reestructurar sus presupuestos, enfocándose en el costo por token, la eficiencia energética y la latencia. La ostentación del tamaño de un modelo debería dejar de ser una prioridad, ya que no será el factor determinante de ahora en adelante. Y, por supuesto, el dominio de la inferencia en el panorama obliga a los proveedores de servicios en la nube a rediseñar sus sistemas. Como se mencionó, ya no se trata solo de potencia, por lo que los centros de datos deberán adaptarse para ser más eficientes en la entrega de modelos. En este escenario, la memoria más rápida, el mayor ancho de banda y la eficiencia tendrán un peso igual o mayor que la potencia bruta de cómputo. La estimación de Gartner es que las arquitecturas de los centros de datos tendrán que volverse más densas en aceleradores, y el modelo de negocio deberá evolucionar para ofrecer tarifas por uso más competitivas.
Aunque este cambio de paradigma ya se observa en los grandes centros de datos, con empresas chinas diseñando sistemas optimizados para la inferencia y Nvidia produciendo en masa su plataforma Vera Rubin, a nivel de "consumo" (un término que se usa entre comillas por el alto costo), también están surgiendo nuevos dispositivos más orientados a la inferencia local. Ejemplos incluyen la DGX Spark, una potente estación de trabajo de Nvidia con una notable capacidad de inferencia, y la contraparte de Microsoft (en colaboración con Nvidia) en el ámbito de los portátiles. Es previsible que, con el auge de la IA y la necesidad de lanzar equipos costosos, los fabricantes de PC y portátiles incorporen NPUs, CPUs y GPUs diseñadas para ejecutar modelos de manera eficiente y local, reduciendo la dependencia de la nube, pero apoyándose en ella para demandas más exigentes. Se ha reportado que "el 99% de mi tráfico ahora es de bots", indicando cómo la IA está acaparando gran parte del tráfico de internet.
El lado negativo de esta situación, que ya es conocido, es que el creciente interés de las Big Tech por la inferencia está desestabilizando el mercado de componentes. Se ha abordado en múltiples ocasiones en los últimos meses cómo los principales fabricantes de DRAM (Samsung, Micron y SK Hynix) están dedicando toda su producción a la IA y a la memoria HBM y DDR5 de servidor. Esto impide que los usuarios finales accedan a precios competitivos, no solo en memoria RAM, sino también en almacenamiento NAND (como los SSD), almacenamiento convencional (como los HDD para montar un NAS casero y reducir la dependencia de la nube) e incluso en otros componentes como tarjetas gráficas, procesadores y placas base. El resultado son componentes más caros, y dispositivos como móviles, consolas y otros aparatos con precios prohibitivos.
Más allá del hardware, está el precio de la propia IA. No hay que pensar tanto en el usuario que busca una receta o una tabla de ejercicios (contenido creado por humanos en la web y YouTube, sin necesidad de IA), sino en las empresas. Dado que las compañías que ofrecen servicios de IA tendrán este gasto continuo y necesitarán ser más agresivas para obtener ganancias, es probable que se observen límites de tokens más bajos, más niveles de suscripción e incluso precios dinámicos basados en la carga del sistema. El futuro se presenta apasionante.
