La inferencia local es ejecutar un modelo de inteligencia artificial en tu propia computadora o servidor en lugar de usar los centros de datos de un proveedor en la nube. Sam Altman, CEO de OpenAI, la describió como "bastante terrible" desde una perspectiva de asignación global de recursos, porque la memoria de un equipo personal pasa la mayor parte del tiempo sin usarse.
La frase salió de un clip de 15 segundos y desató una tormenta en redes sociales. Los titulares hablaron de declaraciones insensibles y hasta de que Altman cree que nadie debería tener computadora propia. Pero el clip viene de un podcast llamado Cheeky Pint, conducido por John Collison, cofundador de Stripe, donde el tema central era cómo abaratar el cómputo a nivel mundial.
Entender ese contexto importa para cualquier empresa que esté decidiendo dónde ejecutar sus modelos de IA. La discusión no es ideológica: es de costos, disponibilidad de hardware y control de datos. Y en Perú, donde el hardware importado es caro y la memoria escasea, la decisión tiene consecuencias directas en el presupuesto de TI.
¿Qué dijo realmente Sam Altman sobre la memoria DRAM?
La frase completa, según lo recogido por The Indian Express, fue: "Desde una perspectiva de asignación global, es bastante terrible que todos tengan un montón del limitado suministro mundial de DRAM en su propia computadora y se use el 5% del tiempo".
El argumento es puramente económico. La memoria de tu laptop se usa mientras trabajas y luego queda dormida. La de un centro de datos atiende consultas de alguien, en algún lugar, casi todo el día. En un escenario de escasez, el mismo chip rinde mucho más en un centro de datos que en un dormitorio.
Altman lo comparó con los autos: la mayoría pasa cerca del 95% del día estacionada. Si hubiera escasez global de autos, un taxi que circula todo el día sería un uso más eficiente de un vehículo que uno parqueado en tu cochera. No dijo que no debas tener auto. Dijo que en un contexto de escasez, la utilización importa.
Lo que casi nadie citó es el resto de la conversación. Altman explicó por qué los fabricantes de memoria no construyen más fábricas: durante décadas fue un negocio de auges y caídas. Según su relato en el podcast, un productor de DRAM podía invertir 20.000 millones de dólares en capital para generar 19.000 millones, y varios casi quiebran por construir demasiada capacidad. Esa memoria histórica los vuelve conservadores justo cuando la demanda de IA es récord.
El propio Altman dijo que quiere lo contrario de lo que le atribuyen: que el costo de "convertir arena en inteligencia" baje, y que para eso la oferta tiene que subir. John Collison lo resumió como un "compute glut", un mundo con tanta memoria y energía barata que cualquiera que quiera una computadora pueda tenerla.
¿Cuándo conviene tener IA en la nube y cuándo no?
La respuesta depende de tres variables: sensibilidad de los datos, patrón de uso y costo total.
Si tu empresa procesa información que no puede salir del país o del edificio, la IA en la nube deja de ser una opción automática. Ahí la inferencia local tiene sentido, aunque el hardware esté subutilizado. Es una decisión de cumplimiento, no de eficiencia.
Si el uso es intermitente, la nube casi siempre gana. Una empresa que consulta un modelo 20 veces al día no necesita comprar una GPU. Pagar por uso es más barato que mantener hardware encendido por si acaso.
Si el volumen es alto y constante, el cálculo se invierte. Un equipo que procesa miles de documentos al día puede amortizar hardware propio en pocos meses, sobre todo si el precio por token del proveedor sube o si el modelo que necesita es de código abierto.
Hay un cuarto factor que el clip no menciona: la dependencia. Ejecutar modelos en tu propia infraestructura te da control sobre la versión del modelo, el precio y la disponibilidad. Un proveedor puede cambiar el modelo, subir tarifas o retirar una función. Ese riesgo no aparece en ninguna hoja de cálculo, pero es real.
Mi lectura es que el debate está mal planteado. No es local contra nube, es qué parte de tu operación necesita cada uno. Casi ninguna empresa seria debería elegir un solo camino para todo.
Vale aclarar el límite de esta discusión: Altman habló de asignación global de un recurso escaso, no de una política ni de un producto. No hay anuncio, ni plan, ni restricción. Tampoco hay datos públicos que permitan calcular cuánto ahorraría el mundo moviendo toda la inferencia a centros de datos. Es un argumento económico en una conversación sobre oferta, y así conviene leerlo.
¿Qué significa esto para una empresa en Perú o Latinoamérica?
En Perú el hardware se importa y paga aranceles, flete e IGV. Una estación de trabajo con GPU de gama alta puede costar varios miles de dólares, y ese equipo se deprecia rápido. Según reportes recogidos por Computer Hoy, la escasez de memoria ha elevado el precio de casi todo lo que lleva un chip, desde laptops hasta consolas y autos.
Para una PYME peruana, eso significa que comprar hardware para IA es hoy una inversión más cara que hace un año. La nube, en cambio, se paga en dólares por consumo y no exige capital inicial. Para una empresa que recién empieza con IA, esa diferencia puede ser la que decide si el proyecto arranca o se queda en la diapositiva.
Pero hay matices locales. La conectividad en provincias no siempre es estable, y depender de un proveedor en el extranjero puede generar latencia o cortes. Para una planta en Arequipa o un banco en Lima con datos de clientes, la soberanía de la información pesa más que el ahorro.
También hay un efecto de segundo orden: si los grandes compradores de memoria siguen acaparando el suministro, el hardware local se vuelve más caro y escaso en la región. Eso empuja a las empresas peruanas hacia la nube no por convencimiento, sino por falta de alternativas. Y depender de un solo proveedor por necesidad, no por estrategia, es una posición incómoda.
¿Cómo aplica esto en tu empresa?
Antes de decidir dónde corre tu IA, haz un inventario simple de tus casos de uso. Clasifícalos en tres grupos: datos que nunca pueden salir, procesos de alto volumen y pruebas exploratorias.
Para los datos sensibles, evalúa si necesitas un servidor propio o si basta con una nube privada con contrato de residencia de datos. Para alto volumen, calcula el costo por consulta en ambos escenarios y compáralo con la amortización del hardware a 36 meses. Para pruebas, quédate en la nube: no tiene sentido comprar equipo para experimentar.
Un ejercicio útil es estimar el porcentaje de tiempo que tu hardware estaría realmente trabajando. Si es menos del 30%, probablemente estás pagando por capacidad ociosa. Si es más del 70%, el cálculo propio empieza a tener sentido.
Si quieres revisar tu caso concreto, puedes conversar con nosotros sobre tu caso y revisar juntos qué conviene para tu operación. También puedes ver cómo automatizamos procesos con ContentFlow o revisar más artículos en el blog de Consultoría TI.
Preguntas Frecuentes
¿Qué es la inferencia local y en qué se diferencia de la nube?
La inferencia local es ejecutar un modelo de IA en tu propio equipo, sin enviar datos a un servidor externo. La nube hace lo contrario: el modelo corre en centros de datos de un proveedor y tú pagas por uso. La diferencia práctica está en el control de los datos, el costo inicial y la disponibilidad del servicio.
¿Es cierto que Sam Altman dijo que no deberías tener computadora propia?
No. Altman habló de asignación global de memoria DRAM en un contexto de escasez, no de prohibir computadoras personales. No hubo anuncio, política ni producto. La frase viral fue un fragmento de una conversación más larga sobre cómo abaratar el cómputo a nivel mundial.
¿Cuánta memoria DRAM necesita una empresa para correr IA local?
Depende del modelo. Los modelos abiertos pequeños pueden correr con 16 GB, pero los modelos grandes requieren 64 GB o más, y si usas GPU la memoria dedicada es el factor limitante. Antes de comprar, mide el tamaño del modelo que piensas usar y el volumen de consultas diarias.
Conclusión: ¿deberías mover tu IA a la nube o mantenerla local?
La respuesta corta es que depende de tus datos y de tu patrón de uso, no de una frase viral. La inferencia local tiene sentido cuando el control y la privacidad son críticos. La nube gana cuando el uso es intermitente y el capital es limitado, que es el caso de la mayoría de las PYMEs peruanas.
Lo importante es no decidir por moda ni por miedo. Mide tu volumen, clasifica tus datos y calcula el costo real de ambas rutas. Esa es la única forma de saber si estás pagando por eficiencia o por capacidad ociosa.
Si quieres ordenar esa decisión en tu empresa, puedes contactar a Consultoría TI.
Por Edgar Vásquez, Consultoría TI · actualizado el 03 de noviembre de 2026
Fuentes y Referencias
- TheAiGrid — Sam Altman Just Made His Most Controversial Statement Yet
- The Indian Express — 'Terrible' to have RAM sitting in PCs
- Computer Hoy — El dilema de la IA local
- PhoneArena — Sam Altman thinks owning RAM in your own PC is 'terrible'
✨ Contenido generado con ContentFlow — Consultoría-Ti