La interpretabilidad de la IA es la disciplina que busca explicar cómo los componentes internos de un modelo producen su comportamiento. El 15 de octubre de 2026, Nick Cammarata, exinvestigador del equipo de interpretabilidad de OpenAI y hoy en la empresa Goodfire, publicó un ensayo titulado "Neural networks are already clean" en el que sostiene que la caja negra de la IA es mucho más legible de lo que el campo creyó durante años.
La idea central es incómoda para cualquiera que use IA en su negocio: las empresas que construyen estos modelos saben entrenarlos, pero no siempre saben qué ocurre adentro cuando responden. Entra una pregunta, sale una respuesta, y el trayecto intermedio es un misterio. Eso es lo que la interpretabilidad intenta resolver.
Cammarata no es un desconocido. En 2020 coautoró el paper "Zoom In" junto a Chris Olah, y en 2023 inició en OpenAI un proyecto que usaba IA para explicar partes de otras IA. Su ensayo llega con una advertencia explícita: lo presenta como una hipótesis de trabajo, no como consenso revisado por pares. Aun así, la reacción pública fue inmediata, con comentarios de investigadores y directivos del sector calificándolo como uno de los resultados más relevantes del año. En este artículo revisamos qué dice exactamente, qué no demuestra y qué significa para una empresa en Perú o Latinoamérica.
¿Qué encontró realmente el investigador en las redes neuronales?
Para entender el hallazgo hay que recordar cómo funciona un modelo. Un modelo como los que usamos a diario está hecho de una redes neuronales: una red gigantesca de interruptores diminutos llamados neuronas. Nadie programó qué hace cada una. El modelo las ajustó solo, leyendo cantidades enormes de texto, hasta volverse bueno prediciendo lo que viene después.
Durante años, los investigadores encontraron neuronas que parecían tener varios trabajos sin relación entre sí. El ejemplo más famoso venía de un modelo de imágenes llamado InceptionV1: una neurona se activaba con caras de gato y también con la parte frontal de un auto. A ese patrón se le llamó polisemántico, y de ahí nació la teoría de la superposición de neuronas, según la cual el modelo mete ideas no relacionadas en la misma neurona porque no tiene espacio suficiente.
Cammarata revisó ese caso y propone otra lectura. No era una neurona de gatos y autos: era una neurona de formas en V. La cara puntiaguda de un gato con orejas y mentón, y el frente de un auto con parrilla y capó inclinado, comparten esa forma. Y cuando revisó qué empujaba a esa neurona en la dirección opuesta, encontró una O, algo redondo, justo donde apunta la V. Su conclusión: era una V desde el principio.
En auditorías preliminares sobre el modelo Qwen3-32B, estima que cerca del 90% de los "polos" de una neurona tiene un trabajo principal, alrededor del 7% tiene dos trabajos relacionados y entre el 2% y el 4% aún no se entiende. El propio ensayo aclara que esas cifras son deliberadamente aproximadas y que cambian según el umbral de activación, la profundidad del modelo y lo que el revisor considere "un trabajo".
¿Por qué antes parecía un enredo imposible?
La comparación más citada del ensayo es con el propio trabajo anterior del autor. En 2023, el proyecto que inició en OpenAI encontró que solo alrededor del 1,7% de las neuronas era explicable incluso con su medida más generosa. Hoy habla de la gran mayoría. Es tentador leer eso como una mejora de 1,7% a 90%, pero el propio Cammarata advierte que no es una comparación controlada: los sistemas, los métodos y las herramientas son distintos.
Su explicación es que buena parte del enredo era del instrumento, no del modelo. Las herramientas para visualizar qué quiere ver una neurona no estaban bien calibradas, y en las capas profundas producían resultados pobres. Su ejemplo más claro es InceptionV1: dice que mejoras de arquitectura hicieron que entre el 99% y el 100% de las neuronas de la última capa fueran fácilmente interpretables, sin cambiar el tamaño del modelo ni sus datos de entrenamiento.
Para las neuronas que sí parecen mezcladas, propone un mecanismo llamado generalización recursiva. Una neurona empieza detectando un patrón y luego crece hacia territorio cercano, como una rama que produce ramas más pequeñas. Su ejemplo: una neurona que detecta las letras "iy", luego "diy" y finalmente la frase "do it yourself". La diferencia con la superposición es que las ideas agrupadas tienen una relación de desarrollo, no son compañeras de cuarto al azar.
Ángulo crítico: conviene ser honesto sobre los límites. El ensayo se presenta como hipótesis de trabajo, las cifras son estimaciones gruesas y el propio autor anuncia un paper técnico complementario que aún no se ha publicado. Además, los modelos de lenguaje completos siguen lejos de entenderse del todo. La afirmación más amplia, sobre modelos de hasta billones de parámetros, aparece mencionada pero sin el detalle que permita verificarla. Dicho de otro modo: esto no demuestra que la IA sea segura ni que ya sepamos qué piensa un modelo. Demuestra que la dirección de investigación cambió de pesimista a optimista, lo cual es distinto.
¿Qué significa esto para una empresa en Perú o Latinoamérica?
La mayoría de las empresas peruanas no entrena modelos propios, pero sí usa IA para decidir cosas: scoring de crédito, priorización de cobranzas, clasificación de tickets, filtros en procesos de selección. Cuando esas decisiones afectan a una persona, aparece la pregunta incómoda: ¿por qué el sistema decidió esto?
Hoy la respuesta honesta suele ser "no lo sabemos con precisión". Si la tesis de Cammarata avanza, esa respuesta empieza a tener contenido técnico. Para un jefe de TI, eso significa que en los próximos años podría existir una capa de auditoría real sobre los modelos que ya están en producción, en lugar de confiar solo en métricas de precisión.
También cambia el argumento de compra. Cuando un gerente evalúa incorporar IA en un proceso crítico, la pregunta "¿qué pasa si se equivoca?" hoy se responde con controles externos: revisión humana, límites de monto, doble validación. La interpretabilidad apunta a controles internos, sobre el propio modelo. No reemplaza a los primeros, pero los complementa.
Para equipos de desarrollo en la región que trabajan con .NET, Flutter o TypeScript e integran APIs de modelos, la implicancia práctica es de arquitectura: conviene dejar registrada la decisión del modelo, sus entradas y su contexto, porque auditar sin trazabilidad es imposible, sin importar cuánto avance la investigación en interpretabilidad.
¿Cómo aplica esto en tu empresa?
No necesitas un laboratorio de investigación para prepararte. Estas son acciones concretas que puedes empezar esta semana.
- Inventario de decisiones automatizadas: lista cada proceso donde un modelo de IA decide algo que afecta a un cliente, un proveedor o un colaborador. Si no puedes nombrarlos, ese es el primer problema.
- Trazabilidad mínima: guarda la entrada, la salida y la versión del modelo de cada decisión relevante. Sin esto, ninguna auditoría futura será posible.
- Pregunta a tus proveedores: cuando contrates una herramienta con IA, pregunta explícitamente qué nivel de explicabilidad ofrece hoy y qué compromiso tiene a futuro.
- Define umbrales de revisión humana: decide en qué casos la decisión del modelo se acepta automáticamente y en cuáles pasa por una persona, según el impacto.
- Forma a tu equipo: que el área de TI entienda qué es la interpretabilidad y por qué importa, antes de que un regulador o un cliente lo pregunte.
Si quieres revisar cómo están tus procesos actuales y qué se puede ordenar desde hoy, puedes conversar con nosotros sobre tu caso.
Preguntas Frecuentes
¿Qué es la interpretabilidad de la IA en palabras simples?
Es el esfuerzo por entender qué hace cada parte interna de un modelo de IA y por qué produce la respuesta que produce. En lugar de tratar al modelo como una caja negra donde entra una pregunta y sale una respuesta sin explicación, la interpretabilidad busca identificar qué neuronas o circuitos se activan y con qué propósito. Es la diferencia entre confiar en un resultado porque "funciona" y poder explicar por qué funciona.
¿Qué significa que una neurona sea polisemántica o que exista superposición?
Una neurona polisemántica es una que parece responder a conceptos sin relación entre sí, como gatos y autos en el mismo caso. La superposición es la teoría que explicaba ese fenómeno: el modelo tendría más ideas que neuronas disponibles, así que metería conceptos no relacionados en la misma neurona. El ensayo de Cammarata cuestiona esa lectura y propone que muchas de esas mezclas aparentes eran en realidad un solo concepto más abstracto, como una forma geométrica.
¿Esto significa que ya podemos confiar plenamente en la IA?
No. El propio autor presenta su hallazgo como una hipótesis de trabajo y anuncia un paper técnico complementario que aún no se publica. Los modelos de lenguaje completos siguen lejos de entenderse del todo, y las cifras citadas son estimaciones que cambian según el método de medición. Lo que cambia es el punto de partida de la investigación: de asumir que todo está enredado a comprobar que buena parte es legible. Eso es un avance importante, no una garantía de seguridad.
Conclusión: ¿hacia dónde va la interpretabilidad de la IA?
El valor de este ensayo no está en una cifra espectacular, sino en el cambio de dirección. Durante años, el campo partió de la base de que el interior de un modelo era un nudo imposible de desatar. Cammarata propone lo contrario: que con mejores herramientas y mejores preguntas, la mayor parte de ese interior tiene sentido. Su propia historia lo ilustra, pasó de la pesimismo a la confianza tras años de trabajo en el tema.
Para una empresa en Perú o Latinoamérica, la lección práctica es de timing. La explicabilidad de los modelos que ya usas probablemente no sea un requisito hoy, pero la trazabilidad de sus decisiones sí puede serlo mañana, y esa se construye antes, no después. Documentar entradas, salidas y versiones de modelo es barato ahora y carísimo de reconstruir más adelante.
Si quieres ordenar tus procesos de IA, definir qué decisiones necesitan trazabilidad o simplemente entender qué tienes hoy en producción, puedes contactar a Consultoría TI. También puedes revisar más contenido técnico en el blog de Consultoría TI.
Por Edgar Vásquez, Consultoría TI · actualizado el 17 de octubre de 2026
Fuentes y Referencias
- TheAiGrid — Former OpenAI Researcher Makes a MASSIVE AI Discovery
- Digg — Automated tools may make most neurons in large AI models interpretable
- TSecurity.de — Former OpenAI Researcher Makes a MASSIVE AI Discovery
✨ Contenido generado con ContentFlow — Consultoría-Ti