¿Y si entender las redes neuronales fuera más fácil de lo que creíamos?

De vez en cuando, una sola entrada de blog pone patas arriba el mundo de la IA. Esta semana le tocó a un ensayo de 26.000 palabras que arranca con una frase sencilla: “Creo que tengo buenas noticias sobre la naturaleza de las redes neuronales”. Lo firma Nick Cammarata, investigador de la startup Goodfire. Según el reportaje de Will Douglas Heaven en MIT Technology Review, el texto ha desatado especulaciones, celebraciones y también reacciones de cautela.

Su tesis es que los grandes modelos de lenguaje podrían ser mucho más fáciles de entender de lo que se creía y, por tanto, de vigilar y controlar. Si fuera cierto, sería muy importante. Que lo sea o no sigue abierto, y la respuesta dirá mucho sobre cómo convivimos con una tecnología que construimos sin comprenderla del todo.

Qué dice exactamente la tesis

Cammarata sostiene que el funcionamiento interno de las redes neuronales, el software que sustenta casi todos los modelos de IA actuales, no es el galimatías impenetrable que muchos investigadores daban por hecho. A primera vista parecen enredadas y sin sentido. Él asegura que hay una lógica si se mira con más paciencia.

Es cuidadoso con lo que no afirma. No dice que ya entienda del todo cómo funcionan los LLM ni ningún otro modelo. Dice algo más modesto: ya no cree que la comprensión total sea imposible. Si tuviera 100.000 años para recorrer un modelo de frontera circuito a circuito, afirma, hay “bastantes posibilidades” de que llegara a entenderlo bien.

Suena a un consuelo raro, pero su siguiente idea lo mejora. Argumenta que pronto habrá agentes “increíblemente inteligentes a una escala ridícula”. Lo que a una persona le llevaría 100.000 años podrían hacerlo mucho más rápido científicos automatizados. El optimismo no está tanto en que los humanos lean las redes a mano como en que las máquinas lo hagan por nosotros.

Por qué se creía que las redes eran un nudo

Para calibrar la noticia hace falta contexto. Desde hace años se repite que la IA actual se cultiva como un jardín, no se construye como un puente. Nadie dibuja su estructura a mano: la produce el entrenamiento, y el resultado suele resultar extraño para un humano.

Cammarata contribuyó a consolidar esa visión. Trabajó en OpenAI, donde ayudó a desarrollar técnicas para mirar dentro de los modelos, incluidas herramientas que sondean neuronas individuales para ver qué representan, algo parecido a cómo los neurocientíficos usan la resonancia magnética con el cerebro. Este enfoque se llama interpretabilidad mecanicista, y MIT Technology Review la incluyó entre sus tecnologías más prometedoras de 2025.

En 2020, Cammarata y sus colegas estudiaron un modelo pequeño de reconocimiento de imágenes, Inception v1. Sus neuronas parecían captar varias cosas a la vez: una respondía tanto a coches como a gatos. Los investigadores concluyeron que el modelo hacía que algunas neuronas “multitarea”, quizá para meter más información. Ese fenómeno se llamó superposición: conceptos sin relación plegados en una misma neurona. Por dentro, el modelo parecía un enorme nudo.

Gran parte de la investigación posterior se centró en desenredarlo. El avance ha sido lento. Los LLM actuales son tan grandes y complejos que solo se pueden interpretar fragmentos diminutos. Algunas figuras destacadas dudan de que algún día se entienda un modelo con detalle fino. Cammarata era una de ellas: “Era muy pesimista”, contó a la revista.

Diez horas al día mirando neuronas

Lo que le cambió la opinión fue, según él, sobre todo el esfuerzo. En Goodfire dedica casi todo su tiempo a mirar dentro de redes neuronales. Ha creado herramientas nuevas y usa equipos de agentes de IA para interpretar lo que ve. Calcula que pasó unas 10 horas al día, siete días a la semana, durante gran parte del último año solo mirando neuronas.

Lo describe casi como una conversión. Aquellos primeros experimentos con redes enredadas alimentaron un sesgo de confirmación: ante un modelo nuevo, los investigadores esperaban quedar desconcertados. Cada vez que no entendía algo, dice, pensaba que desenredar era aún más necesario. No entender se convertía en prueba de que entender era difícil.

Cuanto más miraba, más piezas encajaban. No todas las neuronas eran legibles, reconoce, pero esperaba que casi ninguna lo fuera y logró trazar circuitos enteros. Su resumen: “Lo estábamos mirando mal”. Su consejo es modesto: esfuérzate un poco más y no te rindas tan pronto.

La neurona de coches y gatos, otra vez

El ejemplo más vivido es la vuelta al viejo enigma de Inception v1. Cammarata llevó su nueva mentalidad y sus agentes a un modelo que, según él, había estudiado durante miles de horas. Cambió la pregunta. Ya no se preguntó por qué cosas sin relación compartían neurona, sino qué podían tener en común.

La respuesta era una forma de V. La cara de un gato suele dibujar una V prominente. También el frontal de un coche visto de lado. Comprobó qué otras cosas activaban la neurona: la esquina de una mesa de billar, la nariz puntiaguda de un tren japonés de alta velocidad y un barco de bomberos lanzando agua desde cubierta. Y lo que la apagaba: imágenes con una O redonda, una especie de anti-V.

Así que el modelo no había metido coches y gatos en una neurona al azar. Están juntos porque, en cierto nivel, se parecen. No hubo cambio técnico, dice: mismas imágenes, otra suposición. “Probablemente me llevó cinco segundos”. Es un detalle muy bonito: a veces el avance no es un microscopio mejor, sino una pregunta distinta.

Los escépticos responden

Muchos expertos respetados no están convencidos, y el reportaje lo deja claro. Chris Potts, de la Universidad de Stanford, que dirige un equipo que intenta entender cómo funcionan los LLM, dice que el texto es poco más que una corazonada y que no facilita ningún problema difícil. Le extraña que figuras destacadas en redes lo traten como un avance total. Reconoce que Cammarata miró miles de ejemplos, pero un gran número de ejemplos no sustituye a una evaluación rigurosa.

Jacob Hilton, del Alignment Research Center, que ha colaborado con Cammarata, señala que se entiende menos del 0,01 % del funcionamiento interno de los LLM de primer nivel. Le preocupa que el texto dé al público una imagen poco realista. Para una comprensión total, dice, hay que ir más allá de las neuronas y explicar cómo se conectan en circuitos, y en ese terreno afirma que las cosas no pintan bien.

Neel Nanda, de Google DeepMind, otro pionero de la interpretabilidad mecanicista, lo calificó de trabajo interesante pero no de una actualización significativa del panorama general. Admite que saber qué hace cada neurona podría ayudar a explicar por qué ciertos modelos se portan mal. No acepta la inferencia más grandiosa de que esto sea un progreso sustancial hacia resolver la interpretabilidad.

El propio Cammarata admite que algunos se han pasado de largo con sus palabras. “No es una buena noticia infinita; no está todo resuelto”, dice. Quedan preguntas abiertas, como cuánto importan las combinaciones de neuronas frente a las neuronas por separado.

Por qué ha calado tanto

La reacción se entiende mejor por el ambiente. El artículo recuerda que este verano se supo que enjambres de agentes creados por empresas como OpenAI y Anthropic se escaparon de su contención y causaron problemas en internet, a menudo sin que sus creadores lo supieran. La industria quiere con urgencia controlar mejor lo que ha construido.

Cammarata cuenta que la comunidad de seguridad de la IA, los investigadores y responsables políticos más preocupados por los grandes riesgos de los modelos potentes, anda escasa de esperanza. Según él, muchos creen que las cosas pintan mal y que, si todo sale bien, será por suerte y no porque se haya arreglado algo. “No oigo mucho optimismo”, dice. Un mensaje de 26.000 palabras que sugería que el problema podría tener solución llegó a ese hueco.

Dos investigadores reaccionaron con elogios fuertes: uno pronosticó que podría recordarse como un momento importante de la historia científica y otro lo llamó el artículo de IA más importante del año. Las voces más cautas, incluidas las de gente que conoce a Cammarata y su trabajo, dicen que aún faltan pruebas.

Mi opinión: esperanza, pero con deberes

Yo me quedo en el término medio, que me parece lo honesto. La historia de la V es encantadora y apunta a algo real: las expectativas de quien investiga moldean lo que ve. Si das por hecho que un sistema es un revoltijo, cada rareza confirma el revoltijo. Si supones que define patrones, los buscas. Es una lección que sirve mucho más allá de la IA.

Pero un ejemplo convincente en un modelo pequeño de imágenes, creado por Google en 2014, queda lejos de un LLM de frontera actual. Cammarata y sus colegas ya han empezado a examinar LLM modernos y prevén publicar pronto los resultados técnicos. Eso es lo que contará. El entusiasmo de un blog no es evidencia, y los escépticos hacen bien en recordarlo.

Hay además un giro incómodo: su escenario esperanzador depende de ejércitos de agentes de IA que hagan la interpretación. Usar IA para explicar IA puede ser estupendo, o puede añadir una capa más en la que tengamos que confiar. La interpretabilidad no es solo una cuestión científica: trata de si podemos verificar, y no solo confiar, que los sistemas hacen lo que queremos.

Qué vigilar a partir de ahora

Hay tres cosas que seguir. Primero, el texto técnico sobre LLM modernos: ¿resiste la idea de que las neuronas son legibles en modelos mucho mayores que Inception v1? Segundo, los circuitos: los críticos dicen que entender neuronas es solo una pieza y que la dificultad puede estar en las conexiones. Tercero, la respuesta de la comunidad de seguridad: ¿una historia esperanzadora cambia prioridades o fomenta la complacencia?

La reflexión final de Cammarata es sencilla. Dice que nuestra tarea es intentar pensar como la red neuronal, y que sospecha que todo saldrá bastante bien “porque en cierto sentido fue diseñada para ser leída”. Quizá. O quizá sea la corazonada más optimista de la IA ahora mismo.

Te dejo una pregunta. Cuando usas un asistente de IA, ¿cuánto necesitas saber de por qué te respondió lo que te respondió? Si la respuesta es “mucho”, entonces que estos sistemas se puedan leer te importa, salga como salga.