Anatomía
emocional
de un transformer Anatomy
of an
emotional transformer Compresión selectiva e interpretabilidad mecánica de BERT-base sobre GoEmotions. Un manual visual para desarmar el modelo capa por capa. Selective compression and mechanistic interpretability of BERT-base on GoEmotions. A visual manual that takes the model apart layer by layer.

Cada esfera es una cabeza de atención. Cada anillo turquesa es un bloque FFN. Por la columna central viaja el residual stream con el [CLS] desde abajo hasta el classifier de arriba.

Each sphere is an attention head. Each turquoise ring is an FFN block. The dotted central column is the residual stream that carries [CLS] from the bottom to the classifier on top.

El color codifica la categoría funcional según el ablation study (notebook 6). Roja: critical specialist. Azul: critical generalist. Amarilla: minor. Gris: prescindible. El tamaño es el impacto agregado al ablacionar.

Color encodes the functional category from the ablation study (notebook 6). Red: critical specialist. Blue: critical generalist. Yellow: minor. Grey: dispensable. Size encodes aggregate impact when the head is ablated.

Compara la capa 11 con la capa 0. Arriba casi todo es rojo y azul. Abajo casi todo es gris. El trabajo emocional no está distribuido uniformemente — vive concentrado al final.

Compare layer 11 with layer 0. Up top almost everything is red and blue. Down at the bottom it's mostly grey. Emotional work isn't spread evenly — it's concentrated at the end of the stack.

Una palabra entra en BERT y, al salir, ya no es esa palabra. El modelo sustituye "qué palabra es" por "qué papel juega" capa a capa. Es un fenómeno conocido (Tenney 2019, Ethayarajh 2019).

A word enters BERT and on the way out it isn't that word anymore. The model replaces "which word is this" with "what role does it play" layer by layer. The phenomenon is well documented (Tenney 2019, Ethayarajh 2019).

Tres curvas miden la transición. Azul: retención léxica, cuánto del embedding original sobrevive. Amarilla: anisotropía, cuán parecidos son los tokens entre sí. Roja: F1 del probe lineal de emoción, cuánta información de la etiqueta es linealmente extraíble.

Three curves track the transition. Blue: lexical retention — how much of the original embedding survives. Yellow: anisotropy — how similar the tokens look to each other. Red: linear-probe F1 for emotion — how much of the label is linearly recoverable.

Las tres se cruzan en L8–L9. Antes, fase léxica. Después, fase semántica. Los cuatro mini-heatmaps lo hacen visceral: filas tempranas con colores variados (cada token preserva identidad), filas tardías monocromas (todos los tokens han colapsado al mismo vector contextual).

The three curves cross around L8–L9. Before that, lexical phase. After that, semantic phase. The four mini-heatmaps make it tangible: early rows show varied colors (each token keeps its identity), late rows go monochrome (every token has collapsed onto the same contextual vector).

Apilas las representaciones de tokens de cada capa en una matriz 469 × 768 y le aplicas SVD. La pregunta: cuántas dimensiones está usando realmente el modelo capa a capa.

Stack each layer's token representations into a 469 × 768 matrix and run SVD on it. The question: how many dimensions does the model actually use at each layer?

Las curvas azules son norma euclídea de los vectores. Crecen con la profundidad (Kobayashi 2021). Las rojas son rango efectivo y k95 — cuántos valores singulares cubren el 95 % de la varianza. Caen en pico: de ~130 dimensiones en capas tempranas a 22 en L12. El k95 baja hasta 35.

The blue curves are vector L2 norms. They grow with depth (Kobayashi 2021). The red ones are effective rank and k95 — how many singular values cover 95 % of the variance. They collapse: ~130 dimensions in early layers down to 22 by L12. k95 drops to 35.

De 768 dimensiones disponibles, el modelo termina usando un 5 %. El heatmap inferior es la prueba completa: energía espectral acumulada por capa, con la línea negra del k95 desplazándose a la izquierda en L9–L12.

Out of 768 available dimensions, the model ends up using around 5 %. The bottom heatmap shows the full picture: cumulative spectral energy per layer, with the black k95 line drifting left from L9 to L12.

La superficie de la derecha es F1 sobre el plano (rango × profundidad). Cada celda es una configuración. El color es retención de F1.

The right-hand surface is F1 over the (rank × depth) plane. Each cell is a configuration. Color is F1 retention.

Las capas tardías (8–11) caen al vacío antes que las tempranas. Esa asimetría es lo que motiva la compresión informada del capítulo 6.

Late layers (8–11) plunge into the void before the early ones. That asymmetry is what motivates the informed compression of chapter 6.

El algoritmo greedy domina la frontera de Pareto en 8 de 9 puntos óptimos. La estrategia greedy_90 retiene un 93 % del F1 con un 14 % menos de parámetros.

The greedy algorithm dominates the Pareto frontier in 8 out of 9 optimal points. The greedy_90 strategy retains 93 % of F1 with 14 % fewer parameters.

Cada fila es una matriz de pesos. Eje X: índice del valor singular. Eje Z: magnitud normalizada σᵢ/σ₁.

Each row is one weight matrix. X-axis: singular-value index. Z-axis: normalised magnitude σᵢ/σ₁.

Q y K forman picos abruptos: pocos valores singulares dominan, espectro concentrado, rango efectivo bajo, fácil de comprimir. Las FFN forman mesetas casi planas: espectro distribuido, cada dimensión aporta, frágiles bajo SVD.

Q and K form sharp peaks: a few singular values dominate, concentrated spectrum, low effective rank, easy to compress. The FFN matrices form near-flat plateaus: distributed spectrum, every dimension contributes, fragile under SVD.

Los diamantes marcan k95 por matriz. Q/K cerca de 395. FFN cerca de 620. Es la Tabla 6 de la memoria, en relieve.

The diamonds mark k95 per matrix. Q/K hover around 395. FFN around 620. It's Table 6 of the thesis, but in 3D.

Las mismas 588 frases en L12, proyectadas con LDA. Seis configuraciones de compresión: rangos 768 (sin tocar), 512, 384, 256, 128, 64.

The same 588 sentences at L12, projected with LDA. Six compression configs: ranks 768 (untouched), 512, 384, 256, 128, 64.

A r=512 todo casi igual. Entre r=384 y r=256 está el acantilado: los clusters se difuminan. A r=128 la geometría desaparece. A r=64 todos los embeddings colapsan en un blob.

At r=512 almost nothing changes. Between r=384 and r=256 is the cliff: clusters blur. At r=128 the geometry is gone. At r=64 the embeddings collapse into a single blob.

La gráfica de la derecha lo cuantifica: silhouette en azul, retención de F1 en terra. Caen juntas a partir de r=384. La transición de fase, vista como geometría que se deshace.

The right-hand chart quantifies the same story: silhouette in blue, F1 retention in terra. They drop together from r=384 onwards. Phase transition, seen as geometry coming apart.

Cargo los dos modelos. Para cada una de las 72 matrices calculo el cambio relativo: ‖W_ft − W_pre‖ / ‖W_pre‖. Cuánto se ha movido cada matriz durante el fine-tune.

Load both models. For each of the 72 matrices, compute relative change ‖W_ft − W_pre‖ / ‖W_pre‖ — how far each matrix moved during the fine-tune.

La predicción de §5.5 era simple. El gradiente fluye más fuerte hacia las capas finales. Las tardías deberían cambiar mucho. Las tempranas, ya buenas en el pre-entrenamiento, deberían quedarse casi igual.

The prediction in §5.5 was simple. Gradient flows harder into late layers. Late ones should change a lot; early ones, already serviceable from pre-training, should barely move.

El heatmap lo confirma. Los valores en capas 8–11 son claramente más altos. Evidencia empírica directa de la arquitectura de dos fases.

The heatmap confirms it. Values across layers 8–11 are clearly higher. Direct empirical evidence of the two-phase architecture.

Para cada capa entrenas un clasificador lineal sobre el [CLS]. Te dice cuánta información de cada emoción es linealmente extraíble en ese punto.

For each layer you train a linear classifier on top of [CLS]. It tells you how much of each emotion is linearly recoverable at that point.

Gratitude sale ya en L0. Tiene vocabulario obvio ("thanks", "thank you"). Realization aguanta hasta L11. Necesita contexto entero para diferenciarse.

Gratitude shows up as early as L0. The vocabulary is obvious ("thanks", "thank you"). Realization holds out until L11. It needs the full context to be told apart.

La frecuencia en el dataset NO predice la profundidad. Annoyance tiene 3× más ejemplos que disgust. Cristaliza 6 capas más tarde. Lo que importa es la complejidad semántica, no el volumen de datos.

Frequency in the dataset does NOT predict depth. Annoyance has 3× more examples than disgust, yet crystallises 6 layers later. What matters is semantic complexity, not data volume.

Los diamantes marcan la capa de cristalización: donde el F1 alcanza el 80 % de su máximo. La barra de la izquierda es el cluster psicológico de cada emoción.

The diamonds mark the crystallisation layer — where F1 reaches 80 % of its maximum. The left ribbon is each emotion's psychological cluster.

Logit lens. Técnica de Nostalgebraist (2020), refinada por Belrose et al. (NeurIPS 2023). Aplicas el pooler + classifier reales del modelo a las 13 representaciones intermedias.

Logit lens. Originally Nostalgebraist (2020), refined by Belrose et al. (NeurIPS 2023). You take the model's real pooler + classifier and apply them to all 13 intermediate representations.

Promediado sobre 2300 frases, el sigmoid medio traza una U. Capas 0–3: las estadísticas del [CLS] saturan el tanh del pooler — muchas emociones se disparan a la vez con magnitud media. Capas 4–9: transición, tanh cerca de cero, todas las sigmoides colapsan. Capas 10–11: el [CLS] alcanza su régimen entrenado y una emoción pega un salto.

Averaged over 2,300 sentences, the mean sigmoid traces a U. Layers 0–3: [CLS] statistics saturate the pooler's tanh — several emotions fire at once with medium magnitude. Layers 4–9: transition zone, tanh near zero, every sigmoid collapses. Layers 10–11: [CLS] reaches its trained regime and one emotion jumps.

Esto explica por qué el activation patching de L11 recupera el 100 % del F1: lo que restauras es justamente esta calibración.

This is why activation-patching layer 11 alone recovers 100 % of F1: what you're restoring is exactly this calibration.

Dos curvas, tres paneles. Las dos miden información de emoción en cada capa. Mismos datos. Preguntas distintas.

Two curves, three panels. Both measure emotion information at every layer. Same data. Different questions.

El probe lineal (rojo) es un clasificador nuevo entrenado sobre cada capa. Te dice cuánta información hay ahí, linealmente extraíble. Sube monótonamente: la información se acumula con la profundidad.

The linear probe (red) is a fresh classifier trained on each layer. It tells you how much information is there, linearly recoverable. It rises monotonically: information accumulates with depth.

El logit lens (verde) es la cabeza entrenada en L11, aplicada en cada capa. Hace U porque sólo sabe leer activaciones estilo L11. En las capas tempranas y medias lee mal aunque la información esté ahí.

The logit lens (green) is the head trained at L11, applied at each layer. It makes a U because it can only read L11-style activations. Early and middle layers fool it even though the information is there.

La banda gris entre las dos curvas es la diferencia: información que existe pero el modelo no usa. Por eso basta con restaurar L11 en el activation patching para recuperar el 100 % del F1: no falta información en el resto del modelo, falta una cabeza que sepa leerla.

The grey band between the two curves is the gap: information that exists but the model doesn't use. That's why restoring just L11 via activation patching recovers 100 % of F1 — the rest of the model isn't missing information, it's missing a head that knows how to read it.

Los tres paneles separan emociones por capa de cristalización. Tempranas: probe alto en L0 pero el lens aún no decide, brecha máxima. Tardías: probe y lens suben a la vez, brecha mínima.

The three panels split emotions by crystallisation layer. Early: probe is already high at L0 but the lens hasn't decided — maximum gap. Late: probe and lens rise together — minimum gap.

Multi-label significa que el modelo no produce una emoción. Produce un vector de 23 sigmoides, varias activas a la vez. Ese vector es la firma de la frase.

Multi-label means the model doesn't produce an emotion. It produces a vector of 23 sigmoids, several of them active at once. That vector is the sentence's signature.

Aplico el classifier real al [CLS] de cada capa. Cada pétalo del polar es una emoción. Su longitud es el sigmoid. El pétalo con borde negro grueso es la emoción gold.

I apply the real classifier to [CLS] at each layer. Each petal of the polar is one emotion. Its length is the sigmoid. The petal with the thick black border is the gold emotion.

Selecciona una frase y dale a Play. Vas viendo el fingerprint emerger desde el ruido (Emb) hasta la decisión cristalizada (L11). Cuando varios pétalos crecen juntos, el modelo cree que coexisten varias emociones — eso es lo que la BCE multi-label produce y ningún heatmap promediado deja ver.

Pick a sentence and hit Play. You watch the fingerprint emerge from noise (Emb) into a crystallised decision (L11). When several petals grow together, the model thinks multiple emotions coexist — that's what multi-label BCE produces and no averaged heatmap can show you.

Cada cabeza es una celda en una matriz 12 × 12. Color = categoría según el ablation study. La capa 11 (fila inferior) no contiene ni una cabeza prescindible. Sus 12 son críticas.

Each head is a cell in a 12 × 12 matrix. Color = category from the ablation study. Layer 11 (bottom row) has zero dispensable heads. All 12 are critical.

Los puntos negros marcan las cabezas que cada emoción necesita específicamente, según la Tabla 19. L11-H6 aparece dos veces — la comparten sadness y realization.

The black dots mark the heads each emotion needs specifically, from Table 19. L11-H6 appears twice — shared between sadness and realization.

El 77 % de las cabezas en capas 8–11 son críticas. En capas 0–4 es sólo el 25 %. Hay un gradiente que no aparece en arquitecturas no fine-tuneadas.

77 % of heads in layers 8–11 are critical. In layers 0–4 it's only 25 %. A gradient that doesn't show up in non-fine-tuned architectures.

Eliges una frase. El sistema te enseña los 144 patrones de atención simultáneamente. El borde de cada celda codifica su categoría funcional.

Pick a sentence. The system shows you all 144 attention patterns at once. Each cell's border encodes its functional category.

Patrones reconocibles. Las capas tempranas atienden diagonalmente: token a sí mismo, vecinos. Las tardías concentran atención en [CLS] o [SEP] — rayas verticales. Es el patrón típico de las cabezas agregadoras.

Recognisable shapes. Early layers attend diagonally: token to itself, neighbours. Late layers concentrate attention on [CLS] or [SEP] — vertical stripes. The classic aggregator pattern.

Click en cualquier cabeza para ampliarla con etiquetas de tokens.

Click any head to enlarge it with token labels.

El classifier tiene 23 vectores de 768 dimensiones, uno por emoción. Esos vectores son las direcciones que el modelo usa para detectar cada emoción. Los proyecto a PCA-3D y los pinto como flechas radiando del origen.

The classifier has 23 vectors of 768 dimensions, one per emotion. Those vectors are the directions the model uses to detect each emotion. I project them into PCA-3D and draw them as arrows from the origin.

Vectores casi-ortogonales: emociones que el modelo distingue limpiamente. Casi-paralelos: emociones que confunde. Gratitude y love apuntan parecido.

Near-orthogonal vectors: emotions the model distinguishes cleanly. Near-parallel: emotions it confuses. Gratitude and love point in similar directions.

El heatmap es la similitud coseno completa en 768 dimensiones, reordenada por cluster. Los bloques diagonales muestran alta similitud dentro de un cluster.

The heatmap is the full cosine similarity in 768 dimensions, reordered by cluster. Diagonal blocks show high similarity within a cluster.

Esto es §2.7.5 (superposition) hecho geometría. El modelo codifica más conceptos que dimensiones tendría si todos fueran ortogonales puros.

This is §2.7.5 (superposition) made geometric. The model encodes more concepts than dimensions would allow if they were all strictly orthogonal.

Aquí el grafo se construye en D3.js. Sin Plotly. Cada emoción a la izquierda. Cabezas críticas en el centro. Clusters psicológicos a la derecha.

Here the graph is built in D3.js. No Plotly. Emotions on the left. Critical heads in the middle. Psychological clusters on the right.

L11-H6 es el nodo rojo. Es la única cabeza compartida por más de una emoción. La usan sadness y realization. Probable circuito de "expectativa frustrada" que el fine-tune reutiliza.

L11-H6 is the red node. The only head shared by more than one emotion. Used by sadness and realization. Likely a "frustrated expectation" circuit the fine-tune is reusing.

Click en cualquier nodo para ver su entorno.

Click any node to inspect its neighbourhood.

Sin pedirle nada, un clustering jerárquico sobre los vectores de selectividad neuronal produce seis grupos con coherencia psicológica reconocible. Positivas energéticas. Negativas reactivas. Internas. Epistémicas. Orientadas al otro. Baja especificidad.

Without asking for anything, hierarchical clustering on the neural-selectivity vectors yields six groups with recognisable psychological coherence. High-energy positives. Reactive negatives. Internal. Epistemic. Other-oriented. Low specificity.

La barra de la derecha mide la norma de selectividad. Es el mejor predictor (ρ = 0.64, p = 0.001) de la caída de F1 bajo SVD. Las emociones "escritas en negrita" en los pesos del modelo son las más vulnerables.

The right-hand bar shows the selectivity norm. Best predictor (ρ = 0.64, p = 0.001) of F1 drop under SVD. Emotions "written in bold" in the model's weights are the most fragile.

La SVD no ataca selectivamente las neuronas emocionales. La geometría espectral es ortogonal a la función. Pero las emociones que requieren más capacidad neuronal son más frágiles a CUALQUIER perturbación.

SVD doesn't selectively target emotional neurons. The spectral geometry is orthogonal to function. But the emotions that demand more neural capacity are more fragile under ANY perturbation.

Las 23 emociones, posicionadas en un plano 2D. Eje X: capa de cristalización. Eje Y: norma de selectividad.

The 23 emotions placed in a 2D plane. X-axis: crystallisation layer. Y-axis: selectivity norm.

Cuadrante superior izquierdo: gratitude, love. Tempranas e intensas. Cuadrante inferior derecho: realization, disappointment. Tardías y difusas.

Top-left quadrant: gratitude, love. Early and intense. Bottom-right quadrant: realization, disappointment. Late and diffuse.

La línea punteada conecta sadness y realization. Comparten L11-H6.

The dotted line connects sadness and realization. They share L11-H6.

Selecciona una emoción en el menú de la derecha y verás su huella radial: 6 dimensiones funcionales en una figura polar.

Pick an emotion in the right-hand menu to see its radial fingerprint — 6 functional dimensions on a polar plot.

El greedy elige movimientos por eficiencia: parámetros ahorrados / coste F1. Aquí lo ves en acción. Empezamos con baseline (todo a rango 768) y avanzamos: greedy_95 → greedy_90 → … → greedy_50.

Greedy picks moves by efficiency: parameters saved / F1 cost. Here you watch it work. Start at baseline (every rank 768) and step through: greedy_95 → greedy_90 → … → greedy_50.

La matriz 12 × 6 se va iluminando célula a célula. Las primeras decisiones son Q y K — gratis, sin coste F1. Exactamente lo que predice §4.3 sobre la inmunidad de Q/K. Después vienen FFN-output en capas tempranas. Las tardías (8–11) se mantienen intactas hasta el final.

The 12 × 6 matrix lights up cell by cell. The first decisions are Q and K — free, zero F1 cost. Exactly what §4.3 predicts about Q/K immunity. Then FFN-output in early layers. The late layers (8–11) stay untouched until the very end.

La línea derecha sigue el F1 vs ratio de compresión paso a paso. Es la prueba algorítmica de que el greedy reproduce los hallazgos de interpretabilidad sin acceso a ellos. Se entera sólo con datos empíricos de sensibilidad.

The right-hand line tracks F1 vs compression ratio at each step. Algorithmic proof that greedy reproduces the interpretability findings without access to them. It figures it out from empirical sensitivity data alone.