The mixer atlasEl atlas de los mixers

Executive summaryResumen ejecutivo

Experiment 2 trained, deployed and evaluated 868 configurations of the Frankenstein Transformer: 703 hybrid-pair records (667 unique pairs after de-duplicating the retnet alias, each combining a first mixer A and a second mixer B as layers 0 and 1), 38 single-mixer baselines, 48 vision transformers and 79 ablations of optimizers, normalizations, positional encodings, structural switches, tokenizers, batch sizes and tasks. Every run trained for 100 epochs (≈3,000 steps) on a 512-token Spanish vocabulary, was exported twice (standard and post-training quantized) and answered four held-out masked-language-modelling prompts.El Experimento 2 entrenó, desplegó y evaluó 868 configuraciones del Frankenstein Transformer: 703 registros de pares híbridos (667 pares únicos tras deduplicar el alias retnet, cada uno con un primer mixer A y un segundo mixer B como capas 0 y 1), 38 líneas base de un solo mixer, 48 transformers de visión y 79 ablaciones de optimizadores, normalizaciones, codificaciones posicionales, conmutadores estructurales, tokenizadores, tamaños de lote y tareas. Cada corrida entrenó 100 épocas (≈3.000 pasos) sobre un vocabulario español de 512 tokens, se exportó dos veces (estándar y cuantizada post-entrenamiento) y respondió cuatro consignas de enmascaramiento reservadas.

• Architecture matters less than the second mixerLa arquitectura importa menos que el segundo mixer
  The first mixer explains a narrow band of loss (9.26–9.81 nats between its best and worst family with enough samples), while the second mixer spreads from 9.37 (sparsek) to 10.18 (mamba) — a 0.81-nat gap.El primer mixer explica una banda estrecha de pérdida (9,26–9,81 nats entre su mejor y peor familia con muestras suficientes), mientras que el segundo mixer se abre desde 9,37 (sparsek) hasta 10,18 (mamba) — una brecha de 0,81 nats.
• There is real synergy — and real interferenceHay sinergia real — y también interferencia
  nsa+engram beats the average of its two marginal means by 1.304 nats; gqa+tucker loses 1.018 nats against the same expectation. Pairing is not additive.nsa+engram supera la media de sus dos marginales en 1,304 nats; gqa+tucker pierde 1,018 nats frente a esa misma expectativa. Emparejar no es aditivo.
• Scale is a weak lever at this sizeLa escala es una palanca débil a este tamaño
  Parameter count correlates with loss at only r = -0.19 and with held-out accuracy at r = -0.07; the largest model (engram__conformer_attn, 415,904 params) is not the best.El número de parámetros correlaciona con la pérdida solo r = -0,19 y con la precisión de validación r = -0,07; el modelo más grande (engram__conformer_attn, 415.904 parámetros) no es el mejor.
• Quantization is free, deployment is not fasterLa cuantización es gratis, el despliegue no es más rápido
  Top-1 changes by -0.0019 and top-5 by -0.0012 on average, yet quantized deployment is faster in only 32.3% of runs (median speed-up 0.64×) because conversion dominates the 18 s median deploy time.El top-1 cambia -0,0019 y el top-5 -0,0012 de media, pero el despliegue cuantizado solo es más rápido en 32,3 % de las corridas (aceleración mediana 0,64×) porque la conversión domina los 18 s de despliegue.
• Four mixers collapse at 32-token sequencesCuatro mixers colapsan con secuencias de 32 tokens
  standard, bigbird, longformer and titan produce bit-identical losses on 33 of 33 shared second mixers: the sweep trains on 32-token sequences, so windowed sparse attention degenerates to full attention and the PE-augmented variant matches plain MHA. The mixer list needs a longer-context pass.standard, bigbird, longformer y titan producen pérdidas bit a bit idénticas en 33 de 33 segundos mixers compartidos: la tanda entrena con secuencias de 32 tokens, así que la atención dispersa por ventanas degenera en atención completa y la variante con codificación posicional coincide con MHA pura. La lista de mixers necesita una pasada de contexto largo.
• The sweep is honest about its failuresLa tanda es honesta con sus fallos
  275 of the 5,271 pipeline records failed (171 training runs, 104 deployments), all outside the 868 analysed configurations; the survivors completed 95% of their stages.275 de los 5.271 registros del pipeline fallaron (171 entrenamientos, 104 despliegues), todos fuera de las 868 configuraciones analizadas; las supervivientes completaron el 95% de sus etapas.

What was run, and how to read itQué se corrió y cómo leerlo

Each configuration is identified by a slug such as attn_nsa_attn__engram_attn: the prefix names the family, then first_mixer__second_mixer. Ablations use their own prefixes (opt_, norm_, pe_, trans_, vit_, task_, tokenizer_, batch_). The pipeline is identical for every row: train 100 epochs → export to a standard checkpoint → deploy in standard and quantized formats → evaluate four masked sentences per format → export the Hugging Face package.Cada configuración se identifica con un slug como attn_nsa_attn__engram_attn: el prefijo nombra la familia y luego viene primer_mixer__segundo_mixer. Las ablaciones usan sus propios prefijos (opt_, norm_, pe_, trans_, vit_, task_, tokenizer_, batch_). El pipeline es idéntico para cada fila: entrenar 100 épocas → exportar un checkpoint estándar → desplegar en formato estándar y cuantizado → evaluar cuatro frases enmascaradas por formato → exportar el paquete de Hugging Face.

Hybrid pairs are generated as itertools.combinations(ATTENTIONS, 2) and materialised as dims.layer_pattern: [A, B] with num_layers: 2 — layer 0 runs mixer A and layer 1 runs mixer B. Singles use num_layers: 1. Because the combinations follow the fixed order of the 42-entry mixer list, no reversed pair (B, A) exists: the “first vs second” asymmetry in this report is therefore confounded with list order and must be read as descriptive, not causal.Los pares híbridos se generan con itertools.combinations(ATTENTIONS, 2) y se materializan como dims.layer_pattern: [A, B] con num_layers: 2 — la capa 0 ejecuta el mixer A y la capa 1 el mixer B. Los singles usan num_layers: 1. Como las combinaciones siguen el orden fijo de la lista de 42 mixers, no existe ningún par invertido (B, A): la asimetría “primero vs segundo” de este informe está confundida con el orden de la lista y debe leerse como descriptiva, no causal.

The data comes from three independent recorders: a per-step training log (2.66 M rows), a parameter census of every module group and a results ledger of the five pipeline stages. This report joins all three by configuration; the per-step log is streamed and aggregated to per-epoch means so that every chart remains reproducible on a laptop.Los datos provienen de tres registradores independientes: un log de entrenamiento paso a paso (2,66 M de filas), un censo de parámetros por grupo de módulos y un libro de resultados de las cinco etapas del pipeline. Este informe une los tres por configuración; el log paso a paso se procesa en streaming y se agrega a medias por época para que todos los gráficos sigan siendo reproducibles en un portátil.

1 · The parameter landscape1 · El paisaje de parámetros

The 868 configurations span 127,328 to 415,904 parameters, with a median of 220,160. The hybrid pairs sit in the middle of the range because they combine two attention modules; the smallest runs are single-mixer baselines such as attn_single_mamba (127,328 parameters), and the largest is engram__conformer_attn at 415,904 — driven by its engram memory bank, which adds a large key-value table to the attention block.Las 868 configuraciones abarcan de 127.328 a 415.904 parámetros, con una mediana de 220.160. Los pares híbridos ocupan el centro del rango porque combinan dos módulos de atención; las corridas más pequeñas son líneas base de un solo mixer como attn_single_mamba (127.328 parámetros), y la mayor es engram__conformer_attn con 415.904 — impulsada por su banco de memoria engram, que añade una gran tabla clave-valor al bloque de atención.

The composition chart is the most useful diagnostic in this section: embeddings and the output head are fixed costs (about 49k parameters each), so any difference between configurations is almost entirely paid by the attention block and the FFN. The vision transformers are the most parameter-hungry family because they add patch embeddings and a larger classification head, while ablations of optimizer, normalization or positional encoding keep the same 210k-parameter backbone by design.El gráfico de composición es el diagnóstico más útil de esta sección: los embeddings y la cabeza de salida son costes fijos (unos 49k parámetros cada uno), así que cualquier diferencia entre configuraciones se paga casi por completo en el bloque de atención y la FFN. Los transformers de visión son la familia más costosa porque añaden embeddings de parches y una cabeza de clasificación mayor, mientras que las ablaciones de optimizador, normalización o codificación posicional mantienen por diseño el mismo esqueleto de 210k parámetros.

2 · Training outcomes2 · Resultados de entrenamiento

Across the hybrid pairs, final loss ranges from 8.116 to 10.450 nats (median 9.595). The best hybrid pair is nsa__engram_attn at 8.116, followed by gated_deltanet2__sparda_attn (8.567) and fox__falcon2_attn (8.705). The worst pair, gqa__tucker_attn, needs 10.450 nats — the spread between the extremes is larger than the spread between most optimizer ablations, which is the strongest argument for mixing the right attention pair.Entre los pares híbridos, la pérdida final va de 8,116 a 10,450 nats (mediana 9,595). El mejor par híbrido es nsa__engram_attn con 8,116, seguido de gated_deltanet2__sparda_attn (8,567) y fox__falcon2_attn (8,705). El peor par, gqa__tucker_attn, necesita 10,450 nats — la brecha entre extremos supera la brecha entre casi todas las ablaciones de optimizadores, y ese es el argumento más fuerte para elegir bien el par de atención.

Top 20 hybrid pairs by final lossTop 20 de pares híbridos por pérdida final

Top 20 hybrid pairs by held-out accuracyTop 20 de pares híbridos por precisión

3 · Training dynamics3 · Dinámica de entrenamiento

Every run uses the same warm-up plus cosine schedule, so the learning curves are directly comparable. The pair population is still descending at epoch 100 — the median loss drops from about 10.2 nats at epoch 0 to 9.49 at the end — which means the sweep measures speed of learning, not converged quality. Any ranking should be read as “which pair learns faster in 3,000 steps”.Cada corrida usa el mismo calendario de warm-up más coseno, así que las curvas de aprendizaje son directamente comparables. La población de pares sigue descendiendo en la época 100 — la pérdida mediana cae de unos 10,2 nats en la época 0 a 9,49 al final — lo que significa que la tanda mide velocidad de aprendizaje, no calidad convergida. Todo ranking debe leerse como “qué par aprende más rápido en 3.000 pasos”.

Gradient norms are remarkably stable across families (1.87 for the attention block, 0.92 for the FFN, 3.47 for the head), and the median clip ratio sits at 0.90 — below the threshold of 1.0 — so most steps pass unclipped and clipping only fires on the rare spike. Throughput medians at 357 tokens/s for the pair population; the 3k–31k tail belongs to tokenizer and audio ablations whose step timer covers only part of the work, so the Pareto analysis excludes it.Las normas de gradiente son notablemente estables entre familias (1,87 para el bloque de atención, 0,92 para la FFN, 3,47 para la cabeza) y la razón de recorte mediana es 0,90 — por debajo del umbral de 1,0 — así que la mayoría de los pasos pasan sin recorte y este solo actúa en los picos. El rendimiento mediano es 357 tokens/s para la población de pares; la cola de 3k–31k pertenece a ablaciones de tokenizer y audio cuyo cronómetro cubre solo parte del trabajo, por lo que el análisis de Pareto la excluye.

4 · The A×B atlas4 · El atlas A×B

The A×B heatmaps are the centrepiece of the experiment: each cell is one hybrid pair, rows are the first mixer, columns the second. Reading them column by column reveals that the second mixer dominates the outcome: a good B (sparsek, engram, mlra) keeps almost every A in the 8.9–9.6 nat band, while a bad B (mamba, retnet, bigbird) drags even the best A above 10 nats. Reading them row by row shows the opposite asymmetry: no first mixer rescues a bad second one.Los mapas de calor A×B son el centro del experimento: cada celda es un par híbrido, las filas son el primer mixer y las columnas el segundo. Leídos por columnas revelan que el segundo mixer domina el resultado: un B bueno (sparsek, engram, mlra) mantiene casi todo A en la banda de 8,9–9,6 nats, mientras que un B malo (mamba, retnet, bigbird) arrastra incluso al mejor A por encima de 10 nats. Leídos por filas muestran la asimetría opuesta: ningún primer mixer rescata a un segundo malo.

Coverage is almost complete: 667 unique pairs of the 861 possible ones were trained. The 158 pairs that never trained are exactly those containing cca, ccgqa, msa or ssog: those four mixers fail in every configuration (see §7). Parameter cost is the other axis: engram adds roughly 100k–160k parameters whenever it appears, and mamba/retnet are among the cheapest second mixers even though they are the worst performers — cheap and bad, the worst combination.La cobertura es casi completa: 667 pares únicos de los 861 posibles fueron entrenados. Los 158 pares que nunca entrenaron son exactamente los que contienen cca, ccgqa, msa o ssog: esos cuatro mixers fallan en toda configuración (ver §7). El coste es el otro eje: engram añade aproximadamente 100k–160k parámetros cada vez que aparece, y mamba/retnet están entre los segundos mixers más baratos aunque sean los peores — barato y malo, la peor combinación.

Which second mixer should you pick?¿Qué segundo mixer conviene elegir?

Ranked by mean final loss across every pair that contains the mixer; the Pairs column shows how many samples back each mean, and a single-pair mean (for example mamba) is anecdotal. The bottom half is as informative as the top: mamba, retnet, bigbird and longformer are cheap but consistently drag the pair down, which is exactly the pattern the heatmaps show.Ordenados por pérdida final media en todos los pares que contienen el mixer; la columna Pares indica cuántas muestras respaldan cada media, y una media de un solo par (por ejemplo mamba) es anecdótica. La mitad inferior es tan informativa como la superior: mamba, retnet, bigbird y longformer son baratos pero arrastran sistemáticamente al par, justo el patrón que muestran los mapas de calor.

Synergy leaderboardTabla de sinergia

Synergy = (mean loss of A's pairs + mean loss of B's pairs) / 2 − loss of the A+B pair. Positive values mean the pair is better than its parts suggest; negative values mean the two mixers interfere.Sinergia = (pérdida media de los pares de A + pérdida media de los pares de B) / 2 − pérdida del par A+B. Los valores positivos indican que el par es mejor de lo que sugieren sus partes; los negativos, que los dos mixers interfieren.

5 · Ablations: optimizers, norms, encodings, structure5 · Ablaciones: optimizadores, normas, codificaciones, estructura

The optimizer sweep is the most sobering chart: 23 optimizers, the same 210k backbone, and a 10.10–10.77 nat range. q_apollo wins at 10.098 and galore_adamw closes the table at 10.772, but a dozen optimizers land on exactly 10.404 — the run is too short for the optimizer choice to separate from seed noise. Speed differences are real, however: step time varies by about 30% and shampoo/muon pay visible overhead.La barrida de optimizadores es el gráfico más aleccionador: 23 optimizadores, el mismo esqueleto de 210k y un rango de 10,10–10,77 nats. q_apollo gana con 10,098 y galore_adamw cierra la tabla con 10,772, pero una docena de optimizadores aterrizan exactamente en 10,404 — la corrida es demasiado corta para separar la elección del ruido de semilla. Las diferencias de velocidad sí son reales: el tiempo por paso varía un 30 % y shampoo/muon pagan sobrecoste visible.

Among normalizations, flash_norm is the clear winner (9.749 nats, 0.50 ahead of the runner-up), while prms_norm and rms_norm lag. In positional encodings the PAPE family (pape_ri, pape, pape_efficient) sweeps the podium, and classical RoPE is mid-table at this scale — a reminder that “modern” is not automatically better on a 100-epoch toy run.Entre las normalizaciones, flash_norm gana con claridad (9,749 nats, 0,50 por delante del segundo), mientras que prms_norm y rms_norm quedan atrás. En codificaciones posicionales la familia PAPE (pape_ri, pape, pape_efficient) barre el podio, y RoPE clásico queda a media tabla a esta escala — recordatorio de que “moderno” no es automáticamente mejor en una corrida de juguete de 100 épocas.

Optimizer sweepBarrida de optimizadores

Normalization and positional encodingNormalización y codificación posicional

Structural switchesConmutadores estructurales

6 · Deployment and inference6 · Despliegue e inferencia

Post-training quantization is the good news of the round. Across the 810 configurations with both formats, mean top-1 moves from 5.62% to 5.43% and mean top-5 from 13.36% to 13.24% — deltas of -0.19 and -0.12 percentage points. 800 configurations are exactly unchanged; the few that move do so by one sample out of four. For a smoke-scale model this is the expected result, but it is worth having it measured rather than assumed.La cuantización post-entrenamiento es la buena noticia de la tanda. En las 810 configuraciones con ambos formatos, el top-1 medio pasa de 5,62 % a 5,43 % y el top-5 medio de 13,36 % a 13,24 % — deltas de -0,19 y -0,12 puntos porcentuales. 800 configuraciones quedan exactamente iguales; las pocas que se mueven lo hacen por una muestra de cuatro. Para un modelo a escala de humo es el resultado esperado, pero vale la pena medirlo en vez de asumirlo.

The speed story is less flattering. Quantized deployment is faster than standard deployment in only 32.3% of runs (median ratio 0.64×) because the deploy stage is dominated by serialization and conversion, not by inference; evaluation is faster 51.2% of the time with a median 1.03× speed-up. Inference itself takes about 10.5 s for four sentences, which is the metric that actually matters at serving time.La historia de velocidad es menos halagüeña. El despliegue cuantizado es más rápido que el estándar solo en 32,3 % de las corridas (ratio mediano 0,64×) porque la etapa de despliegue está dominada por la serialización y la conversión, no por la inferencia; la evaluación es más rápida 51,2 % de las veces con una aceleración mediana de 1,03×. La inferencia en sí tarda unos 10,5 s para cuatro frases, que es la métrica que de verdad importa en producción.

Best inference configurationsMejores configuraciones de inferencia

7 · Reliability of the pipeline7 · Fiabilidad del pipeline

The pipeline ledger records 5,271 stage executions. 868 training runs succeeded and 171 failed with a non-zero exit code (all of them outside the 868 analysed configurations, which were selected precisely because they trained). Deployment failed 104 times out of 1,734, always in symmetric pairs — a configuration that fails the standard export also fails the quantized one, which points to a shared root cause (checkpoint or config serialization) rather than to quantization itself.El libro del pipeline registra 5.271 ejecuciones de etapas. 868 entrenamientos tuvieron éxito y 171 fallaron con código de salida distinto de cero (todos fuera de las 868 configuraciones analizadas, que se eligieron justamente porque entrenaron). El despliegue falló 104 veces de 1.734, siempre en pares simétricos — una configuración que falla el export estándar también falla el cuantizado, lo que apunta a una causa raíz compartida (serialización del checkpoint o de la config) y no a la cuantización en sí.

Two data-quality findings matter for interpretation. First, four mixers never train: cca, ccgqa, msa and ssog fail in their 4 singles and in all 158 pairs that contain them (4×41 − C(4,2) = 158), which is exactly the 158 missing cells of the atlas. Second, four mixers are indistinguishable at 32-token context: std/bigbird/longformer/titan share bit-identical losses and parameter counts because their windows (≥64 tokens) cover the whole sequence and the PE-augmented variant reduces to plain MHA. Separately, 37 pairs appear as attn_retnet__X and attn_retnet_attn__X with identical metrics — two names for the same implementation, which the atlas collapses to one.Dos hallazgos de calidad de datos condicionan la interpretación. Primero, cuatro mixers nunca entrenan: cca, ccgqa, msa y ssog fallan en sus 4 singles y en los 158 pares que los contienen (4×41 − C(4,2) = 158), exactamente las 158 celdas ausentes del atlas. Segundo, cuatro mixers son indistinguibles con contexto de 32 tokens: std/bigbird/longformer/titan comparten pérdidas y parámetros bit a bit idénticos porque sus ventanas (≥64 tokens) cubren toda la secuencia y la variante con codificación posicional se reduce a MHA pura. Por separado, 37 pares aparecen como attn_retnet__X y attn_retnet_attn__X con métricas idénticas — dos nombres para la misma implementación, que el atlas colapsa a uno.

Stage ledgerLibro de etapas

8 · What actually predicts quality8 · Qué predice de verdad la calidad

The correlation matrix answers the question everybody asks first: does size buy quality here? Barely. Parameter count correlates -0.19 with final loss and -0.07 with held-out accuracy. What parameter count does predict reliably is cost: r = 0.46 with step time and r = 0.65 with total training time. Training loss carries only a weak signal about inference quality (r = 0.14 with top-5), while gradient norm and clip ratio are almost perfectly redundant with each other and uncorrelated with quality.La matriz de correlación responde la primera pregunta de todos: ¿el tamaño compra calidad aquí? Apenas. El número de parámetros correlaciona -0,19 con la pérdida final y -0,07 con la precisión de validación. Lo que sí predice de forma fiable es el coste: r = 0,46 con el tiempo por paso y r = 0,65 con el tiempo total de entrenamiento. La pérdida de entrenamiento apenas informa sobre la calidad de inferencia (r = 0,14 con el top-5), mientras que la norma de gradiente y la razón de recorte son casi perfectamente redundantes entre sí y no correlacionan con la calidad.

9 · Conclusions and next steps9 · Conclusiones y próximos pasos

10 · Data, figures and reproducibility10 · Datos, figuras y reproducibilidad

Every file below is published as a static asset next to this page. The 868 raw per-run CSVs (one per configuration, 3,001 steps each) live in data/raw/; they are the source of the aggregated per-epoch table and of every chart in this report. Example: attn_nsa_attn__engram_attn.csv.Todos los archivos siguientes se publican como activos estáticos junto a esta página. Los 868 registros crudos por corrida (uno por configuración, 3.001 pasos cada uno) están en data/raw/ como CSV comprimidos con gzip; son la fuente de la tabla agregada por época y de todos los gráficos de este informe. Descomprime con gunzip archivo.csv.gz. Ejemplo: attn_nsa_attn__engram_attn.csv.gz.

Rebuild: uv run --with pandas --with numpy --with matplotlib --with seaborn python experimentos/2/report/build_data.py && python make_charts.py && python make_report.py. The whole pipeline reads 702 MB of per-step logs in chunks and never needs a GPU.Reconstruir: uv run --with pandas --with numpy --with matplotlib --with seaborn python experimentos/2/report/build_data.py && python make_charts.py && python make_report.py. Todo el pipeline lee 702 MB de logs paso a paso por bloques y nunca necesita GPU.