Frankenstein/ experiments / 1

The smoke roundLa ronda smoke

Experiment 1 was a rehearsal at smoke scale: 5,129 stage records, with training runs of roughly half a minute each, whose purpose was to debug the pipeline itself before committing serious computation.El Experimento 1 fue un ensayo a escala de humo: 5.129 registros de etapas, con corridas de entrenamiento de aproximadamente medio minuto cada una, cuyo propósito era depurar el propio pipeline antes de comprometer cómputo serio.

Pilot roundRonda piloto · Same five-stage harnessMismo arnés de cinco etapas · Not a leaderboardNo es un leaderboard
5,129
stage recordsregistros de etapas
~30 s
per training runpor corrida de entrenamiento
5
pipeline stagesetapas del pipeline
4
mechanics validatedmecánicas validadas

What the paper saysLo que dice el paper

Round 1 exercised the same harness end to end at smoke scale: 5,129 stage records, training runs of roughly half a minute, and the same five-stage sequence. Its purpose was to validate the mechanics — slug generation, ledger bookkeeping, deployment symmetry and the reporting joins — before committing CPU time to the real campaign.La ronda 1 ejercitó el mismo arnés de extremo a extremo a escala de humo: 5.129 registros de etapas, corridas de entrenamiento de aproximadamente medio minuto y la misma secuencia de cinco etapas. Su propósito era validar la mecánica — la generación de slugs, la contabilidad del libro, la simetría del despliegue y las uniones del reporte — antes de comprometer tiempo de CPU en la campaña real.

◆
It is not analysed further because the runs were too short to separate architectures. Its value is procedural: Round 2 inherited a harness whose bookkeeping had already been exercised and whose failure modes were already known.
No se analiza más porque las corridas eran demasiado cortas para separar arquitecturas. Su valor es procedimental: la ronda 2 heredó un arnés cuya contabilidad ya estaba ejercitada y cuyos modos de fallo ya eran conocidos.

What it validatedQué validó

The pilot did not rank models. It tested the four pieces of bookkeeping that make a later measurement round interpretable.El piloto no ordenó modelos. Probó las cuatro piezas de contabilidad que hacen interpretable una ronda de medición posterior.

The harness, exercised end to endEl arnés, ejercitado de extremo a extremo

The pilot ran the same five stages that Round 2 would later use at scale: train, export, deploy in standard and quantized formats, evaluate four held-out prompts per format, and export the Hugging Face package.El piloto corrió las mismas cinco etapas que la ronda 2 usaría después a escala: entrenar, exportar, desplegar en formato estándar y cuantizado, evaluar cuatro consignas reservadas por formato y exportar el paquete de Hugging Face.

Five-stage experiment pipeline driven by one YAML file and three recorders
One configuration of a round: five stages driven by a single YAML file and logged by three independent recorders.Una configuración de una ronda: cinco etapas impulsadas por un único archivo YAML y registradas por tres registradores independientes.
Offline reporting toolchain from recorders to bilingual static page
The offline reporting toolchain: three recorders consolidated into CSVs, joined by configuration, charted and rendered into a bilingual static page.La cadena de reporte offline: tres registradores consolidados en CSV, unidos por configuración, graficados y renderizados en una página estática bilingüe.

Round 1 against Round 2Ronda 1 frente a ronda 2

DimensionDimensión Experiment 1Experimento 1 Experiment 2Experimento 2
PurposePropósitoDebug the pipelineDepurar el pipelineMeasure the mixer landscapeMedir el paisaje de mixers
Stage recordsRegistros de etapas5,1295,271
Training run lengthDuración de las corridasAbout 30 secondsAlrededor de 30 segundosAbout 68 minutes medianUnos 68 minutos de mediana
ComputeCómputoSmoke scaleEscala smoke905 CPU-hours905 horas de CPU
OutputSalidaA validated harnessUn arnés validadoThe 868-configuration atlasEl atlas de 868 configuraciones

What this round does not answerQué no responde esta ronda

!
It is not a model comparison. The runs were too short to separate architectures, so this round says nothing about which mixer, optimizer or normalization is better. Those questions belong to Experiment 2, and even there the answers are directional rather than final.
No es una comparación de modelos. Las corridas eran demasiado cortas para separar arquitecturas, así que esta ronda no dice nada sobre qué mixer, optimizador o normalización es mejor. Esas preguntas pertenecen al Experimento 2, y aun allí las respuestas son direccionales, no definitivas.

The measurements are in Round 2Las mediciones están en la ronda 2

The pilot made the harness trustworthy. The mixer atlas is what it was preparing for.El piloto hizo confiable el arnés. El atlas de mixers es aquello para lo que preparaba.