hidkit-eval

## What it measures

- **Hidden tests:** a grader that the candidate never sees checks the behavior.
- **Judge claims:** two blind Opus judges grade scope, redundancy, evidence, readability, and the security report.
- **Cost:** the cost ratio of the Cheffy arm to the baseline arm.
- **Noise:** repeats of each scenario. A gain counts only when it is larger than the noise.

Por qué una medición aparte

Cheffy tiene una receta eval, una comparación ciega y pequeña de variantes. La propia receta llama a su resultado un juicio, no una medición. Un gate de release necesita más: repeticiones, tests ocultos y un control de ruido.

hidkit-eval es esa medición. Vive en un repositorio privado. Si sus tests ocultos y sus parches de referencia llegaran a un set de entrenamiento de modelos, los escenarios ya no medirían nada.

El método

Cada escenario corre en dos brazos: el brazo base con Claude Code solo, y el brazo de Cheffy. El snippet lista lo que se califica en cada corrida.

• Dos sets. Un set fácil revisa que no haya regresión y mide el costo. Un set difícil mide la calidad, con un split de train y un split de test congelado.
• Un parche por ronda. Cada ronda agrega un parche a Cheffy, y el split de test no cambia.
• Reglas para una corrida final. Primero corre un chequeo de factibilidad que no gasta tokens, sobre el split exacto. La estadística de ruido queda fija antes de la corrida, no después. Califican dos jueces, porque un solo juez no da un valor de acuerdo.

Los graders corren código que escribió el candidato, así que corren en un sandbox de macOS. El sandbox no tiene red, permite escribir solo en el directorio de trabajo y no arranca ningún binario aparte de node y git.

Cada corrida usa mi suscripción. El runner quita ANTHROPIC_API_KEY, así que una corrida nunca cobra por la API.

El resultado honesto

Para salir de la fase 1, Cheffy necesita más calidad que Claude Code solo, con un costo de 2 veces la línea base o menos. Esa condición todavía no se cumple.

• Cheffy no empeoró en ninguna tarea.
• Su ganancia de calidad (0.10) quedó por debajo del ruido (0.20).
• Su costo fue de 3.6 a 4.5 veces la línea base.

Así que Hidkit sigue en la fase 1. El número me dice dónde trabajar ahora: bajar el costo y encontrar una ganancia que supere el ruido. Por eso la medición va antes de cualquier release.