Pruebas de reglas
Las pruebas de reglas comprueban que tus reglas cambian de verdad lo que hace el agente. Cada prueba envía un prompt con tus reglas a un modelo barato y revisa la respuesta. Ingot informa del porcentaje de aciertos, y un tope de coste estricto detiene la ejecución antes de que gaste más de lo que permites.
Escribir una prueba
Pon las pruebas en .ingot/tests/*.yaml:
tests:
- name: Los tipos van en un archivo de tipos
prompt: Añade una interfaz CartItem para el carrito. ¿Dónde va?
files: [src/cart/cart.ts] # opcional: elige las reglas por glob, como haría un archivo abierto
runs: 3 # opcional: repite para medir la inestabilidad (máximo 10)
assert:
- contains: cart.types.ts
- judge: La interfaz va en un archivo .types.ts y se importa con import type
mock: Ponla en src/cart/cart.types.ts e impórtala con import type.
El modelo recibe tus reglas siempre activas más las reglas cuyos globs coinciden con files. Usa rules: [nombre, ...] para enviar solo algunas reglas.
| Aserción | Pasa cuando la respuesta… |
|---|---|
contains / not_contains | contiene (o no) el texto, sin distinguir mayúsculas |
matches / not_matches | coincide (o no) con una expresión regular |
max_words | tiene como mucho ese número de palabras |
judge | cumple el criterio, según el mismo modelo (PASS o FAIL) |
mock es la respuesta del modelo simulado gratuito, para que la prueba pueda ejecutarse en CI sin clave ni coste.
Ejecutar pruebas en el IDE
Abre la página Rules & MCP, elige la pestaña Rules y pulsa Test, o ejecuta Test Rules… desde Find Action.
- Elige un modelo. Mock (free, offline) no cuesta nada; los demás son modelos baratos de OpenRouter, con
google/gemini-2.5-flash-litepor defecto. - Fija el Cost cap. Por defecto es $0.05 y no puede pasar de $1.
- Pulsa Run Tests.
El diálogo muestra el porcentaje de aciertos, el coste de la ejecución frente al tope y cada prueba con sus aserciones fallidas y la respuesta del modelo. La última ejecución se guarda en .ingot/.state/rules-test-report.json y el diálogo la muestra la próxima vez que lo abras.
Los modelos reales necesitan una clave de OpenRouter. Añádela en la página Models; se queda en el llavero del sistema y solo la usa el backend.
El tope de coste
Antes de cada llamada, Ingot calcula lo máximo que podría costar (el prompt más el límite completo de respuesta) al precio del modelo. Si eso superara el tope de la ejecución, la llamada no se hace y la prueba cuenta como omitida. Una ejecución nunca gasta más que su tope, aunque el modelo responda largo.
Desde la terminal y en CI
npx @ingotide/cli rules test # modelo por defecto, tope de $0.05
npx @ingotide/cli rules test --max-cost 0.2 # sube el tope (máximo $1)
npx @ingotide/cli rules test --mock # modelo simulado gratuito (CI)
| Opción | Significado |
|---|---|
--model <id> | id de modelo de OpenRouter, o mock |
--mock | el modelo simulado gratuito; INGOT_RULES_TEST_MOCK=1 hace lo mismo |
--max-cost <usd> | tope estricto para toda la ejecución |
--max-tokens <n> | límite de respuesta por llamada (por defecto 400) |
--min-pass-rate <0-1> | sale con 1 por debajo de este porcentaje (por defecto 1) |
--json | el informe en JSON |
La CLI lee la clave de OPENROUTER_API_KEY, o de ai.openrouterApiKey en el ingot.config.json del proyecto (ignorado por git). Sale con 0 cuando pasan todas las pruebas, 1 cuando falla alguna y 3 cuando el tope de coste omitió una prueba.
En CI, ejecuta rules test --mock para que los pull requests nunca llamen a un modelo de pago. El flujo de ingot export --init-ci (Exportar reglas) ya lo hace.