Beta Próximamente. Esta función aún está en desarrollo; los nombres y detalles pueden cambiar antes del lanzamiento.

Modo Arena

El modo Arena ejecuta una tarea con dos agentes cuyos modelos permanecen ocultos: comparas los resultados a ciegas, votas por el mejor y solo entonces ves qué modelo era cada uno.

Cada agente trabaja en su propio worktree de git, así que ninguno toca tu proyecto. Después del voto puedes aplicar los cambios del ganador para revisarlos, y cada voto entra en tu propia clasificación de modelos.

La pestaña Arena de Ingot después de votar: Agent A y Agent B lado a lado con sus respuestas, los archivos cambiados, los modelos revelados y la clasificaciónLa pestaña Arena de Ingot después de votar: Agent A y Agent B lado a lado con sus respuestas, los archivos cambiados, los modelos revelados y la clasificación
La pestaña Arena de Ingot después de votar: Agent A y Agent B lado a lado con sus respuestas, los archivos cambiados, los modelos revelados y la clasificación

Ejecutar una batalla

  1. Abre Arena (⌘⌥⇧8 en macOS, Ctrl+Alt+Shift+8 en Windows y Linux) o haz clic en Arena en la barra de estado.
  2. Escribe la tarea y pulsa Enter (o Run in Arena). También puedes escribir /arena <tarea> en el chat.
  3. Ingot elige dos modelos distintos al azar e inicia Agent A y Agent B. Cada columna muestra la respuesta del agente, sus pasos, el tiempo que tardó y los archivos que cambió. El modelo aparece como Model hidden until you vote.
  4. Cuando ambos terminan, vota: A is better, B is better, Tie o Both are bad.
  5. Los modelos se revelan. Apply A's Changes (o los de B) copia los cambios de ese agente a tu proyecto como cambios del agente para revisar en el editor y luego elimina ambos worktrees. Discard Worktrees los elimina sin aplicar nada. Open Chat abre el chat de un participante como una pestaña normal.

Arena está desactivado hasta que lo activas. Arena es una función Beta.

Modelos ocultos

  • Los dos modelos se eligen de Settings › Tools › Arena › Models to compare, o de todos los modelos que pueden ejecutarse cuando esa lista está vacía.
  • A cada agente se le pide que no diga su nombre. Los nombres de modelos y proveedores que queden en una respuesta aparecen como [hidden] hasta que votas.
  • Los chats de los agentes no son pestañas hasta el voto, y sus ramas de worktree se llaman ingot/arena-<id>-a y -b, así que nada delata a los modelos.

Worktrees

En un repositorio git cada agente recibe un worktree nuevo desde HEAD en una carpeta temporal fuera del proyecto. Tus cambios sin confirmar en archivos con seguimiento se copian a ambos, así que los agentes parten de lo que ves. Los comandos de preparación de tu worktrees.json se ejecutan antes en cada worktree, igual que para los hilos.

Fuera de un repositorio git, o con Run each agent in its own git worktree desactivado, ambos agentes responden en modo Ask y no cambian archivos.

Votos y clasificación

Cada voto es una línea en .ingot/arena/votes.jsonl dentro del proyecto: la tarea, ambos modelos, cuánto tardó cada uno, cuántos archivos cambió cada uno y tu voto. Confirma el archivo para compartir una clasificación de equipo.

La clasificación bajo la batalla ordena los modelos con una puntuación Elo (empieza en 1000, K 32): una victoria pasa puntos del perdedor al ganador, y un empate o Both are bad mueve puntos hacia el modelo con menor puntuación. El porcentaje de victorias cuenta un empate como media victoria.

Dónde encontrarlo

DóndeQué hace
Una tarjeta sobre el cuadro del chatCuando preguntas qué modelo es mejor, o quieres una segunda opinión, una pequeña tarjeta sugiere Arena. Enable Arena lo activa, lo abre y pone tu mensaje en el cuadro de la tarea. × oculta la sugerencia para siempre
Settings › FeaturesEl interruptor Arena mode; los modelos a comparar y el ajuste de worktrees están en Settings › Tools › Arena
Arena en la barra de estadoUn clic activa Arena (si está desactivado) y lo abre

Desactiva todas las sugerencias de funciones con Suggest features in chat en Settings › Features; allí aparecen las sugerencias que cerraste. Consulta Encontrar funciones opcionales.

Una pequeña tarjeta de sugerencia de Arena sobre el cuadro del chat de Ingot con Enable Arena y un botón para cerrarUna pequeña tarjeta de sugerencia de Arena sobre el cuadro del chat de Ingot con Enable Arena y un botón para cerrar
Una pequeña tarjeta de sugerencia de Arena sobre el cuadro del chat de Ingot con Enable Arena y un botón para cerrar

Atajos de teclado

AcciónmacOSWindows / Linux
Open Arena⌘⌥⇧8Ctrl+Alt+Shift+8
Run a Task in Arena…⌘⌥⇧7Ctrl+Alt+Shift+7
Turn Arena On or Off⌘⌥⇧6Ctrl+Alt+Shift+6
Stop Arena Agents⌘⌥⇧5Ctrl+Alt+Shift+5
Vote: A Is Better / B Is Better / Tie / Both Are Bad⌘⌥1 / ⌘⌥2 / ⌘⌥3 / ⌘⌥4Ctrl+Alt+1 / 2 / 3 / 4

Los atajos de voto funcionan mientras la pestaña Arena tiene el foco y ambos agentes han terminado. Cada acción también está en Find Action.

Ajustes

AjustePor defectoQué hace
ingot.arena.enabledfalseModo Arena: la pestaña Arena, /arena y el botón de la barra de estado abren batallas
ingot.arena.models[]Ids de modelos entre los que elegir los dos; vacío significa dos cualesquiera que puedan ejecutarse
ingot.arena.useWorktreestrueCada agente en su propio worktree de git; desactivado: solo respuestas
ingot.suggestions.enabledtrueSugerencias de funciones en el chat
ingot.suggestions.dismissed[]Sugerencias que cerraste con ×; quita una para volver a verla

Desde la terminal

La CLI ingot ejecuta batallas rápidas de texto con un tope de coste estricto por ejecución y comparte el mismo archivo de votos:

npx @ingotide/cli arena run "Write a debounce helper in TypeScript"   # two hidden models answer
npx @ingotide/cli arena run "Explain this function" --with src/cart.ts --vote a
npx @ingotide/cli arena vote arena-mhj3k2ab-0a1b a                      # a, b, tie or bad
npx @ingotide/cli arena leaderboard                                     # Elo table from .ingot/arena/votes.jsonl
npx @ingotide/cli arena votes --limit 10
OpciónPor defectoQué hace
--models a,b,ctres modelos baratosConjunto del que se eligen los dos
--max-cost <usd>0.02Tope estricto de la ejecución (como máximo $1): la CLI se detiene antes de llamar si el peor caso lo supera y sale con 3
--max-tokens <n>800Longitud de la respuesta por modelo
--with <files>Archivos del proyecto enviados como contexto (los ignorados se omiten)
--vote <a|b|tie|bad>Vota enseguida; sin él se te pregunta, o vota después con arena vote
--mockRespuestas fijas, sin red ni clave (también INGOT_ARENA_MOCK=1, para CI)

run necesita una clave de OpenRouter (OPENROUTER_API_KEY). Todas las opciones están en CLI.

Privacidad y coste

  • El IDE ejecuta ambos agentes con tus propios modelos y tu cuenta, así que una batalla cuesta lo mismo que unas dos ejecuciones de agente. Detenlos cuando quieras con Stop.
  • Los votos se quedan en tu proyecto; no se envía nada a Ingot.
  • Los worktrees viven en una carpeta temporal y se eliminan cuando aplicas o descartas.