בטא בקרוב. הפיצ׳ר עדיין בפיתוח, ולכן שמות ופרטים עשויים להשתנות לפני השחרור.

מצב Arena

מצב Arena מריץ משימה אחת עם שני סוכנים שהמודלים שלהם נשארים מוסתרים, כך שאתם משווים את התוצאות בעיוורון, מצביעים בעד הטובה יותר ורק אז רואים איזה מודל היה מי.

כל סוכן עובד ב-git worktree משלו, כך שאף אחד מהם לא נוגע בפרויקט. אחרי ההצבעה אפשר להחיל את השינויים של המנצח לסקירה, וכל הצבעה נכנסת לטבלת המודלים האישית שלכם.

לשונית Arena ב-Ingot אחרי הצבעה: Agent A ו-Agent B זה לצד זה עם התשובות, הקבצים שהשתנו, המודלים שנחשפו וטבלת הדירוגלשונית Arena ב-Ingot אחרי הצבעה: Agent A ו-Agent B זה לצד זה עם התשובות, הקבצים שהשתנו, המודלים שנחשפו וטבלת הדירוג
לשונית Arena ב-Ingot אחרי הצבעה: Agent A ו-Agent B זה לצד זה עם התשובות, הקבצים שהשתנו, המודלים שנחשפו וטבלת הדירוג

הרצת קרב

  1. פתחו את Arena ‏(⌘⌥⇧8 ב-macOS,‏ Ctrl+Alt+Shift+8 ב-Windows וב-Linux) או לחצו על Arena בשורת המצב.
  2. כתבו את המשימה ולחצו Enter (או Run in Arena). אפשר גם לכתוב /arena <משימה> בצ'אט.
  3. ‏Ingot בוחר באקראי שני מודלים שונים ומפעיל את Agent A ואת Agent B. כל עמודה מציגה את תשובת הסוכן, הצעדים שלו, הזמן שלקח והקבצים ששינה. המודל מוצג כ-Model hidden until you vote.
  4. כששניהם מסיימים, הצביעו: A is better,‏ B is better,‏ Tie או Both are bad.
  5. המודלים נחשפים. Apply A's Changes (או של B) מעתיק את השינויים של אותו סוכן לפרויקט כשינויי סוכן לסקירה בעורך, ואז מוחק את שני ה-worktrees. Discard Worktrees מוחק אותם בלי להחיל דבר. Open Chat פותח את הצ'אט של מתמודד כלשונית רגילה.

‏Arena כבוי עד שמפעילים אותו. Arena היא תכונת Beta.

מודלים מוסתרים

  • שני המודלים נבחרים מתוך Settings › Tools › Arena › Models to compare, או מכל המודלים שיכולים לרוץ כשהרשימה ריקה.
  • כל סוכן מתבקש לא לומר את שמו. שמות של מודלים וספקים שנשארו בתשובה מוצגים כ-[hidden] עד שמצביעים.
  • הצ'אטים של הסוכנים אינם לשוניות עד ההצבעה, והענפים של ה-worktrees נקראים ingot/arena-<id>-a ו--b, כך ששום דבר לא מסגיר את המודלים.

Worktrees

במאגר git כל סוכן מקבל worktree חדש מ-HEAD בתיקייה זמנית מחוץ לפרויקט. השינויים שלא בוצע להם commit בקבצים במעקב מועתקים לשניהם, כך שהסוכנים מתחילים ממה שאתם רואים. פקודות ההכנה ב-worktrees.json רצות קודם בכל worktree, בדיוק כמו בשרשורים.

מחוץ למאגר git, או כש-Run each agent in its own git worktree כבוי, שני הסוכנים עונים במצב Ask ולא משנים קבצים.

הצבעות וטבלת הדירוג

כל הצבעה היא שורה אחת ב-.ingot/arena/votes.jsonl בפרויקט: המשימה, שני המודלים, כמה זמן לקח לכל אחד, כמה קבצים כל אחד שינה וההצבעה שלכם. בצעו commit לקובץ כדי לשתף טבלת צוות.

טבלת הדירוג מתחת לקרב מדרגת מודלים לפי דירוג Elo ‏(מתחיל ב-1000,‏ K 32): ניצחון מעביר נקודות מהמפסיד למנצח, ותיקו או Both are bad מזיזים נקודות לעבר המודל עם הדירוג הנמוך יותר. אחוז הניצחונות סופר תיקו כחצי ניצחון.

איפה למצוא את זה

איפהמה זה עושה
כרטיס מעל תיבת הצ'אטכששואלים איזה מודל טוב יותר, או רוצים דעה שנייה, כרטיס קטן מציע את Arena. ‏Enable Arena מפעיל אותו, פותח אותו ומכניס את ההודעה שלכם לתיבת המשימה. ‏× מסתיר את ההצעה לתמיד
Settings › Featuresהמתג Arena mode; המודלים להשוואה והגדרת ה-worktrees נמצאים ב-Settings › Tools › Arena
Arena בשורת המצבלחיצה אחת מפעילה את Arena (אם הוא כבוי) ופותחת אותו

כבו את כל הצעות התכונות עם Suggest features in chat ב-Settings › Features; ההצעות שסגרתם מופיעות שם. ראו איך מוצאים פיצ'רים אופציונליים.

כרטיס הצעה קטן של Arena מעל תיבת הצ'אט של Ingot עם Enable Arena וכפתור סגירהכרטיס הצעה קטן של Arena מעל תיבת הצ'אט של Ingot עם Enable Arena וכפתור סגירה
כרטיס הצעה קטן של Arena מעל תיבת הצ'אט של Ingot עם Enable Arena וכפתור סגירה

קיצורי מקלדת

פעולהmacOSWindows / Linux
Open Arena⌘⌥⇧8Ctrl+Alt+Shift+8
Run a Task in Arena…⌘⌥⇧7Ctrl+Alt+Shift+7
Turn Arena On or Off⌘⌥⇧6Ctrl+Alt+Shift+6
Stop Arena Agents⌘⌥⇧5Ctrl+Alt+Shift+5
Vote: A Is Better / B Is Better / Tie / Both Are Bad⌘⌥1 / ⌘⌥2 / ⌘⌥3 / ⌘⌥4Ctrl+Alt+1 / 2 / 3 / 4

קיצורי ההצבעה עובדים כשהלשונית Arena בפוקוס ושני הסוכנים סיימו. כל פעולה נמצאת גם ב-Find Action.

הגדרות

הגדרהברירת מחדלמה היא עושה
ingot.arena.enabledfalseמצב Arena: הלשונית Arena,‏ /arena והכפתור בשורת המצב פותחים קרבות
ingot.arena.models[]מזהי מודלים לבחירת השניים; ריק פירושו כל שניים שיכולים לרוץ
ingot.arena.useWorktreestrueכל סוכן ב-git worktree משלו; כבוי: תשובות בלבד
ingot.suggestions.enabledtrueהצעות תכונות בתוך הצ'אט
ingot.suggestions.dismissed[]הצעות שסגרתם עם ×; הסירו אחת כדי לראות אותה שוב

מהטרמינל

ה-CLI ‏ingot מריץ קרבות טקסט מהירים עם תקרת עלות קשיחה לכל הרצה ומשתף את אותו קובץ הצבעות:

npx @ingotide/cli arena run "Write a debounce helper in TypeScript"   # two hidden models answer
npx @ingotide/cli arena run "Explain this function" --with src/cart.ts --vote a
npx @ingotide/cli arena vote arena-mhj3k2ab-0a1b a                      # a, b, tie or bad
npx @ingotide/cli arena leaderboard                                     # Elo table from .ingot/arena/votes.jsonl
npx @ingotide/cli arena votes --limit 10
אפשרותברירת מחדלמה היא עושה
--models a,b,cשלושה מודלים זוליםהמאגר שממנו נבחרים השניים
--max-cost <usd>0.02תקרה קשיחה להרצה (לכל היותר ‎$1): ה-CLI עוצר לפני הקריאה כשהמקרה הגרוע עובר אותה ויוצא עם 3
--max-tokens <n>800אורך התשובה לכל מודל
--with <files>קבצי פרויקט שנשלחים כהקשר (קבצים מוחרגים מדולגים)
--vote <a|b|tie|bad>הצבעה מיידית; בלעדיה תישאלו, או הצביעו אחר כך עם arena vote
--mockתשובות קבועות, בלי רשת או מפתח (גם INGOT_ARENA_MOCK=1, ל-CI)

‏run צריכה מפתח OpenRouter ‏(OPENROUTER_API_KEY). כל האפשרויות נמצאות ב-CLI.

פרטיות ועלות

  • ה-IDE מריץ את שני הסוכנים עם המודלים והחשבון שלכם, כך שקרב עולה בערך כמו שתי הרצות סוכן. אפשר לעצור אותם בכל רגע עם Stop.
  • ההצבעות נשארות בפרויקט; שום דבר לא נשלח ל-Ingot.
  • ה-worktrees נמצאים בתיקייה זמנית ונמחקים כשמחילים או מבטלים.