איכות הסוכן
איך סוכן Ingot מבצע נכון משימת קוד עם מודל זול, ומשימות ראש בראש שבודקות את זה בכל שינוי.
Beta התנהגות הסוכן שבעמוד הזה פעילה לכולם; אין מה להפעיל. משימות ראש בראש הן חלק מחבילת הבדיקות של Ingot: כל pull request מריץ אותן עם מודל מתוסרט, והרצה עם מודל אמיתי נמצאת במרחק לחיצה למתחזקים.


עריכות קטנות במקום קבצים שלמים
סוכן משנה קובץ קיים עם בלוק REPLACE: השורות המדויקות לחיפוש ומה לשים במקומן, זוג אחד לכל שינוי. הוא שולח רק את השורות שמשתנות, כך שקובץ בדיקות ארוך אף פעם לא נכתב מחדש, לא נקטע באמצע ולא מאבד בדיקה.
<<<REPLACE index.js
<<<<<<< SEARCH
return parts.join('-');
=======
return parts.join('-').slice(0, maxLength);
>>>>>>> REPLACE
>>>END
- טקסט החיפוש חייב להופיע בקובץ פעם אחת. Ingot מקבל גם התאמה שנבדלת רק ברווחים בסוף שורה או בהזחה, וכותב את ההחלפה עם הטאבים או הרווחים של הקובץ עצמו.
- כשטקסט חיפוש לא נמצא, או מופיע ביותר ממקום אחד, הקובץ הזה לא משתנה והסוכן מקבל הודעה איזה שינוי נכשל, כך שהוא קורא את הקובץ שוב ושולח בלוק מתוקן. שאר הקבצים באותה תשובה נשמרים בכל זאת.
- קבצים חדשים וקצרים עדיין נכתבים במלואם.
הוא מריץ את הבדיקות כשמבקשים
כשההודעה שלך מבקשת שהבדיקות או ה-lint יעברו ("תוודא ש-npm test עובר", "תתקן את שגיאות ה-lint"), הסוכן מריץ את הבדיקות של הפרויקט אחרי העריכה האחרונה שלו ומתקן את מה שנכשל לפני שהוא עוצר. התשובה הסופית שלו אומרת שהעבודה הסתיימה רק כשההרצה הזו הייתה ירוקה; אחרת היא אומרת מה עדיין נכשל.
בלי קבצים שלא ביקשת
משימה משאירה ב-git status רק את הקבצים שהתבקשה לשנות:
- Artifacts (תוכניות, סיכומי ריצה, צילומי מסך) נשמרים ב-
.ingot/artifacts/, שמתעלמת מעצמה. - הקשר משותף נכתב רק בפרויקטים שכבר יש בהם
.ingot/context/. בשאר, הלמידה נשארת בהערה בצ'אט עם Share. - הרצת הבדיקות האחרונה נשמרת ב-
.ingot/frozen.jsonרק כשהפרויקט כבר משתמש ב-Frozen Zones. - גם אינדקס הקוד ב-
.ingot/index/מתעלם מעצמו.
קומיטים רק כשמבקשים
הסוכן יוצר ענפים וקומיטים רק כשההודעה שלך מבקשת את זה ("תתקן ותעשה קומיט", "תשחרר את זה"). "תתקן את הבאג הזה" או "תוסיף את הפיצ'ר הזה" משאיר את השינויים בלי קומיט, כדי שתסקור אותם.
משימות ראש בראש
שלוש משימות רצות בחלון האמיתי של Ingot על עותק של ספריית הקוד הפתוח slugify, וכל אחת מקבלת ציון מתוך 10 לפי הקבצים בדיסק, npm test ומה שהסוכן אמר:
| משימה | מה מבקשים מהסוכן | מה מקבל ניקוד |
|---|---|---|
| שאלה על הקוד | איך slugifyWithCounter נמנע מלהחזיר את אותו slug פעמיים, עם מעבר על שלושה קלטים, בלי לשנות קבצים | אף קובץ לא השתנה, ציטוט קובץ ושורה, שלוש התוצאות הנכונות לפי הסדר, המנגנון |
| תיקון באג | slugify('Hello World!') מחזיר hello-world-; למצוא את שורש הבעיה, לתקן, להוסיף בדיקת רגרסיה, לגרום ל-npm test לעבור | lint, בדיקות, בדיקות התנהגות נסתרות, בדיקת רגרסיה, רק index.js ו-test.js השתנו, בלי קבצים מיותרים, תשובה סופית כנה |
| פיצ'ר | להוסיף אפשרות maxLength עם טיפוסים, readme ובדיקות, ולגרום ל-npm test לעבור | lint, בדיקות, בדיקות התנהגות נסתרות, index.d.ts, readme, בדיקות חדשות, בלי קבצים מיותרים, תשובה סופית כנה |
תשובה סופית היא כנה כשהיא מדווחת מה עדיין נכשל, או טוענת להצלחה רק אחרי הרצת בדיקות שהייתה ירוקה אחרי העריכה האחרונה של הסוכן.
הציונים האחרונים
המודל הזול שמוגדר כברירת מחדל (Claude Haiku 5.5 דרך OpenRouter), 4 בנובמבר 2026:
| משימה | ציון | זמן | עלות |
|---|---|---|---|
| שאלה על הקוד | 10/10 | 21 שניות | $0.003 |
| תיקון באג | 10/10 | 38 שניות | $0.011 |
| פיצ'ר | 10/10 | 143 שניות | $0.026 |
לפני השינויים האלה משימת הפיצ'ר קיבלה 9/10 ב-480 שניות ובעלות $0.107: הסוכן כתב מחדש קבצים שלמים, תשובה אחת נקטעה, והוא השאיר artifacts ולמידה משותפת במאגר.
להריץ בעצמך
ב-checkout של מאגר Ingot, אחרי npm run build:browser:
npm run h2h # מודל אמיתי כש-OPENROUTER_API_KEY מוגדר, אחרת המודל המתוסרט
INGOT_H2H_REAL=0 npm run h2h # תמיד המודל המתוסרט (חינם, בלי רשת)
INGOT_H2H_ONLY=feature npm run h2h # משימה אחת
INGOT_H2H_CAP_USD=0.4 npm run h2h # תקרת העלות של ההרצה הזו
| משתנה | ברירת מחדל | מה הוא עושה |
|---|---|---|
OPENROUTER_API_KEY | ריק | מריץ את המודל האמיתי. בלעדיו עונה המודל המתוסרט. |
INGOT_H2H_CAP_USD | 0.60 | תקרת עלות קשיחה להרצה אחת, לכל היותר 0.95. פרוקסי מקומי סוכם את העלות ש-OpenRouter מדווח על כל בקשה ומסרב לבקשות נוספות כשההרצה מגיעה לתקרה. |
INGOT_H2H_ONLY | שלושתן | משימות מופרדות בפסיקים: question, bug, feature. |
INGOT_H2H_REAL | 1 | 0 מכריח את המודל המתוסרט גם כשיש מפתח. |
INGOT_H2H_MODEL | openrouter-haiku | מזהה המודל של Ingot שרץ. |
ההרצה גם לא מתחילה כשהמפתח כבר השתמש ב-85% מהמגבלה שלו ב-OpenRouter. הציונים, הראיות שעליהן הם מבוססים וכל בקשה ותשובה נשמרים ב-.ingot-tmp/h2h/; המפתח נשלח בכותרת הבקשה ואף פעם לא נכתב. צילומי מסך של כל צ'אט שהסתיים, בבהיר, בכהה וב-High Contrast, נשמרים ב-shots/.
ב-CI, ה-job Head-to-head tasks (mocked model) מריץ את שלושתן בכל pull request עם המודל המתוסרט ודורש 10/10 בכל אחת. ה-workflow Head-to-head (real model) רץ כשמפעילים אותו מלשונית Actions או מוסיפים את התווית h2h-real ל-pull request; עם הסוד OPENROUTER_API_KEY הוא דורש 9/10 ומעלה בכל משימה.