בדיקות חוקים
בדיקות חוקים מוודאות שהחוקים שלכם באמת משנים את מה שהסוכן עושה. כל בדיקה שולחת prompt עם החוקים שלכם למודל זול ובודקת את התשובה. Ingot מדווחת על אחוז ההצלחה, ותקרת עלות קשיחה עוצרת את ההרצה לפני שהיא מוציאה יותר ממה שהרשיתם.
כתיבת בדיקה
שימו בדיקות ב-.ingot/tests/*.yaml:
tests:
- name: טיפוסים נכנסים לקובץ טיפוסים
prompt: Add a CartItem interface for the cart. Where does it go?
files: [src/cart/cart.ts] # אופציונלי: בחירת חוקים לפי glob, כמו קובץ פתוח
runs: 3 # אופציונלי: חזרה כדי למדוד חוסר יציבות (עד 10)
assert:
- contains: cart.types.ts
- judge: The interface goes in a .types.ts file and is imported with import type
mock: Put it in src/cart/cart.types.ts and import it with import type.
המודל מקבל את החוקים הפעילים תמיד, ועוד חוקים שה-globs שלהם תואמים ל-files. השתמשו ב-rules: [שם, ...] כדי לשלוח רק חלק מהחוקים.
| בדיקה | עוברת כשהתשובה… |
|---|---|
contains / not_contains | מכילה (או לא) את הטקסט, בלי הבדל בין אותיות גדולות לקטנות |
matches / not_matches | תואמת (או לא) ביטוי רגולרי |
max_words | ארוכה לכל היותר במספר המילים הזה |
judge | עומדת בקריטריון, לפי אותו מודל (PASS או FAIL) |
mock היא התשובה של מודל הדמה החינמי, כך שהבדיקה יכולה לרוץ ב-CI בלי מפתח ובלי עלות.
הרצת בדיקות ב-IDE
פתחו את עמוד Rules & MCP, בחרו בלשונית Rules ולחצו Test, או הריצו Test Rules… מ-Find Action.
- בחרו מודל. Mock (free, offline) לא עולה כלום; האחרים הם מודלים זולים של OpenRouter, וברירת המחדל היא
google/gemini-2.5-flash-lite. - קבעו את Cost cap. ברירת המחדל היא $0.05 והיא לא יכולה לעלות על $1.
- לחצו Run Tests.
החלון מציג את אחוז ההצלחה, את עלות ההרצה מול התקרה, וכל בדיקה עם הבדיקות שנכשלו ותשובת המודל. ההרצה האחרונה נשמרת ב-.ingot/.state/rules-test-report.json ומוצגת בפעם הבאה שפותחים את החלון.
מודלים אמיתיים צריכים מפתח OpenRouter. הוסיפו אותו בעמוד Models; הוא נשמר במחזיק המפתחות של מערכת ההפעלה ורק ה-backend משתמש בו.
תקרת העלות
לפני כל קריאה Ingot מחשבת את העלות המרבית האפשרית (ה-prompt ועוד מגבלת התשובה המלאה) לפי מחיר המודל. אם זה יעביר את ההרצה מעל התקרה, הקריאה לא מתבצעת והבדיקה נספרת כמדולגת. הרצה אף פעם לא עולה יותר מהתקרה שלה, גם כשהמודל עונה באריכות.
מהטרמינל וב-CI
npx @ingotide/cli rules test # מודל ברירת מחדל, תקרה של $0.05
npx @ingotide/cli rules test --max-cost 0.2 # העלאת התקרה (עד $1)
npx @ingotide/cli rules test --mock # מודל הדמה החינמי (CI)
| אפשרות | משמעות |
|---|---|
--model <id> | מזהה מודל של OpenRouter, או mock |
--mock | מודל הדמה החינמי; INGOT_RULES_TEST_MOCK=1 עושה אותו דבר |
--max-cost <usd> | תקרה קשיחה לכל ההרצה |
--max-tokens <n> | מגבלת תשובה לכל קריאה (ברירת מחדל 400) |
--min-pass-rate <0-1> | יציאה עם 1 מתחת לאחוז הצלחה זה (ברירת מחדל 1) |
--json | הדוח כ-JSON |
ה-CLI קוראת את המפתח מ-OPENROUTER_API_KEY, או מ-ai.openrouterApiKey ב-ingot.config.json של הפרויקט (מוחרג מ-git). היא יוצאת עם 0 כשכל הבדיקות עוברות, 1 כשבדיקה נכשלת ו-3 כשתקרת העלות דילגה על בדיקה.
ב-CI הריצו rules test --mock, כך ש-pull requests אף פעם לא קוראים למודל בתשלום. ה-workflow של ingot export --init-ci (ייצוא חוקים) כבר עושה זאת.