Harness²: הכלי של Google Research שגורם לסוכני AI לשפר את עצמם

בקצרה: Harness² הוא כלי קוד פתוח של Google Research שמשפר סוכני AI בלי לאמן את המודל מחדש. הוא משנה את מה שמסביב למודל (פרומפט, כלים, זיכרון, סקילים), בודק את השינויים על אותה משימה, משלב את מה שעבד, ושומר לקחים למשימה הבאה. המספרים בריפו מראים שיפור של עד 11.5 נקודות, אבל זה עדיין כלי מחקר ולא משהו שמכניסים מחר לעבודה.

אם אתם בונים סוכנים, אתם מכירים את הלופ הזה. הסוכן טועה, אתם פותחים את הפרומפט, מוסיפים שורה כמו "תמיד תבדוק כל מספר פעמיים", מריצים שוב, ומקווים. אצלי רוב הזמן עם סוכנים הולך בדיוק על זה: לא על המודל, אלא על ההוראות, הסקילים וה-CLAUDE.md שמסביבו.

לכן כשראיתי ריל על Harness² עצרתי. הטענה פשוטה: את הכיוונון הידני הזה הסוכן יכול לעשות בעצמו. ישבתי על הריפו ועל אתר הפרויקט, וזה מה שהבנתי.

מה זה בכלל harness?

המודל הוא המוח. ה-harness הוא כל מה שעוטף אותו ומאפשר לו לעבוד כסוכן. ב-Harness² מגדירים שמונה רכיבים כאלה: פרומפט מערכת, מגבלות (guardrails), זיכרון, הנחיות לשימוש בכלים, תתי-סוכנים, סקילים, סקריפטים ותוספים.

כל מי שעובד עם Claude Code כבר עושה harness engineering, גם אם לא קרא לזה ככה. כל קובץ הוראות, כל סקיל וכל חיבור לכלי הם חלק מהעטיפה. והעטיפה הזו קובעת לא פחות מהמודל אם הסוכן יצליח.

איך הוא משפר את הסוכן בלי לגעת במודל?

ברמת המשימה הבודדת יש שלושה שלבים:

1. הצעה (Propose): הכלי מציע שינויים ב-harness, למשל ניסוח אחר להוראה או סקיל חדש.
2. בדיקה (Probe): הוא מריץ את השינויים על אותה משימה בדיוק, באותם תנאים.
3. שילוב (Compose): הוא משווה את ההתנהגויות ומרכיב גרסה חדשה מהשינויים שעבדו.

מה שמעניין פה: לפי הריפו הוא עושה את זה בלי תשובה נכונה מוכנה מראש. הוא לא צריך שמישהו יגיד לו מה התוצאה הנכונה, אלא לומד מההבדלים בין הניסיונות.

מה המספרים אומרים, ומה הם לא אומרים?

לפי הריפו, צעד שיפור אחד הביא עד 11.5 נקודות ב-WorkBuddy-Bench, עד 4.5 ב-JobBench, ועד 11.8 נקודות אחוז ב-LAB. הניסויים רצו על GLM-5 ועל Gemini 3.5 Flash.

שימו לב למילה "עד". באתר הפרויקט יש דוגמה עם Gemini 3.5 Flash: מ-72.4 נקודות ל-77.5 אחרי צעד אחד, ול-80.8 כשמריצים חמישה ניסיונות במקביל. שיפור יפה, אבל לא כל ריצה תקפוץ ב-11.5. ובנצ'מרק הוא עדיין לא הסוכן שלכם עם הכאב שלכם.

רוצים לקבל כל שבוע את מה שחשוב באמת בעולם הסוכנים? אני כותב ניוזלטר שבועי, "אלעד עמרני AI", עם מה שבדקתי, מה עבד ומה לא. להרשמה לניוזלטר

החלק שבאמת תפס אותי: לקחים שעוברים הלאה

יש ב-Harness² רמה שנייה, והיא הסיבה ששמרתי את הריל. מעבר לשיפור של משימה אחת, הכלי מחזיק "harness לשיפור": ספרייה של שינויים שעבדו ושל לקחים, שמלווה אותו למשימה הבאה. המשימה הבאה מתחילה מ-harness בסיסי נקי, אבל עם הניסיון שנצבר.

במילים של הריל: הסוכן משתפר בלהשתפר. אם זה מחזיק מחוץ למעבדה, זה שינוי בדרך שבה עובדים עם סוכנים. במקום שאני אזכור מה תיקנתי בפעם הקודמת, המערכת זוכרת.

מה כדאי לדעת לפני שמנסים?

• זה מחקר. הריפו עצמו כותב שזה לא מוצר שנתמך רשמית על ידי Google. הוא פורסם תחת google-research, ונכתב בהובלת חוקר מ-Northwestern יחד עם חוקרים מ-Google Cloud AI Research.
• רישיון פתוח. Apache 2.0, כלומר מותר להשתמש ולשנות.
• סביבה. צריך Linux, Python 3.12 ו-Node.js 20 ומעלה.
• עלות. כל ניסיון הוא עוד ריצה של המודל, ולכן עוד חיוב על API. שיפור עם ניסיונות במקביל עולה יותר.
• אבטחה. לפי הריפו, הסביבה שמריצה את הסוכן פתוחה לרשת בלי הגבלה. לא מריצים את זה על מחשב עם גישה למערכות אמיתיות.

מה אני הייתי עושה

עוד לא הרצתי את Harness² בעצמי, ואני לא ממהר להכניס אותו לסוכן שעובד. מה שכן הייתי עושה השבוע: לוקח סוכן אחד קטן שאתם מכווננים ידנית, ורושם כל שינוי שאתם עושים בהוראות שלו ולמה. זה בדיוק המידע שכלים כמו Harness² מנסים לייצר לבד.

ומי שרוצה ללכת צעד אחד קדימה: לקרוא את הקוד של שלב ה-Propose. הדרך שבה מודל מציע לעצמו שינויים בהוראות היא שיעור מצוין בכתיבת הוראות לסוכנים, גם אם לעולם לא תריצו את הכלי.

שאלות נפוצות

מה זה Harness²?

כלי קוד פתוח של Google Research ברישיון Apache 2.0. הוא משפר את מה שמסביב למודל של סוכן AI, בלי לגעת במודל עצמו.

צריך לאמן את המודל מחדש?

לא. המודל נשאר כמו שהוא. מה שמשתנה הוא ה-harness, כלומר ההוראות והכלים שהסוכן עובד איתם.

זה מוצר רשמי של Google?

לא. לפי הריפו זה פרויקט מחקר ולא מוצר שנתמך רשמית על ידי Google.

אפשר להריץ את זה על המחשב שלי?

צריך Linux, Python 3.12 ו-Node.js 20 ומעלה. ההרצה עולה כסף על קריאות למודלים, והסביבה פתוחה לרשת, אז עדיף סביבת ניסוי נפרדת.

אם הנושא הזה מעניין אתכם, הצטרפו לניוזלטר "אלעד עמרני AI". כל שבוע אני שולח את מה שבדקתי בעולם הסוכנים וה-Vibe Coding. ואם אתם רוצים סוכני AI בתוך החברה שלכם, אני גם מפתח סוכנים לחברות ב-Agentic-dev ומעביר סדנאות לצוותים.

קרדיט: הרעיון למאמר הגיע מריל של Tunde Alao באינסטגרם. העובדות נבדקו מול הריפו הרשמי ואתר הפרויקט.