Post by Moshe Uziel

הוספתי סוכן נוסף לצוות הסוכנים שלי ואני חושב שחשוב לדבר עליו. במערכת מרובת סוכנים, אחת הסכנות המעניינות היא לא שסוכן אחד יטעה. אלא שסוכן אחד יטעה בצורה מספיק קוהרנטית, כך שכל הצוות ימשיך אחריו. המתכנן יבנה תוכנית על בסיס ההנחה. המבצע יפעל לפיה. ה QA יבדוק ביחס אליה. וראש הצוות יקבל סיכום שנשמע עקבי. אבל עקביות פנימית היא לא אמת. זה קרה לי בצוות הסוכנים שלי. הייתה הנחה לא מבוססת שהשתרשרה לאורך כל הצוות, ולא הייתה לה אחיזה מספקת במציאות. בהתחלה הוספתי "בודק הזיות". זה עזר, אבל הרגיש לי לא מספיק מדויק. ואז נתקלתי במאמר: Socratic agents for autonomous scientific discovery in high-dimensional physical systems המאמר עוסק במערכת multi-agent לניסויים פיזיקליים, אבל מה שתפס אותי היה דווקא הסוכן המבקר. במערכת יש Socratic Physics Critic. הוא לא מתכנן במקום הסוכן. הוא לא מבצע במקום הסוכן. והכי חשוב, אסור לו לתת את התשובה בעצמו. התפקיד שלו הוא לשאול שאלות. במאמר קוראים לזה Socratic midwifery: המבקר לא מוליד את הרעיון במקום הסוכן, אלא מכריח אותו להוליד רעיון מבוסס יותר בעצמו. זה מבוסס על ארבע שכבות של Socratic Questioning: 1. Clarification: מה אנחנו באמת יודעים, ומה רק הנחנו? 2. Constraint Checking: אילו מגבלות המציאות אי אפשר לעקוף? 3. Causal Probing: מה שרשרת הסיבתיות בין הפעולה לתוצאה? 4. Counterexamples: באילו תנאים ההסבר שלנו נשבר? לקחתי את העיקרון הזה לעולם של סוכני פיתוח. לא כסוכן שמחפש באגים בסוף התהליך, אלא כגורם צד שמונע מהצוות לזרום מהר מדי באותו קו קוגניטיבי. גם שם היה חשוב לי לא להפוך אותו לצוואר בקבוק. שינוי טקסט או כותרת לא דורש ביקורת עמוקה. שינוי שנוגע ל API או דאטה כבר דורש ביקורת עמוקה יותר. כלומר, גם הטלת ספק צריכה להיות מותאמת סיכון. וזו בעיניי הנקודה הרחבה: ככל שסוכנים עובדים יותר כצוותים אוטונומיים, השאלה היא לא רק מה הם יודעים לבצע. השאלה היא איך הם יודעים שמה שהם עושים מבוסס על המציאות. יש כאן משהו שמזכיר את דקארט, במובן הכי מעשי של הטלת ספק: מה אני באמת יודע? עכשיו לדעתי לכל תחום יש את הפיזיקה שלו. לכל תחום יש את המגבלות, הסיבתיות ונקודות השבירה שלו. ולכן לכל תחום צריכות להיות גם השאלות הסוקרטיות שלו. אם אנחנו רוצים ללמד סוכנים לעבוד באמת, לא מספיק ללמד אותם לבצע. צריך ללמד אותם גם לעצור, להטיל ספק, ולבדוק על מה הם בעצם נשענים. קישור למאמר בתגובה הראשונה 👇 #AI #AIAgents #AgenticAI #MultiAgentSystems #SoftwareEngineering #LLMOps #AIArchitecture