Post by Eddie A.

אחד האתגרים בעולם ה-  AI הוא הבאת data חדש לאימון המודלים.  מאמר חדש של Yoram Bachrach ועוד מ-FAIR של חברת Meta בשם Autodata (יוני 2026) מציג פתרון לבעיה באמצעות סוכן AI שהופך ל- Data Scientist ומייצר לעצמו דאטה לאימון. המידע מבוסס על corpus של מאמרים בתחום מסויים. הרעיון המרכזי: במקום ליצור דאטה סינתטי בעזרת prompt קבוע, מפעילים סוכן אוטונומי שעובד כמו דאטה-סייאנטיסט אנושי המייצר דוגמאות, "מסתכל" עליהן, מודד ביצועים, מסיק מסקנות, ומעדכן את מתכון היצירה. שוב ושוב, עד שהדאטה מספיק טוב. המימוש הפרקטי – Agentic Self-Instruct: סוכן ראשי מתזמר ארבעה תת-סוכנים: • Challenger שמייצר שאלות • Weak solver (מודל קטן) ו-Strong solver (מודל גדול) המנסים לפתור • Judge ששופט את התוצאות המטרה: לייצר דאטה שימושי לאימון. הדרך  שכותבי המאמר מציעים היא שילוב של מודלים בו המודל החזק מצליח אך החלש מתקשה — וזה בדיוק האזור שבו יש פוטנציאל ללמידה. התובנה היפה ביותר 👇 המטרה אינה "שאלות קשות יותר", אלא שאלות just right: * במשימות מחקר במדעי המחשב השאלות יצאו קלות מדי, אז הלולאה הקשתה אותן. * במשימות משפטיות השאלות יצאו קשות מדי (הרבה ציוני 0, אות למידה חלש ב-GRPO), אז הלולאה ריככה אותן והגדילה את השונות. כיוון הפוך — אותה תוצאה: דאטה שמייצר אות למידה אפקטיבי. תוצאות בולטות: ✅ מודל 4B שאומן על דאטה אג'נטי עקף מודל 397B בבנצ'מרק משפטי (PRBench) ✅ שיפור עקבי על פני CoT Self-Instruct בשלושה תחומים: מחקר CS, היגיון משפטי, ואובייקטים מתמטיים ✅ מטה-אופטימיזציה של הסוכן עצמו קפצה מ-62.1% ל-79.6% הצלחה - בלי הנדסת prompt ידנית המסר הרחב: זו דרך להמיר compute בזמן inference לדאטה איכותי יותר לאימון. ככל שהמודלים מתחזקים, היכולת לייצר אוטומטית משימות מאתגרות באמת הופכת קריטית. לדעתי זה אחד הכיוונים המעניינים בתחום ה-self-improvement - לא רק מודל שמשתפר, אלא צינור דאטה שלומד להשתפר. כמו כל הקדמות בכיוון, המקום שלנו כבני אדם יהיה להשתלב בעבודה של הסוכנים ולשתף איתם פעולה ולעבוד על  co-improvement. https://lnkd.in/dywF9rtz #AI #MachineLearning #SyntheticData #LLM #DeepTech #AIResearch