Post by Ilay Nisim

היי, אני משתתף במסלול AI Performance Engineering של Nebius Academy   4 חודשים, רמה של סמסטר אקדמי בכל אוניברסיטה, שילוב תיאוריה עם הרבה עבודת Hands-on. סגל מצוין, מרצים לדוגמה: Noa Lubin המשובחת Tom Braude  Yuval Belfer  כתבתי הרבה קוד, מה ששינה את ההבנה שלי במושגים שלפני כן בעיקר קראתי עליהם 🙂 . חלק ממה שממשנו: אימון של מודלי שפה ו  ו-Fine-Tuning. מימוש RAG בשילוב HyDE – תהליך שהמחיש בצורה יפה איך שלב ה-Generation משפיע על ביצועי המערכת לא פחות משלב ה-Embedding וה-Retrieval . בניית סוכנים (Agents) בעזרת LangGraph, כולל ניהול זיכרון ומענה לשאילתות מורכבות מרובות רבדים. הקמה וקינפוג של קלאסטר Kubernetes בענן עם מספר נודים של  NVIDIA GPUs, לצורך אימון מודלים מבוזר תוך פיצול וסנכרון Data מקבילי. במשימה הזו השתמשתי לראשונה עם sky pilot, כלי  open source חזק של ברקלי לשליטה מרחוק והרצה של workloads. למי שלא מכיר ממליץ לקרוא על נביוס, הם גם מחזיקים כחלק מתשתית הענן, אוסף של מודלים שניתן לגשת אליהם גם מהאייגנטים שלך, כך שזה מאד שימושי. באופן כללי קורס מצוין,  הארכיטקטורה מאחורי הקלעים של המערכות מרתקת, בתגובה הראשונה, ויזואליזציה נהדרת של ארכיטקטורת טרנספורמר, טעימה קטנה מהידע המעולה שנועה חולקת איתנו בהרצאות.