Post by Mohammad Azarnivar

گوگل ۱۲ ژوئن از پیش‌نویس استاندارد جدیدی به‌نام Open Knowledge Format یا به‌اختصار OKF رونمایی کرد که اتفاقاً نکته جالب و باعث افتخار اینه که یکی از توسعه‌دهندگان اصلی این استاندارد، یک متخصص ایرانی، امیر حرمتی Amir Hormati، تک‌لید در گوگل کلاد هست. اما این استاندارد دقیقاً چیه و چرا مهمه؟ مسئله‌ مهمی که همیشه برای مدل‌های هوش مصنوعی یا LLM‌ها وجود داشته، بحث زمینه یا همون context هست. به‌بیان خیلی ساده، مدل‌ها به‌حد کافی قدرتمند هستن؛ اما نبود دیتا یا همون زمینه مسئله برای مدل باعث میشه که اون نتیجه دلخواه تولید نشه؛ چون اطلاعات پرایوت زیادی وجود داره که LLM بهشون دسترسی نداره. برای حل این مشکل، یه راه اینه که داخل پرامپت دیتای لازم رو به LLM بدیم اما اگر حجم دیتا در سطح یک سازمان یا پروژه بزرگ باشه، این کار شدنی نیست. بنابراین بعضی از شرکت‌هایی که از مدل‌های هوش مصنوعی برای کارهای داخلی سازمان به‌شکل گسترده استفاده می‌کنن و تعدادشون روزبه‌روز بیشتر میشه، معمولاً فایل‌های متنی یا فایل‌های مارک‌داون زیادی از اطلاعات پرایوت سازمانشون دارن که هیچ ساختاری نداره و مدل هوش مصنوعی مجبوره همه اون فایل‌ها رو بخونه تا بتونه نتیجه درستی رو ارائه بده. خیلی اوقات هم برای مدل مشخص نشده که یک فایل حاوی زمینه و دیتا، چه زمانی ارائه شده (اگر قدیمی باشه چی؟)، توسط چه کسی ارائه شده (اگر خیلی نشه بهش استناد کرد چی؟) و چقدر مهمه. امیر حرمتی در یک پادکست فارسی که در کامنت همین پست لینکش رو براتون می‌ذارم توضیح میده که این موضوع داخل تیم‌های خودِ شرکت گوگل تبدیل به یک چالش شده بوده و مثلاً هرتیمی برای خودش ویکی (context) مجزا داشت که باعث یک ناهماهنگی بزرگ برای استفاده از LLMها شده بود. این درنهایت منجر به ایجاد یه استاندارد داخل خود گوگل شد و بعد عمومیش کردن به‌اسم OKF که الان نسخه ۰.۱‌ش اومده و حدود سه هفته دیگه نسخه بعدی منتشر میشه. به زبان خیلی ساده، OKF یک استاندارده برای نوشتن فایل‌های متنی که به ماشین‌ها کمک می‌کنه محتوا رو مثل یک نقشه به هم پیوسته درک کنن. اینطوری به مدل‌های هوش مصنوعی کمک میشه که سریع‌تر به زمینه و دیتای موردنیازشون برسن و توکن کمتری هم مصرف میشه و پاسخ‌ها هم دقیق‌تر و قابل‌اعتمادتر هستن. گوگل در اطلاعیه‌ش هیچ اسمی از سایت‌های عمومی نبرده و به‌نظر میاد صرفاً برای استفاده داخلی شرکت‌ها و سازمان‌دهی اطلاعات پراکنده خودشون معرفی شده. اما من فکر می‌کنم این داستان به همینجا ختم نمی‌شه. به نظرم OKF شاید در آینده تبدیل به یک نوع سایت‌مپ یکپارچه برای مدل‌های زبانی (LLM) بشه. ما الان پیشنهادهایی مثل فایل‌های llms.txt رو داریم که ایده مشابهی برای خوانش بهتر سایت‌ها توسط ماشین‌ها دارن، اما هنوز خیلی ساده‌ان و به یک استاندارد قطعی تبدیل نشدن. با ورود غولی مثل گوگل و ارائه OKF، اصلاً بعید نیست که این ساختار بعدها برای وب‌سایت‌های عمومی هم در نظر گرفته بشه و ماشین‌ها از این طریق سایت‌ها رو بخونن. نظر شما چیه؟