Post by Onur Güler

AI projelerinde genelde modelin ne kadar iyi olduğuna odaklanıyoruz. Ben düsük modellerle calismasi icin Overclock’u geliştirirken bir süre sonra başka bir konunun da en az model kadar önemli olduğunu fark ettim: hata olduğunda sistemin ne yaptığı. LLM tabanlı bir akışta hata her zaman koddan gelmiyor. -Bazen model cevap vermiyor. -Bazen provider tarafında geçici bir sorun oluyor. -Bazen istek timeout’a düşüyor. -Bazen de model rate limit’e takılıyor. Tek bir istek için bunlar çok büyük problemler olmayabilir. Ama sistem birden fazla adımda çalışıyorsa, tek bir noktadaki hata bütün akışı durdurabiliyor. Bu yüzden Overclock’ta hata yönetimini sadece “try/catch koy geç” seviyesinde düşünmedim. Rate limit, timeout veya geçici provider hatalarında sistem aynı modele bağlı kalmıyor. Örneğin bir model rate limit’e takıldığında, yapılandırılmış zincirdeki bir sonraki model veya provider ile aynı akış devam edebiliyor. Yani akış kabaca şöyle ilerleyebiliyor: Groq / Llama ↓ rate limit OpenRouter / başka bir model ↓ akış devam ediyor Burada önemli olan şu: sistem kendi kendine rastgele model seçmiyor. Önceden tanımlanmış ve önceliklendirilmiş bir fallback zinciri üzerinden ilerliyor. Aynı model ya da credential art arda sorun çıkarmaya devam ederse geçici olarak quarantine’e alınıyor. Böylece sonraki çağrılarda sistem sürekli aynı problemli noktaya takılmıyor. Provider açıkça bir bekleme süresi verdiyse bu bilgi de dikkate alınıyor ve gerekirse zincir tekrar deneniyor. Geçersiz API key, yanlış model veya benzeri kendiliğinden düzelmeyecek durumlarda ise sistem boşuna tekrar tekrar denemiyor. Benim için burada önemli olan şey şuydu: AI tarafı ne kadar güçlü olursa olsun, bütün sistem tek bir modelin veya provider’ın o anki durumuna bağlıysa güvenilir bir yapı kurmak zor. Overclock benim için sadece agent’ların görev yaptığı bir deneme değil. Aynı zamanda AI tabanlı akışların backend tarafında nasıl daha dayanıklı çalışabileceğini test ettiğim bir proje oldu. Proje: https://lnkd.in/d8Jj8nMU #Overclock #AI #Backend #SoftwareArchitecture #LLM