Post by Krystian Duda

👾 Fable 5 is back. (🇵🇱 wersja poniżej) The benchmarks are not. BridgeMind re-ran the July 1st version on BridgeBench. Debugging: 86.2 to 25.9. Refactoring: 73.6 to 38.4. Hallucination handling: 75.9 to 61.7. Only 3 of 12 debugging tasks ran on Fable 5. The rest fell back to Opus 4.8 and scored zero. Anthropic says the model is unchanged. The new safety classifier is what changed. It scans requests before they reach Fable 5, and if it flags one, the request routes to Opus 4.8 instead. The user gets notified. The task runs on a weaker model. Words like "security," "vulnerable," "unsafe," memory-related work, C and Rust code, Win32 API references: all trigger fallback. The classifier was the condition for bringing Fable 5 back. It blocks the reported technique in over 99% of cases. It also blocks routine coding work. The model did not get worse. The gate in front of it got tighter. For the user paying for Fable 5, the distinction makes no difference. You tested one product. The product that came back is a different experience. On BridgeBench, 9 of 12 debugging tasks did not touch Fable 5. Anthropic acknowledged the false positive rate is higher than intended. The classifier will improve. But today, what you are buying is Fable 5 behind a filter that sends a large share of coding work to Opus 4.8. You are not overcharged. Routed requests bill at Opus 4.8 rates. But you came for Fable 5 performance, and on a meaningful share of coding tasks, you are not getting it. The model is the same. The product is not. ___ 🇵🇱 👾 Fable 5 wrócił. Benchmarki nie. BridgeMind przejechał wersję z 1 lipca na BridgeBench. Debugging: 86.2 na 25.9. Refactoring: 73.6 na 38.4. Hallucination handling: 75.9 na 61.7. Tylko 3 z 12 zadań debuggingowych poszło na Fable 5. Reszta spadła na Opus 4.8 i dostała zero. Anthropic mówi, że model się nie zmienił. Nowy klasyfikator safety się zmienił. Skanuje requesty zanim trafią do Fable 5, a jeśli coś flaguje, request idzie do Opus 4.8. Użytkownik dostaje powiadomienie. Zadanie leci na słabszym modelu. Słowa jak "security," "vulnerable," "unsafe," praca z pamięcią, kod C i Rust, referencje Win32 API: triggerują fallback. Klasyfikator był warunkiem przywrócenia Fable 5. Blokuje raportowaną technikę w ponad 99% przypadków. Blokuje też rutynową pracę z kodem. Model się nie pogorszył. Bramka przed nim się zacieśniła. Dla użytkownika płacącego za Fable 5 rozróżnienie nic nie zmienia. Testowałeś jeden produkt. To, co wróciło, to inne doświadczenie. Na BridgeBench 9 z 12 zadań debuggingowych nie dotknęło Fable 5. Anthropic przyznał, że wskaźnik fałszywych trafień jest wyższy niż planowano. Klasyfikator się poprawi. Ale dziś to, co kupujesz, to Fable 5 za filtrem, który wysyła dużą część pracy kodowej do Opus 4.8. Nie przepłacasz. Przekierowane requesty idą po stawce Opus 4.8. Ale przyszedłeś po wydajność Fable 5, i na znaczącej części zadań kodowania jej nie dostajesz. Model jest ten sam. Produkt nie.