Post by Hendrik Belitz

Einen habe ich noch, bevor das Wochenende so anfängt. Ich bin hier zwar nicht das #KI-Labor (eher das Muppet-Labor), aber in den letzten Tagen habe ich tatsächlich mal ein bisschen mit zwei Modellen rumgespielt, die ich mir genauer ansehen wollte: Da wäre zum einen #Ornith, das sich in der Version 1.0 mit 35b bei mir in einigen Coding-Tasks mit Qwen 3.6 27b dense und 35b messen musste. Das Training hinter dem Modell las sich pfiffig und einige haben hier das Ausprobieren empfohlen. Ich würde sagen, es platziert sich zwischen den beiden Qwens in der Qualiät, während es mit Qwen 3.6 35b in der Geschwindigkeit gleich zieht. Damit ist es ein guter Ersatz für letzteres im lokalen Coding. Mit dem Background muss ich mich auch nochmal auseinander setzen. Sowohl das Scaffolding als auch die Art und Weise, wie man hier Reward Hacking im RL-Prozess verringert hat klingt zumindest sehr spannend. Und dann ist da noch #Bonsai, dass sich mit seiner binären/ternären Architektur fürs Edge empfiehlt. Ich habe der 8b Variante auf dem Telefon mal ein, zwei Runden gegönnt (und das ist recht flott und erstaunlich präzise in seinen Antworten), die 27b-Variante steht noch aus, hat aber wahrscheinlich das Zeug ein guter lokaler Begleiter für Mittelklasse-Hardware zu sein. Insgesamt finde ich es toll, dass der Ternary-Weights Ansatz, den Microsoft vor gut zwei Jahren vorgestellt hat und der dann ein wenig in Vergessenheit geriet, hier endlich wieder sinnvoll Anwendung findet. Links zu den Veröffentlichungsposts beider Modelle im ersten Kommentar. PS: Ja, kein Hype Post zu Kimi 3. Kimi 2.6 hat ja in der Praxis viele enttäuscht, obwohl die Benchmarks super aussahen. Also warte ich da einfach mal ab, bis man es wirklich ausprobieren kann und schaue dann, wie es sich schlägt. 🙂 PPS: Noch zwei Tage Fable und ich hab immer noch nichts gefunden, was Opus nicht genauso gut, aber in Zukunft dann billiger gelöst hätte... 😁