Post by Tim B.

Bis vor einigen Monaten dachte ich immer noch, dass Open-Source-Modelle nicht das Gleiche leisten können wie Closed-Source-LLMs. Dann haben wir bei B2B Hero gewechselt. Das Ergebnis: 60 % weniger Kosten, gleiche Qualität. Die Umstellung von der OpenAI-API hatte ich ewig vor mir hergeschoben. Im Kopf hatte ich die Annahme: Die OpenAI-API ist der Standard, alles andere ist kompliziert und liefert nicht die gleiche Qualität. Das hat sich aber als großes und unbegründetes Vorurteil herausgestellt. Die Implementierung war an einem Tag erledigt, nicht in Wochen. Nur das Testing und Qualitätsmanagement hat danach noch Zeit in Anspruch genommen. Dabei hatte ich am meisten Sorge vor der Qualität, obwohl diese für unseren Use-Case komplett unbegründet war. Wir lassen die KI bei uns klar umrissene Sachen machen, zum Beispiel Websites auswerten, um Leads zu qualifizieren. Dafür reichen die Open-Source-Modelle locker aus. Dazu kommt der Punkt, der für uns als deutsches Produkt am schwersten wiegt: EU-Hosting und DSGVO-Konformität. Außerdem sind wir nicht mehr von einem großen US-Konzern abhängig. Eines muss ich aber auch sagen: Das klappt, weil unsere Aufgaben simpel und gut abgegrenzt sind. Bei sehr komplexem Reasoning würde ich nicht blind wechseln, da spielen die großen Modelle mit ihrem großen Context-Window ihre Stärke noch aus (auch wenn die Open-Source-Modelle hier gefühlt jede Woche besser werden). Für einen großen Teil ganz normaler B2B-Anwendungen lohnt es sich aber gerade wirklich, den Reflex „nehmen wir halt OpenAI oder Claude" zu hinterfragen. Open-Source-Modelle sind deutlich besser, als die meisten denken. Hat jemand von euch den Wechsel schon hinter sich, oder schreckt der Aufwand noch ab?