Post by Victor Taki

Moi j'appelle ça la pollution tokenaire venant des outils MCP. Imaginez que vous avez un agent avec 150 outils MCP connectés => à chaque appel LLM, ces 150 outils (desc & schéma) sont injectés dans le contexte envoyé au LLM Disons par exemple 22 500 tokens par appel. Prenons un exemple concret - 10 000 conversations par jour - 3 tours de conversation en moyenne - 2 appels LLM par jour = 60 000 appels LLM par jour Donc ~1,35 milliard de tokens par jour. Avec Claude Sonnet 4.5 sur Bedrock Paris - on est sur 3$ per 1M tokens input => ~4k$/jour ou 120k$/mois rien que pour la liste des outils ! Alors que pour une question simple - le LLM n'a pas besoin de tous ces outils, peut-être d'aucun - et peut-être d'un seul Le diable se cache dans les détails... Le pattern agentique avec les tools MCP est sympa => mais il faut ajouter une couche de chirurgie Vous êtes d'accord ou pas ? 🤔 Suivez-moi, car je vais bientôt parler de cette chirurgie 😉