On sait pas trop si les fournisseurs (sur openrouter.ai ou eurouter.ai ou autre) quantifient. Ils commencent à déclarer un peu ce qu'ils font sur openrouter, mais ça reste flou.
En tout les cas, il a clairement été observé que un même modèle chez des fournisseurs différents ont des comportements significativement différents. Au delà des questions de quantifications, de nombreux bugs et ""optimisations"" peuvent apparaître (p.ex. pour un MoE, on peut trivialement réduire le nombre d'experts utilisés, mais forcément c'est moins bien) [1]
Kimi (actuellement connus comme étant le meilleur modèle weight-available avec Kimi K3) a trouvé de nombreux problèmes chez de nombreux fournisseurs, et en ont décidé:
1. de changer leur licence spécialement pour les hébergeurs de modèles: Si t'es trop gros tu passes nous voir pour qu'on approuve (et peut-être faire payer, on sait pas trop, en tout cas il est observé qu'il n'y a pas de concurrence tarifaire sur Kimi K3)
2. De faire des outils avancés de validation d'implémentation (https://www.kimi.com/blog/kimi-vendor-verifier )
# Fournisseurs qui quantifient
Posté par Ph Husson (site web personnel) . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 5 (+3/-0).
On sait pas trop si les fournisseurs (sur openrouter.ai ou eurouter.ai ou autre) quantifient. Ils commencent à déclarer un peu ce qu'ils font sur openrouter, mais ça reste flou.
En tout les cas, il a clairement été observé que un même modèle chez des fournisseurs différents ont des comportements significativement différents. Au delà des questions de quantifications, de nombreux bugs et ""optimisations"" peuvent apparaître (p.ex. pour un MoE, on peut trivialement réduire le nombre d'experts utilisés, mais forcément c'est moins bien) [1]
Kimi (actuellement connus comme étant le meilleur modèle weight-available avec Kimi K3) a trouvé de nombreux problèmes chez de nombreux fournisseurs, et en ont décidé:
1. de changer leur licence spécialement pour les hébergeurs de modèles: Si t'es trop gros tu passes nous voir pour qu'on approuve (et peut-être faire payer, on sait pas trop, en tout cas il est observé qu'il n'y a pas de concurrence tarifaire sur Kimi K3)
2. De faire des outils avancés de validation d'implémentation (https://www.kimi.com/blog/kimi-vendor-verifier )