"llama-server dispose depuis quelques versions d'un mode router intégré (--router) qui gère le chargement/déchargement dynamique des modèles sans redémarrage, sans dépendance externe"
Sympa, j'ai commenté un article là dessus sur hackernews et Nvidia:
[^] # Re: llama.cpp router mode
Posté par Benjamin Henrion (site web personnel) . En réponse au journal 'gégé' : enfin de l'IA dans ton shell !. Évalué à 3 (+1/-0).
"llama-server dispose depuis quelques versions d'un mode router intégré (--router) qui gère le chargement/déchargement dynamique des modèles sans redémarrage, sans dépendance externe"
Sympa, j'ai commenté un article là dessus sur hackernews et Nvidia:
https://news.ycombinator.com/item?id=48845518