llama.cpp
C'est, à ma connaissance, le moteur d'inférence le plus courant. Mais c'est juste une librairie C++, difficile donc à utiliser tel quel :-)
llama-server contient tout ce qu'il faut : moteur d'inférence, chat, api
llama-server et llama-swap
llama-server est un serveur web qui wrappe llama.cpp. Il offre de bonne performances. Il peut utiliser n'importe quel modèle au format GGUF de huggingface.com.
Par contre, il ne peut s'occuper que d'un modèle. Si vous voulez basculer sur un autre modèle, il faut le reconfigurer.
llama-swap est un wrapper autour de llama-server. Il permet justement de basculer
de façon transparente d'une configuration de llama-server à une autre (et plus encore).
Avec le mode routeur de llama.cpp on peut tout a fait gérer plusieurs modèles et les charger à la volée. llama-swap devient inutile sauf si on veut aussi lui faire gérer une instance pour générer des images comme stable-diffusion.cpp par exemple.
Je recommande llama.cpp car c'est l'original et son développement est phénoménal, ça me fait penser à un Linux des LLM.
Après j'ai beaucoup lu que vLLM conviendrait mieux pour la mise à l'échelle, mais comme je n'ai pas de ferme de servers juste une 3090 j'utilise llama.cpp
Un chouette journal bravo, j'encourage les anglophones à aller faire un tour sur LocalLLaMA et bien sûr huggingface.co
# précision sur llama.cpp
Posté par i M@N (site web personnel) . En réponse au journal Auto-héberger ses IA. Évalué à 4 (+3/-0).
llama-server contient tout ce qu'il faut : moteur d'inférence, chat, api
Avec le mode routeur de llama.cpp on peut tout a fait gérer plusieurs modèles et les charger à la volée. llama-swap devient inutile sauf si on veut aussi lui faire gérer une instance pour générer des images comme stable-diffusion.cpp par exemple.
Je recommande llama.cpp car c'est l'original et son développement est phénoménal, ça me fait penser à un Linux des LLM.
Après j'ai beaucoup lu que vLLM conviendrait mieux pour la mise à l'échelle, mais comme je n'ai pas de ferme de servers juste une 3090 j'utilise llama.cpp
Un chouette journal bravo, j'encourage les anglophones à aller faire un tour sur LocalLLaMA et bien sûr huggingface.co
wind0w$ suxX, GNU/Linux roxX!