Merci pour ce nouvel Opus.
Je comprends mieux pourquoi j'avais des timeout avec Home assistant. Le LLM tournait sur un serveur HP proliant gen 7 de course, mais sans GPU.
Je retarde pour le moment l'achat d'un GPU à cause des finances, et vu tes tests, il va me falloir investir beaucoup pour avoir un HA qui répond en 3s.
# Merci, je comprends ce qui m'arrive!
Posté par piratebab2 . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 2 (+1/-0).
Merci pour ce nouvel Opus.
Je comprends mieux pourquoi j'avais des timeout avec Home assistant. Le LLM tournait sur un serveur HP proliant gen 7 de course, mais sans GPU.
Je retarde pour le moment l'achat d'un GPU à cause des finances, et vu tes tests, il va me falloir investir beaucoup pour avoir un HA qui répond en 3s.