Je pense que ton objectif est atteignable avec une simple 3060 12Gb d'occas à 200€ sur lbc si tu fais un bon achat.
Tu peux faire tourner qwen3.6 35B/A3B Q4_k en mode thinking avec une fenêtre de contexte de 65k sans problème, avec un petit modèle chargé en même temps pour le speech-to-text
En séparant le chat vocal de l'exécution, au prix d'une latence de quelques secondes entre les 2, tu peux fortement économiser le contexte du chatteur par rapport aux outils et à leur utilisation, vu que tu ne lui en présentes qu'un seul : son agent, qui est stateless.
Si tu peux (je ne connais pas le domaine), utilise l'agent pour passer des commandes CLI, avec une documentation bien structurée sous forme de fichier markdown à sa disposition pour connaître l'architecture et les commandes de ton installation domotique.
Le CLI il connaît par coeur, les outils pour lire ou filtrer un fichier aussi.
Même s'il ne connaît pas les commandes domotiques spécifiques, ce sera la seule partie "difficile" de son travail, et si la doc est bien faite (de son point de vue), il y arrivera sans peine au coup par coup (stateless).
Si tu veux échanger sur le sujet avec un débutant qui essaye de progresser, ce serait avec plaisir.
[^] # Re: Ça vous sert à quoi au quotidien ?
Posté par mmarc67 . En réponse au journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks. Évalué à 3 (+3/-0).
Je pense que ton objectif est atteignable avec une simple 3060 12Gb d'occas à 200€ sur lbc si tu fais un bon achat.
Tu peux faire tourner qwen3.6 35B/A3B Q4_k en mode thinking avec une fenêtre de contexte de 65k sans problème, avec un petit modèle chargé en même temps pour le speech-to-text
En séparant le chat vocal de l'exécution, au prix d'une latence de quelques secondes entre les 2, tu peux fortement économiser le contexte du chatteur par rapport aux outils et à leur utilisation, vu que tu ne lui en présentes qu'un seul : son agent, qui est stateless.
Si tu peux (je ne connais pas le domaine), utilise l'agent pour passer des commandes CLI, avec une documentation bien structurée sous forme de fichier markdown à sa disposition pour connaître l'architecture et les commandes de ton installation domotique.
Le CLI il connaît par coeur, les outils pour lire ou filtrer un fichier aussi.
Même s'il ne connaît pas les commandes domotiques spécifiques, ce sera la seule partie "difficile" de son travail, et si la doc est bien faite (de son point de vue), il y arrivera sans peine au coup par coup (stateless).
Si tu veux échanger sur le sujet avec un débutant qui essaye de progresser, ce serait avec plaisir.