Du coup à long terme plutôt que de jouer avec llama-cpp pour tes projets hobby, ça ne vaudrait pas le coup d'embaucher un esclave indien ingénieur pour qu'il code ce que tu as besoin?
J'en doute très fort. Partons d'une machine 1000W en pleine charge. Si elle tourne 27/7, elle va consommer 1*24*365 = 8760kWh. À 20cts le kWh, ça fait 1752€.
Si c'est juste 4h par jour par exemple on tombe à 300€ environ.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Coût
Posté par gUI (Mastodon) . En réponse au journal Auto-héberger ses IA : Matériel et optimisation de l'inférence. Évalué à 4 (+1/-0).
J'en doute très fort. Partons d'une machine 1000W en pleine charge. Si elle tourne 27/7, elle va consommer 1*24*365 = 8760kWh. À 20cts le kWh, ça fait 1752€.
Si c'est juste 4h par jour par exemple on tombe à 300€ environ.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.