Après être passé par Whisper (ce qui est similaire à utiliser de l'OCR), il faut remettre en page le texte et peut-être l'adapter à un format écrit.
Pour cela, il faut passer par un LLM (comme Mistral Small 3 ou Llama 3.3) et lui demander de corriger les fautes et de mettre en page le texte.
Les "uptrucchose" sont des sociétés qui ont exploité les ressources disponibles sur Hugging Face pour créer une interface superbe avec des prompts bien conçus.
Dans le cadre de l'IA, le prompt est crucial pour obtenir de bons résultats. Plus le modèle est "bête" (c'est-à-dire des petits modèles avec moins de paramètres que les mastodontes), plus la précision dans le prompt pourra améliorer le résultat (je tire cela de mon expérience personnelle, qui n'est pas représentative).
Au travail, nous testons l'IA. Actuellement, nous avons déployé Open WebUI avec un Llama 3.2 11B en local sur Ollama et nous avons acheté des tokens chez OpenAI pour les problèmes plus complexes.
Les utilisateurs sont informés que le Llama (rebaptisé dans OpenWebUI du nom de la boîte) tourne en local, tandis que les autres modèles fonctionnent dans un datacenter. Ils doivent donc faire attention à ce qu'ils y envoient.
Pour cela, nous avons acheté un gros Dell d'occasion avec une carte Nvidia Quadro P5000 que nous avons installée dans l'un de nos racks serveurs (c'est bizarre de voir un PC parmi des serveurs). Cela n'a pas coûté cher et fonctionne bien. Pour l'instant, c'est toujours en phase de prototype, et à l'avenir, lors du changement d'un serveur, nous verrons si nous pouvons intégrer une carte GPU.
Demande à ton entreprise un budget pour tester l'IA et voir comment l'intégrer, en expliquant que tu dois faire des essais.
# combiner les ia
Posté par Ecran Plat (site web personnel) . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 9.
Après être passé par Whisper (ce qui est similaire à utiliser de l'OCR), il faut remettre en page le texte et peut-être l'adapter à un format écrit.
Pour cela, il faut passer par un LLM (comme Mistral Small 3 ou Llama 3.3) et lui demander de corriger les fautes et de mettre en page le texte.
Les "uptrucchose" sont des sociétés qui ont exploité les ressources disponibles sur Hugging Face pour créer une interface superbe avec des prompts bien conçus.
Dans le cadre de l'IA, le prompt est crucial pour obtenir de bons résultats. Plus le modèle est "bête" (c'est-à-dire des petits modèles avec moins de paramètres que les mastodontes), plus la précision dans le prompt pourra améliorer le résultat (je tire cela de mon expérience personnelle, qui n'est pas représentative).
Au travail, nous testons l'IA. Actuellement, nous avons déployé Open WebUI avec un Llama 3.2 11B en local sur Ollama et nous avons acheté des tokens chez OpenAI pour les problèmes plus complexes.
Les utilisateurs sont informés que le Llama (rebaptisé dans OpenWebUI du nom de la boîte) tourne en local, tandis que les autres modèles fonctionnent dans un datacenter. Ils doivent donc faire attention à ce qu'ils y envoient.
Pour cela, nous avons acheté un gros Dell d'occasion avec une carte Nvidia Quadro P5000 que nous avons installée dans l'un de nos racks serveurs (c'est bizarre de voir un PC parmi des serveurs). Cela n'a pas coûté cher et fonctionne bien. Pour l'instant, c'est toujours en phase de prototype, et à l'avenir, lors du changement d'un serveur, nous verrons si nous pouvons intégrer une carte GPU.
Demande à ton entreprise un budget pour tester l'IA et voir comment l'intégrer, en expliquant que tu dois faire des essais.