Les gens n'ont pas attendu les LLM pour introduire des bugs...
Il y a également toute une disparité de performances de code parmi les LLM, j'imagine qu'il est quand même largement raisonnable que les perfs vont s'améliorer, et que les LLM spécialisés dans le code vont progresser. Un système conçu autour d'agents avec des tâches spécifiques sont organisés pour gérer les intégrations, les tests unitaires, les tests statiques, etc., ce qui est très très différent de Jean-Machin qui push un javascript pondu par ChatGpt grand public...
Je suis certain que les grandes entreprises bien organisées ont un monitoring très précis des taux d'erreur et des procédures adaptées (quand faire intervenir un humain, etc), mais c'est probablement assez confidentiel, comme information.
[^] # Re: Syndrome de la Tourette
Posté par arnaudus . En réponse au lien Quand l’IA corrige l’IA : un bac de philo très augmenté. Évalué à 3 (+0/-0).
Les gens n'ont pas attendu les LLM pour introduire des bugs...
Il y a également toute une disparité de performances de code parmi les LLM, j'imagine qu'il est quand même largement raisonnable que les perfs vont s'améliorer, et que les LLM spécialisés dans le code vont progresser. Un système conçu autour d'agents avec des tâches spécifiques sont organisés pour gérer les intégrations, les tests unitaires, les tests statiques, etc., ce qui est très très différent de Jean-Machin qui push un javascript pondu par ChatGpt grand public...
Je suis certain que les grandes entreprises bien organisées ont un monitoring très précis des taux d'erreur et des procédures adaptées (quand faire intervenir un humain, etc), mais c'est probablement assez confidentiel, comme information.