Six mois, c'est trop court pour évaluer l'impact. Que se passera-t-il sur 15 ans ?
Pour rappel, on ne peut pas entraîner un modèle d'IA avec des données issues d'un autre modèle d'IA (ou le même) : c'est la voie royale vers le surapprentissage, et ça vaut pour absolument toute technique qui vise à prédire une donnée à partir d'une autre donnée (les modèles d'IA ne sont qu'un cas particulier de modèle prédictif, et c'est d'ailleurs pour ça qu'on parle de modèle d'IA).
Donc il faut des données non issues de l'IA. Maintenant, tu prends un junior d'aujourd'hui, tu lui files un agent IA et tu le regardes pisser du code pendant 15 ans. Au bout de 15 ans, tu as toujours un junior, qui n'a pas appris grand chose, parce que l'IA faisait à sa place. Le senior est parti à la retraite. Le junior est obligé de faire confiance à l'IA. Entre en scène le surapprentissage puisque tout le code (ou une proportion suffisamment élevée) est alors produit par IA. Effondrement de la qualité de l'ajustement des modèles, carence en programmeurs capables de prendre le relais, fin de l'avancée technologique.
Comment tu contres ça ? 2 solutions :
Tu maintiens une proportion suffisante d'humains dans la boucle et tu les formes ;
Tu étiquettes le code généré par IA pour qu'il ne soit pas réinjecté dans un modèle. Variante : tu vends du code généré par humain pour entraîner des modèles
Le problème de la solution 1, c'est que l'externalité négative est partagée : la dégradation des modèles touche tout le monde, et tu as toujours intérêt, individuellement, à être le passager clandestin. Donc la solution 1 n'est pas un équilibre de Nash, il y aura toujours un intérêt à être tricheur : soit, si on est au milieu des non-tricheurs, parce qu'on économise de l'argent, soit, si les autres trichent, parce qu'autant économiser de l'argent quand même vu que le modèle va de toute façon se dégrader.
Quant à étiqueter le code fait par des humains, il va évidemment y avoir une surenchère à l'étiquetage insincère, vue la charge que font peser les crawlers d'IA sur les forges logicielles. L'option de payer pour le code généré par humain n'est citée que dans un but d'exhaustivité, elle est irréalisable : rien n'empêchera techniquement de générer du code par IA et de le revendre à une boîte d'IA, voire pire, de générer du code à la con, sans s'intéresser à ce qu'il fait ni vérifier qu'il le fait bien, juste pour la revente.
Donc bon. L'IA est une mode, qui passera pour une des raisons suivantes :
Aucune boîte n'a encore trouvé de modèle économique viable mais elles ont toutes des coûts faramineux ;
La qualité d'un modèle est une fonction logarithmique du nombre de neurones (et de la quantité de données injectée : on rappelle qu'un modèle doit toujours avoir plus de données que de paramètres), donc des coûts pour l'entraîner et le faire tourner (matériel et énergie compris), ce qui signifie des coûts exponentiels pour une qualité en croissance linéaire ;
Les modèles sont voués à se dégrader avec le temps pour la raison évoquée plus haut.
La question est donc : quand l'IA s'effondrera-t-elle, et qui emportera-t-elle dans sa chute ? Dans l'intervalle, n'organisez pas votre dépendance.
Ça, ce sont les sources. Le mouton que tu veux est dedans.
[^] # Re: Encore du FOMO
Posté par Liorel . En réponse au lien Nous pleurons notre métier : Le pire avec ces outils d'IA, c'est qu'ils fonctionnent, ils peuvent écrire du code mieux que vous ou moi. Évalué à 10.
Six mois, c'est trop court pour évaluer l'impact. Que se passera-t-il sur 15 ans ?
Pour rappel, on ne peut pas entraîner un modèle d'IA avec des données issues d'un autre modèle d'IA (ou le même) : c'est la voie royale vers le surapprentissage, et ça vaut pour absolument toute technique qui vise à prédire une donnée à partir d'une autre donnée (les modèles d'IA ne sont qu'un cas particulier de modèle prédictif, et c'est d'ailleurs pour ça qu'on parle de modèle d'IA).
Donc il faut des données non issues de l'IA. Maintenant, tu prends un junior d'aujourd'hui, tu lui files un agent IA et tu le regardes pisser du code pendant 15 ans. Au bout de 15 ans, tu as toujours un junior, qui n'a pas appris grand chose, parce que l'IA faisait à sa place. Le senior est parti à la retraite. Le junior est obligé de faire confiance à l'IA. Entre en scène le surapprentissage puisque tout le code (ou une proportion suffisamment élevée) est alors produit par IA. Effondrement de la qualité de l'ajustement des modèles, carence en programmeurs capables de prendre le relais, fin de l'avancée technologique.
Comment tu contres ça ? 2 solutions :
Le problème de la solution 1, c'est que l'externalité négative est partagée : la dégradation des modèles touche tout le monde, et tu as toujours intérêt, individuellement, à être le passager clandestin. Donc la solution 1 n'est pas un équilibre de Nash, il y aura toujours un intérêt à être tricheur : soit, si on est au milieu des non-tricheurs, parce qu'on économise de l'argent, soit, si les autres trichent, parce qu'autant économiser de l'argent quand même vu que le modèle va de toute façon se dégrader.
Quant à étiqueter le code fait par des humains, il va évidemment y avoir une surenchère à l'étiquetage insincère, vue la charge que font peser les crawlers d'IA sur les forges logicielles. L'option de payer pour le code généré par humain n'est citée que dans un but d'exhaustivité, elle est irréalisable : rien n'empêchera techniquement de générer du code par IA et de le revendre à une boîte d'IA, voire pire, de générer du code à la con, sans s'intéresser à ce qu'il fait ni vérifier qu'il le fait bien, juste pour la revente.
Donc bon. L'IA est une mode, qui passera pour une des raisons suivantes :
La question est donc : quand l'IA s'effondrera-t-elle, et qui emportera-t-elle dans sa chute ? Dans l'intervalle, n'organisez pas votre dépendance.
Ça, ce sont les sources. Le mouton que tu veux est dedans.