Je fais partie de ceux qui codent en COBOL. Comme tout bon coboliste, j’écris aussi du JCL et forcément des tris en DFSORT (même si en vrai, il s’agit souvent plutôt,de transformation de fichier plutôt que de tri...)
Au sortir d’une formation pendant laquelle je venais de préconiser l’usage des SYMNAMES pour écrire de manière plus lisible les SYSIN de tri, en vantant un utilitaire que j’ai écrit pour transformer un copybook COBOL en SYMNAMES, un collègue de l’équipe me montre que cet utilitaire n’a plus vraiment d’intérêt depuis qu’on a accès à Copilot.
Et effectivement c’est bluffant : donnez un copybook à Copilot demandez-lui la conversion en SYMNAMES pour DFSORT et le résultat est quasi immédiat et correct.
J’allais jeter mon utilitaire à la poubelle quand j’ai eu l’idée de pousser l’expérience un peu plus loin. Il faut savoir que sur z/OS, on peut déclarer un fichier en fixe ou variable, avec la particularité qu’un enregistrement de fichier déclarer en variable possède un entête de 4 octets contenant la longueur dudit enregistrement. Pour éviter d’avoir à générer 2 SYMNAMES différents pour chaque copybook COBOL qui ne diffèreraient que de 4 octets, j’ai eu l’idée géniale d’utiliser la notation relative : ainsi il suffit d’ajouter les 4 octets initiaux quand le fichier est déclaré en variable, et toutes les positions-longueurs s’ajustent automatiquement. Ça permet également de travailler sur un fichier qui correspond à la juxtaposition de 2 copybooks.
Bref, me voilà à demander avec un second prompt à Copilot de réécrire le SYMNAMES qu’il m’a fournit précédemment en notation relative. Et là, c’est le grand n’importe quoi ! Malgré les assertions de notre chère IA après moult itérations que cette fois c’est la bonne, et en nous « jurant » que ça sort de la documentation IBM, les réponses sont de plus en plus éloignées du résultat attendu.
Si je connaissais l’existence des (削除) « hallucinations » (削除ここまで) bugs, je ne pensais pas en obtenir une si flagrante en 2 prompts si simples...
Moralité : non seulement l’IA se trompe, mais ment aussi. Outil à utiliser avec précaution donc.
« Y a même des gens qui ont l’air vivant, mais ils sont morts depuis longtemps ! »
# IA, DFSORT et « hallucination
Posté par PhRæD . En réponse au sondage Les IA génératives et le code. Évalué à 10.
Je fais partie de ceux qui codent en COBOL. Comme tout bon coboliste, j’écris aussi du JCL et forcément des tris en DFSORT (même si en vrai, il s’agit souvent plutôt,de transformation de fichier plutôt que de tri...)
Au sortir d’une formation pendant laquelle je venais de préconiser l’usage des SYMNAMES pour écrire de manière plus lisible les SYSIN de tri, en vantant un utilitaire que j’ai écrit pour transformer un copybook COBOL en SYMNAMES, un collègue de l’équipe me montre que cet utilitaire n’a plus vraiment d’intérêt depuis qu’on a accès à Copilot.
Et effectivement c’est bluffant : donnez un copybook à Copilot demandez-lui la conversion en SYMNAMES pour DFSORT et le résultat est quasi immédiat et correct.
J’allais jeter mon utilitaire à la poubelle quand j’ai eu l’idée de pousser l’expérience un peu plus loin. Il faut savoir que sur z/OS, on peut déclarer un fichier en fixe ou variable, avec la particularité qu’un enregistrement de fichier déclarer en variable possède un entête de 4 octets contenant la longueur dudit enregistrement. Pour éviter d’avoir à générer 2 SYMNAMES différents pour chaque copybook COBOL qui ne diffèreraient que de 4 octets, j’ai eu l’idée géniale d’utiliser la notation relative : ainsi il suffit d’ajouter les 4 octets initiaux quand le fichier est déclaré en variable, et toutes les positions-longueurs s’ajustent automatiquement. Ça permet également de travailler sur un fichier qui correspond à la juxtaposition de 2 copybooks.
Bref, me voilà à demander avec un second prompt à Copilot de réécrire le SYMNAMES qu’il m’a fournit précédemment en notation relative. Et là, c’est le grand n’importe quoi ! Malgré les assertions de notre chère IA après moult itérations que cette fois c’est la bonne, et en nous « jurant » que ça sort de la documentation IBM, les réponses sont de plus en plus éloignées du résultat attendu.
Si je connaissais l’existence des
(削除) « hallucinations » (削除ここまで)bugs, je ne pensais pas en obtenir une si flagrante en 2 prompts si simples...Moralité : non seulement l’IA se trompe, mais ment aussi. Outil à utiliser avec précaution donc.
« Y a même des gens qui ont l’air vivant, mais ils sont morts depuis longtemps ! »