Au boulot on prépare des entretiens d'embauche. J'ai écris un énoncé pour un exercice de programmation qui colle un peu à notre domaine, où le candidat doit implémenter un petit algo. J'ai fait un truc classique avec un peu de contexte général, les conditions sur les entrées, ce qu'on attend en sortie, etc.
J'ai ensuite collé ça dans ChatGPT et il a sorti un truc tout à fait convenable. Maintenant je suis bien embêté parce que je ne vais pas pouvoir utiliser ce genre d'exo pour évaluer les candidats en travail à la maison :(
En tout cas, ça m'a montré qu'avec une bonne spec' on pouvait obtenir un truc satisfaisant au moins pour un petit outil. Après j'ai aussi eu une expérience d'itérations sur du code dans le cadre d'une évaluation de l'outil, et là c'était catastrophique. Chaque itération était plus pénible que la précédente.
Ça résume un peu mon expérience avec les LLM jusqu'ici : c'est plutôt OK en surface ou quand on connaît pas trop le sujet, et plutôt bof quand on creuse.
[^] # Re: Mon expérience [mode trolldi=on]
Posté par Julien Jorge (site web personnel) . En réponse au journal Je lis du code généré. Évalué à 9.
Au boulot on prépare des entretiens d'embauche. J'ai écris un énoncé pour un exercice de programmation qui colle un peu à notre domaine, où le candidat doit implémenter un petit algo. J'ai fait un truc classique avec un peu de contexte général, les conditions sur les entrées, ce qu'on attend en sortie, etc.
J'ai ensuite collé ça dans ChatGPT et il a sorti un truc tout à fait convenable. Maintenant je suis bien embêté parce que je ne vais pas pouvoir utiliser ce genre d'exo pour évaluer les candidats en travail à la maison :(
En tout cas, ça m'a montré qu'avec une bonne spec' on pouvait obtenir un truc satisfaisant au moins pour un petit outil. Après j'ai aussi eu une expérience d'itérations sur du code dans le cadre d'une évaluation de l'outil, et là c'était catastrophique. Chaque itération était plus pénible que la précédente.
Ça résume un peu mon expérience avec les LLM jusqu'ici : c'est plutôt OK en surface ou quand on connaît pas trop le sujet, et plutôt bof quand on creuse.