Tout ce que j'ai essayé n'avait aucune fiabilité. En particulier, les LLM grand public répondent de manière assez aléatoire, et ne sont pas d'accord entre eux.
Pour être un peu plus précis, la détection peut fonctionner dans les situations caricaturales: texte naïf ou plein de fautes de frappe par exemple, ou copier-coller direct d'une réponse de chatGPT à une question technique. Par contre, il n'y a aucune puissance pour détecter une tentative de fraude par exemple; il suffit d'ajouter au prompt "fais en sorte que la réponse ne soit pas facilement attribuable à une IA" et les modèles s'en sortent très bien.
J'ai peur que le problème soit simplement insoluble. Il semble très facile d'entrainer deux modèles simultanément; un qui cherche à détecter l'IA et l'autre qui cherche à ne pas se faire détecter. La tâche est asymétrique, et je pense que le modèle qui cherche à ne pas se faire repérer va gagner à tous les coups.
En tout cas, je viens de faire un essai: j'ai demandé à Mistral de rédiger 10 lignes sur la question "est-il facile de détecter un texte réalisé par une IA", puis la même chose mais de manière à ce que ça soit plus difficile à détecter. J'ai ensuite demandé à chatGPT si ça venait d'une IA ou non, réponse: pour le premier, "Je dirais que le texte présente plusieurs indices compatibles avec une rédaction par IA, avec une probabilité que je qualifierais de plutôt élevée", pour le deuxième: "Cela peut justement être le résultat d'une IA à qui l'on aurait demandé d'écrire de façon naturelle et personnelle. Mais cela peut tout aussi bien être un texte humain."
Donc CQFD: même un petit modèle s'en tire bien pour se rendre difficilement détectable.
C'est peut-être plus dur pour les images, pour les longs textes, etc, mais je pense que l'asymétrie de la tâche rend la détection très complexe.
# Problème insoluble?
Posté par arnaudus . En réponse au message Quelqu'un a testé un détecteur IA gratuit qui tient vraiment la route ?. Évalué à 4 (+1/-0).
Tout ce que j'ai essayé n'avait aucune fiabilité. En particulier, les LLM grand public répondent de manière assez aléatoire, et ne sont pas d'accord entre eux.
Pour être un peu plus précis, la détection peut fonctionner dans les situations caricaturales: texte naïf ou plein de fautes de frappe par exemple, ou copier-coller direct d'une réponse de chatGPT à une question technique. Par contre, il n'y a aucune puissance pour détecter une tentative de fraude par exemple; il suffit d'ajouter au prompt "fais en sorte que la réponse ne soit pas facilement attribuable à une IA" et les modèles s'en sortent très bien.
J'ai peur que le problème soit simplement insoluble. Il semble très facile d'entrainer deux modèles simultanément; un qui cherche à détecter l'IA et l'autre qui cherche à ne pas se faire détecter. La tâche est asymétrique, et je pense que le modèle qui cherche à ne pas se faire repérer va gagner à tous les coups.
En tout cas, je viens de faire un essai: j'ai demandé à Mistral de rédiger 10 lignes sur la question "est-il facile de détecter un texte réalisé par une IA", puis la même chose mais de manière à ce que ça soit plus difficile à détecter. J'ai ensuite demandé à chatGPT si ça venait d'une IA ou non, réponse: pour le premier, "Je dirais que le texte présente plusieurs indices compatibles avec une rédaction par IA, avec une probabilité que je qualifierais de plutôt élevée", pour le deuxième: "Cela peut justement être le résultat d'une IA à qui l'on aurait demandé d'écrire de façon naturelle et personnelle. Mais cela peut tout aussi bien être un texte humain."
Donc CQFD: même un petit modèle s'en tire bien pour se rendre difficilement détectable.
C'est peut-être plus dur pour les images, pour les longs textes, etc, mais je pense que l'asymétrie de la tâche rend la détection très complexe.