On peut désormais détecter 95% des contenus rédigés par ChatGPT

  • Par Alexandre Boyer
  • Publié le 8 février 2023 à 11:37, modifié le 12 mai 2023 à 17:00

En quelques mois ChatGPT et devenu un outil connu du grand public et en particulier des étudiants qui l’ont utilisé pour faire faire à l’AI leurs devoirs à leur place. Si ChatGPT répond souvent à coté de la plaque (essayez de l’utiliser en math pour voir) ce détournement pose tout de meme de gros problèmes aux enseignants, mais plus pour très longtemps. En effet l’université de Stanford a développé un outil permettant de détecter les travaux réalisés avec cette IA, et Open AI a également mis en ligne un outil proposant à peu près la meme chose.

DetectGPT permet aux professeurs de Stanford d’identifier 95% des contenus générés avec de l’IA

Des chercheurs de l’université de Stanford ont développé un outil permettant de détecter les contenus générés avec ChatGPT. Cette IA très populaire, est de plus en plus utilisée par les élèves afin de faire leurs devoirs à leur place, ce qui est considéré comme de la triche ou à minima une forme de plagiat.

On peut désormais détecter 95% des contenus rédigés par ChatGPT

Bien conscient du problème des chercheurs de Stanford ont développé DetectGPT, un outil à destination des professeurs qui se base « sur des spécificités de fonctions logarithmiques de modèles de langage ». Pour faire simple ce logiciel permet de repérer si un texte a été écrit entièrement ou en partie par ChatGPT ou par une IA de manière générale, et son utilisation ne nécessite aucune connaissance technique.

L’équipe à l’origine de DetectGPT affirme que l’outil a un taux de réussite proche de 95% en terme de  détection.

D’autres outils de détection existent déjà

DetectGPT n’est pas le seul outil de détection d’IA disponible sur la toile. Les équipes d’OpenAI, la société qui a mis en ligne ChatGPT, ont développé plusieurs outils de détection dont GPT-Output-Detector (déjà un peu obsolète) et plus récemment AI Text Classifier. Ce dernier outil est d’une efficacité redoutable pour détecter les contenus générés avec ChatGPT et le modèle de génération Davinci-003 … si vous rédigez du texte en anglais et qu’il n’est pas retouché manuellement ensuite.

Pour les textes en français, particulièrement si vous les avez retouchés, l’outil s’en sort moins bien, mais est tout de meme capable de vous donner un avis relativement fiable sur « qui » a bien pu écrire un texte…

On peut désormais détecter 95% des contenus rédigés par ChatGPT #2

On peut désormais détecter 95% des contenus rédigés par ChatGPT #3

Comme vous le voyez ci-dessus, la détection fonctionne plutot bien alors que l’outil est en version béta…

Si cela ne suffisait pas, il existe d’autres outils similaires comm GPT-Zero, développé par Edward Tian diplômé en informatique et journalisme. Son détecteur est encore en version bêta test et a un taux de détection inférieur à 2% mais il devrait très vite s’améliorer :

Vers une interdiction de ChatGPT dans les milieux scolaires

Avec la popularité grandissante de ChatGPT sorti fin novembre 2022, il devenait nécessaire de créer une parade. Les collégiens, lycéens et étudiants n’hésitent pas à utiliser ChatGPT pour rédiger leurs dissertations ou encore leurs exposés en quelques minutes à peine.

A la fac de Lyon, la moitié d’une classe de master en handicap sensoriels et cognitifs avait utilisé ChatGPT pour un examen selon le Progrès, et les exemples de ce type sont de plus en nombreux…

On peut désormais détecter 95% des contenus rédigés par ChatGPT #4

Face à cette triche des établissements scolaires ont tout simplement décidés d’interdire l’utilisation de ChatGPT. C’est le cas à New-York où toutes les écoles publiques l’ont interdit et en France, la faculté de Sciences-Po a annoncé interdire totalement l’utilisation de ChatGPT sous peine de sanctions.
Le directeur de la formation et de la recherche de Sciences-Po, Sergei Guriev a indiqué que l’utilisation de ChatGPT était « strictement interdite lors de la production de travaux écrits ou oraux […] sous peine de sanctions qui peuvent aller jusqu’à l’exclusion de l’établissement voire de l’établissement supérieur. »

Au moins c’est clair !

Alors que de nouvelles IA sortent tous les jours pour tout et n’importe quoi, on se demande si lutter contre leur usage est la bonne méthode. Il n’en demeure pas moins que si les étudiants vont en cours c’est en principe pour apprendre quelque-chose. S’ils ressortent avec un diplôme mais sans rien savoir, ils auront surtout perdu leur temps …