Ils se trompent dans les deux sens, et surtout contre ceux qui écrivent dans une langue qui n’est pas la leur. Accuser quelqu’un sur cette seule base est une faute.
En un mot. Ce que valent les outils qui prétendent dire si un texte a été écrit par une machine.
Définition
Les détecteurs estiment la probabilité qu’un texte ait été produit par un modèle, à partir de régularités statistiques comme la prévisibilité des mots. Ils produisent des faux positifs, en désignant des textes humains, et des faux négatifs, en laissant passer des textes générés puis retouchés.
Pourquoi c’est important
Ces outils sont utilisés pour sanctionner : un étudiant, un pigiste, un candidat. Or ils désignent plus souvent les textes écrits simplement, dans une langue seconde, ou dans un style scolaire. En Afrique francophone comme ailleurs, ce sont précisément les personnes les plus exposées qui sont le plus souvent accusées à tort.
Comment ça marche
Le point décisif est la nature de la preuve. Un score de probabilité n’établit pas un fait : il indique une ressemblance statistique. Une accusation, elle, exige un fait. C’est pourquoi un détecteur peut au mieux motiver une conversation, jamais fonder une sanction.
Méthode, étape par étape
Ne jamais fonder une sanction sur le seul résultat d’un détecteur.
Se souvenir qu’un texte simple et régulier est le plus souvent mal classé.
Demander plutôt le processus : brouillons, sources, historique, explications orales.
Poser des questions sur le contenu : celui qui a écrit sait de quoi il parle.
Préférer la preuve d’écriture à la preuve de non-écriture.
Annoncer à l’avance ce qui est permis, plutôt que sanctionner après coup.
Distinguer l’usage assumé, qui se déclare, de la dissimulation, qui se reproche.
Tester le détecteur sur des textes dont on connaît l’origine avant de s’y fier.
Un cas concret
Faites passer un de vos propres textes anciens, écrit avant l’existence de ces outils, dans un détecteur. Le résultat suffit généralement à régler la question de leur fiabilité, et il vaut mieux le découvrir ainsi qu’en accusant quelqu’un.
Les erreurs à éviter
Traiter un score de probabilité comme une preuve.
Accuser sans demander le processus d’écriture.
Ignorer que l’écriture en langue seconde est surdétectée.
Sanctionner une règle qui n’avait jamais été énoncée.