Mesures
Ce que vaut la détection
Aucune détection automatique ne trouve tout, la nôtre non plus. Voici ce que nous avons mesuré, comment, et où elle se trompe. Nous publions ces chiffres parce qu’ils expliquent pourquoi la relecture est obligatoire.
85,7 %
des valeurs à protéger trouvées (rappel), première mesure à l’aveugle
92,5 %
des valeurs signalées qui étaient bien à protéger (précision)
441
valeurs à protéger dans 50 documents de test
Après une généralisation des règles d’étiquettes de dossier et de compte, la même série donne 88,0 % de rappel et 92,7 % de précision. Ce second chiffre n’est plus aveugle : la référence reste la première mesure.
Le détail
Par type de renseignement
| Type | Trouvées | Part |
|---|---|---|
| Courriels | 13 sur 13 | toutes |
| Téléphones | 21 sur 21 | toutes |
| Numéros d’assurance sociale | 6 sur 6 | toutes |
| Personnes | 148 sur 149 | 99,3 % |
| Adresses | 41 sur 43 | 95,3 % |
| Organisations | 41 sur 47 | 87,2 % |
| Numéros de compte | 7 sur 9 | 77,8 % |
| Dossiers, causes, polices, références | 45 sur 74 | 60,8 % |
| Codes postaux, comptés sous leur type | 29 sur 42 | 69 % |
Points faibles
Où elle se trompe
Les numéros de dossier
Moins d’un sur deux à la première mesure, environ six sur dix après généralisation des règles. Ils n’ont pas de forme commune : le détecteur les reconnaît par une étiquette (« dossier », « N/Réf. », « cause », « réclamation ») ou quelques formes connues. Un numéro sans étiquette reste en clair : ajoutez-le à la relecture, ou au dictionnaire du cabinet.
Les entreprises sans forme juridique
Un nom comme « Pâtisseries Montcalm », sans « inc. » ni « s.e.n.c. », dépend des modèles et passe plus souvent.
Ce qui n’est pas un identifiant
Hormis les dates de naissance, les dates, les montants et les faits ne sont pas remplacés. Ils peuvent suffire à reconnaître une personne ou une affaire : c’est à vous d’en juger.
Méthode
Comment c’est mesuré
- Les documents de test et leurs annotations sont fictifs. Ils ont été écrits par une IA et n’ont pas encore été relus par une personne du métier : ces chiffres ne valent pas encore comme mesure sur de vrais dossiers de cabinet.
- Une valeur compte comme trouvée quand elle est remplacée sous le bon type. La plupart des codes postaux manqués sous leur type sont en fait remplacés avec toute leur adresse, et comptés sous « adresse ».
- Deux séries précédentes ne sont pas publiées ici : la première a servi à régler le détecteur, la seconde a été relue en détail après sa mesure. La troisième, écrite par un auteur qui n’avait vu ni les règles du détecteur ni ces séries, est la référence.