Comment l’IA lit un ticket de caisse en trois secondes, et où elle se trompe encore

Photographier un ticket de caisse et récupérer une dépense entièrement remplie ressemble à un petit tour de magie. Ce n’en est pas un. Ce sont quatre problèmes distincts résolus l’un après l’autre, et savoir lesquels rend évident le fait que certains tickets passent parfaitement et d’autres non.

Étape un : retrouver le ticket

Avant de lire quoi que ce soit, il faut retrouver le papier dans la photo. Votre table de cuisine, votre main et le motif de la nappe sont tous dans le cadre. Le logiciel localise les quatre coins du ticket, corrige la perspective pour qu’une photo prise de biais redevienne un rectangle plat, et accentue le contraste entre une encre passée et un papier thermique devenu gris.

Cette étape explique à elle seule la majorité des échecs de lecture. Un ticket posé sur une surface chargée, ou gondolé au point que les coins se relèvent, transmet à l’étape suivante une image déformée.

Étape deux : transformer les pixels en caractères

La reconnaissance de texte convertit l’image en caractères. Les moteurs modernes sont excellents sur du texte imprimé propre, et nettement moins bons sur ce dont les tickets sont faits : impression thermique serrée, encre effacée, sortie matricielle d’une vieille caisse, et l’ambiguïté entre un zéro et un O, ou entre un 1 et un I, dans une police à l’étroit.

À la fin de cette étape, le logiciel dispose d’un mur de texte sans aucun sens attaché. Il connaît les caractères. Il ne sait pas encore lequel des onze nombres présents sur la page correspond à ce que vous avez payé.

Étape trois : comprendre la mise en page

C’est la partie intéressante, et celle où un modèle de langage justifie sa place. Un ticket a une structure que tout être humain lit sans y penser : le nom du magasin en haut, les lignes d’articles au milieu, la TVA et le total en bas, les informations de carte tout à la fin.

Le modèle détermine quel nombre est le total plutôt qu’un sous-total, une ligne de TVA, un prix d’article, une remise ou la monnaie qu’on vous a rendue. Il lit la date dans l’ordre où ce pays écrit les dates. Il identifie le commerçant à partir d’un nom qui peut être une abréviation ou une raison sociale que personne ne reconnaîtrait.

• Le total, distingué du sous-total, de la TVA et de l’espèce remise
• La date, au format local, avec un choix raisonnable quand l’année manque
• Le commerçant, ramené à un nom reconnaissable
• La devise, souvent sous-entendue plutôt qu’imprimée

Étape quatre : choisir une catégorie

Il reste à attribuer une catégorie à l’écriture, ce qui relève du jugement et non du fait. Un supermarché, c’est en général des courses — sauf si le ticket est surtout du carburant. Une pharmacie, c’est la santé, sauf si vous y avez acheté du shampoing. Le modèle s’appuie sur le commerçant, les lignes d’articles et vos propres corrections passées.

C’est pour cela que corriger une catégorie compte plus qu’il n’y paraît. Une correction est un signal attaché à ce commerçant, et le même magasin sera classé correctement la fois suivante.

Là où elle se trompe encore

Quatre cas expliquent la quasi-totalité des erreurs restantes.

1. Les tickets thermiques effacés. Si vous peinez à lire le total, le modèle aussi. Photographiez-les peu après les avoir reçus.
2. Les longs tickets photographiés de biais. Le bas de la page est justement l’endroit où vit le total, et c’est la partie que la déformation de perspective abîme le plus.
3. Les paiements partagés. Moitié carte, moitié espèces, ou un bon d’achat appliqué à la fin : plusieurs totaux deviennent plausibles.
4. Les additions de restaurant avec un pourboire ajouté à la main. Le total imprimé et la somme réellement payée sont deux nombres différents, et un seul figure sur le papier.

Comment obtenir un scan propre à chaque fois

• Aplatissez le ticket. Un bord qui s’enroule vous coûte le total.
• Photographiez à la verticale, au-dessus du papier, pas en biais depuis le bord de la table.
• Surface unie, lumière homogène, aucune ombre portée par votre propre main.
• Cadrez le ticket entier, d’un bord à l’autre, avec un peu de marge.
• Scannez dans les deux jours pour le papier thermique, qui pâlit vite au fond d’un portefeuille.

Pourquoi cela compte plus que la précision

On croit souvent que l’intérêt du scan de tickets est l’exactitude. Ce n’est pas le cas : un humain appliqué qui tape à la main est plus exact. L’intérêt, c’est que cela prend trois secondes au lieu de quarante, et que trois secondes, c’est assez court pour que vous le fassiez à la caisse au lieu de vous promettre de le faire plus tard.

Toutes les méthodes de suivi des dépenses échouent au même endroit : l’écart entre le moment où l’on dépense et celui où l’on enregistre. Refermer cet écart, même imparfaitement, vaut mieux qu’un système parfait abandonné en quinze jours.