EXPÉRIENCE 04 · APPRENDRE AVEC DES EXEMPLES
Comment une IA apprend-elle à trier des messages ?
Entraînez un petit filtre de courriels, essayez un message nouveau et comparez ses erreurs quand vous changez le seuil.
5 étapes · environ 12 min · sans prérequisLisez quelques lignes, faites l’essai à côté, puis regardez ce qui change. Vous pouvez avancer à votre rythme et refaire chaque manipulation.
Commencer par des exemples dont on connaît la réponse
Votre boîte mail reçoit une invitation, une facture et une fausse promesse de cadeau. Comment un filtre apprend-il à les séparer ?
On commence par des messages déjà classés. La bonne catégorie est leur étiquette : « indésirable » ou « à conserver ».
C’est de l’apprentissage supervisé : on donne des exemples et la réponse attendue. La qualité de ces réponses et la diversité des exemples comptent beaucoup.
Inspectez deux messages qui contiennent « urgent ». Comparez leurs étiquettes et les indices que notre modèle peut lire.
Gagnez un cadeau gratuit ! Cliquez sur https://cadeau.test
IndésirableBonjour, la réunion commence à dix heures.
À conserverGagnez un cadeau grâce à cette offre
IndésirableUrgent : peux-tu relire le dossier avant midi ?
À conserverUrgent : peux-tu relire le dossier avant midi ?
« Urgent » apparaît dans les deux catégories. C’est un indice imparfait : l’étiquette vient du contexte du message, pas de ce mot seul.
Apprendre une règle à partir de ces exemples
Le modèle essaie de prédire la catégorie de chaque message. Lorsqu’il se trompe, il ajuste les nombres qui gouvernent sa règle.
Notre petit filtre observe seulement deux indices : des mots souvent associés aux indésirables et la présence d’un lien. Il apprend le poids de chacun.
Ce sont les exemples qui servent à ajuster les poids. Nous n’avons pas écrit une règle du type « tout message urgent est indésirable ».
Lancez l’apprentissage. Les paramètres sont calculés ici à partir des 12 messages.
Le modèle n’est pas encore entraîné. Appuyez sur le bouton pour calculer ses paramètres.
Ce qui est réellement entraîné
Nous utilisons une régression logistique, un petit modèle de classification. Il reçoit deux caractéristiques : un compte normalisé de mots comme « gagnez », « gratuit », « offre », « cadeau », « urgent », et la présence d’un lien.
Pendant 700 itérations, une descente de gradient ajuste les deux poids et un terme constant pour réduire une erreur appelée perte logistique. L’essai fonctionne sans serveur.
Ces deux indices sont volontairement limités. Un filtre réel exploite des signaux bien plus riches et beaucoup plus de données.
Voir les 12 exemples d’apprentissage
Gagnez un cadeau gratuit ! Cliquez sur https://cadeau.test
IndésirableOffre gratuite ! Gagnez un cadeau sur https://offre.test
IndésirableUrgent : gagnez maintenant sur https://urgent.test
IndésirableCadeau gratuit, offre exceptionnelle pour vous
IndésirableGagnez un cadeau grâce à cette offre
IndésirableUrgent ! Offre sur https://bonus.test
IndésirableBonjour, la réunion commence à dix heures.
À conserverVoici le compte rendu de notre rendez-vous.
À conserverLe repas de samedi est confirmé.
À conserverVotre facture est disponible sur https://client.test
À conserverUrgent : peux-tu relire le dossier avant midi ?
À conserverLe cadeau pour Léa est acheté.
À conserverEssayer sur un message qu’il n’a pas appris
Après l’apprentissage, on peut soumettre un nouveau message. Le modèle applique les poids qu’il a appris et produit un score.
Un score élevé indique que le message ressemble davantage aux indésirables de notre jeu d’apprentissage. Ce score n’est pas une certitude sur la nature du message.
Essayez une réunion normale, puis un message urgent avec un lien. Vous verrez aussi ce que le modèle est capable d’observer, et ce qu’il ignore.
Choisissez un exemple, puis modifiez son texte. Utilisez uniquement un message inventé.
Entraînez d’abord le modèle à l’étape 2 pour obtenir un score. Revenir à l’apprentissage
Les indices sont déjà visibles. Leur poids sera calculé pendant l’apprentissage.
À partir de quel score faut-il bloquer un message ?
Le score ne décide pas à lui seul. Il faut fixer un seuil. À un seuil de 50, les scores de 50 et plus sont bloqués.
Abaisser le seuil bloque davantage de messages. Cela peut arrêter plus d’indésirables, mais aussi bloquer des messages utiles. L’augmenter laisse passer davantage de messages.
Nous allons vérifier les décisions sur des messages que le modèle n’a pas utilisés pour apprendre. La bonne étiquette de chacun nous permet de compter les erreurs.
Comparez un seuil de 30 puis de 80. Les dix messages de test sont les mêmes.
Les dix messages de test sont prêts. Entraînez le modèle pour comparer ses décisions.
Que change un exemple mal étiqueté ?
Bien reconnaître les exemples étudiés est une première étape. Être utile sur des situations nouvelles est le vrai objectif.
Le choix des exemples, leurs étiquettes et les indices disponibles peuvent créer des erreurs systématiques. Il faut les examiner, pas seulement afficher un bon pourcentage.
Le réglage du seuil dépend aussi des conséquences : rater une invitation n’a pas le même coût que laisser passer une publicité.
Modifiez l’étiquette d’un message légitime. Une variante du modèle est réentraînée avec ce seul changement.
« Urgent : peux-tu relire le dossier avant midi ? »
Lancez l’apprentissage à l’étape 2 pour comparer les deux modèles.
La variante est comparée à votre modèle initial. Elle ne remplace pas les résultats de l’étape précédente.
VOTRE CARNET D’EXPÉRIENCE
Garder une trace.
Ce carnet reprend les réglages et les résultats de votre exploration. Revenez sur une manipulation, changez un paramètre et observez la différence.
Le modèle apprend à partir d’exemples étiquetés. Il produit un score, puis un seuil transforme ce score en décision. On juge ses erreurs sur des exemples différents.
VOS OBSERVATIONS
01L’apprentissage attend votre lancement à l’étape 2.
02Le modèle calculera un score pour votre message après l’apprentissage.
03Comparez les erreurs sur dix nouveaux messages après l’apprentissage.
04Les étiquettes d’apprentissage sont celles du jeu initial.
Les références pour continuer
- Google — Seuils et matrice de confusion ↗ (nouvel onglet)Cours sur la décision à partir d’un score.
- Google — Précision, rappel et autres métriques ↗ (nouvel onglet)Pour prolonger l’analyse des erreurs.
Votre carnet reste disponible tant que vous gardez cette expérience ouverte.