Du texte sans forme au signal : TF-IDF, embeddings et cosinus

Commentaires de clients, tickets de support, contrats, messages sur les réseaux : texte brut, sans colonnes ni catégories. L'analyse de texte est la discipline qui transforme ce matériel en intelligence exploitable, et elle a deux mesures qui soutiennent presque tout : combien de fois quelque chose apparaît, et à quel point il est différent du reste. Ce post parcours le chemin complet, du hachage du texte à la comparaison des sens. Ce qui suit vient du module « Introduction to NLP concepts » de Microsoft Learn.

Ce qu'on fait du texte

L'analyse de texte est un sous-ensemble du traitement du langage naturel (NLP), la discipline qui donne du sens au langage. Son travail est d'extraire du sens, de la structure et de l'information du texte non structuré, et elle arrive à sept résultats concrets : détection de langue, extraction de termes clés, détection d'entités, détection et rédaction des PII (informations personnelles identifiables), classification de texte, analyse de sentiment et résumé.

La classification de texte sert à filtrer du spam ou séparer des tickets par urgence ; l'analyse de sentiment dit de quel côté est celui qui écrit ; le résumé condense en gardant les points principaux. La détection de langue est souvent la première étape de tout canal recevant des messages, et la détection d'entités trouve noms, montagnes ou dates dans le texte. Avec ce répertoire, les organisations transforment commentaires, incidents, contrats et réseaux sociaux en intelligence exploitable : ce qui avant se lisait à la main se retrouve catégorisé et triable.

Tokeniser et nettoyer

La première étape est de découper le corpus en tokens, qui sont des mots ou des sous-mots, et de donner à chacun un identifiant numérique. Avec cet identifiant, le corpus cesse d'être du texte : il devient une séquence de nombres qui se trie, se compte et se compare sans relire chaque mot. Ensuite vient le prétraitement, un jeu d'opérations qui décide de ce qui entre et de ce qui ne rentre pas :

Normalisation : ponctuation et minuscules égalées. Ça a un coût : Mr Banks et banks cessent d'être deux choses différentes.
Suppression des mots vides : dehors ceux qui n'apportent pas au comptage, car ils sont partout et ne font que brouiller la comparaison.
N-grammes : unigrammes, bigrammes et trigrammes, pour capturer des combinaisons et pas seulement des mots isolés.
Stemming : couper les terminaisons, avec pour résultat que powering, powered et powerful deviennent power.
Lemmatisation : réduire à la forme de dictionnaire en utilisant des règles linguistiques, avec running comme run.
Étiquetage grammatical : classer la catégorie de chaque token.

Stemming et lemmatisation font des choses semblables par des chemins différents : le premier retaille, le second consulte des règles et du vocabulaire. Toutes deux consolident les variantes d'une même racine avant de compter les fréquences, et laquelle convient dépend du problème à résoudre.

Compter : l'analyse de fréquence

Avec le corpus nettoyé, compter les tokens normalisés dit déjà quelque chose : les termes les plus fréquents d'un texte sont des indices de ses thèmes. Dans l'exemple travaillé dans la source, le fait que les termes les plus répétés soient « ai » et « business » révèle que le document parle d'IA et d'avantages d'affaires. C'est la méthode la moins chère et souvent suffisante.

TF-IDF : ce qui distingue un document

Compter ne suffit pas quand beaucoup de documents ont les mêmes mots. TF-IDF note chaque terme en multipliant deux choses :

TF, combien de fois le terme apparaît dans ce document.
IDF, à quel point il est rare dans la collection, calculé comme log(N / df(t)), avec N documents et df(t) combien les contiennent.

TF-IDF est le produit des deux. La logique de l'inverse est directe : si un terme est dans 10 des 10 documents, le comptage dit qu'il est typique de l'ensemble et rien de plus ; s'il est dans 2 des 10, il dit qu'il distingue ces deux-là. Si un terme apparaît dans tous les documents, son IDF vaut 0 et le score aussi : dans l'exemple à deux documents, « AI » est dans les deux, donc il ne sert pas à les séparer. En revanche, les termes qui sortent haut signalent ce qui est distinctif de chaque document : copilot et studio d'un côté, code, develop et foundry de l'autre.

L'utilité est concrète : TF-IDF discrimine ce qui distingue chaque document dans un corpus partageant des thèmes communs. Et le comptage qui précédait reste utile comme porte d'entrée : un ordre de fréquences de base oriente déjà sur quoi parle un document, avant tout calcul plus élaboré. TF-IDF entre en scène quand il faut comparer plusieurs documents à la fois et que le vocabulaire commun commence à brouiller les pistes.

Embeddings : le sens comme direction

Le comptage fonctionne avec des occurrences. Les modèles sémantiques fonctionnent avec le sens : ils codent chaque token comme un vecteur multidimensionnel, un embedding, dans lequel les termes similaires pointent dans des directions semblables. Les modèles les plus connus de cette famille sont Word2Vec et GloVe, et l'attention contextuelle est celle qu'utilise la famille GPT.

Pour comparer deux tokens, on utilise la similarité cosinus, le produit scalaire entre vecteurs divisé par leurs magnitudes, qui mesure à quel point l'orientation des deux est semblable. La division par les magnitudes fait que la comparaison regarde la direction et non la taille : un texte long ne gagne pas en écrivant plus. Avec les chiffres de la source : dog et cat tombent à 0,99 ; tree avec dog, à 0,33. La deuxième paire est celle qui est loin, et le calcul le dit.

flowchart LR
    T[Corpus de texte] --> K[Tokeniser et normaliser]
    K --> L[Retirer les mots vides et lemmatiser]
    L --> F[Compter les fréquences]
    L --> I[TF-IDF par document]
    I --> C[Classer : sentiment, spam ou urgence]

En clair : le texte se nettoie, se compte, se note, et seulement ensuite se classe. Chaque flèche est une décision de filtrage qui se revoit séparément.

La même astuce fonctionne calculée à la main. Pour chien [0.8, 0.6, 0.1] et loup [0.75, 0.65, 0.2], le produit scalaire donne 1.01 et les magnitudes tournent autour de 1.005 et 1.02, donc la similarité cosinus tombe à 0.986 : deux termes très semblables. Face à musique [0.1, 0.2, 0.9], la similarité chute très bas. Et comme les vecteurs vivent dans un espace avec une forme, l'addition et la soustraction de vecteurs permettent des analogies entre termes.

Un pipeline complet

Pour analyser des avis de produits, la séquence à cinq étapes est ainsi :

Tokeniser et normaliser.
Retirer les mots vides.
Lemmatiser.
Calculer le TF-IDF pour savoir quels termes distinguent chaque avis.
Classer le sentiment par document.

L'ordre compte : normaliser avant de compter évite de compter le même mot de deux façons, et lemmatiser avant de noter évite que des variantes d'une racine se partagent le score. Les deux premières étapes travaillent sur la forme du texte, les deux suivantes sur ses nombres, et la dernière traduit ces nombres en une catégorie qu'une équipe humaine peut utiliser.

Ce qui reste

Fréquences et TF-IDF mesurent l'occurrence : combien de fois et à quel point c'est rare. Les embeddings mesurent l'orientation : à quel point deux sens sont proches. Un problème de classification avec catégories fixes se résout bien avec la première voie ; un problème de comparaison sémantique, de similarité ou d'analogie demande des vecteurs. Et il y a une combinaison courante : utiliser le TF-IDF pour garder les termes qui comptent et les embeddings pour les comparer ensuite, de sorte que le comptage fait la coupe et les vectores font le jugement.

Limite honnête : les chiffres de ce texte illustrent la formule avec peu de documents ; ils servent à comprendre le calcul, pas comme mesure de performance sur une grande collection.

*Source : module « Introduction to NLP concepts » de Microsoft Learn.*