Reseaux de Neuronnes Récurrents

Les Reseaux de Neuronnes Récurrents a été utilisés pour faire du traitement automatique du langage naturel (natural language processing ou NLP) sur la partie texte.

5 approches ont été testées :

• - Une 'tokenisation' simple suivie d'une couche d'Embedding (keras.layers)
• - Une 'tokenisation' puis une 'racinisation' (stemming) suivie d'une couche d'Embedding (keras.layers)
• - Une 'tokenisation' puis une 'lemmatisation' en utilisant 'NLTK' suivie d'une couche d'Embedding (keras.layers)
• - Une 'tokenisation' puis une 'lemmatisation' en utilisant 'SPACY' suivie d'une couche d'Embedding (keras.layers)
• - Une 'tokenisation' puis en utilisant Word2Vec comme algorithme d’embedding

Les 4 premiers modèles utilisent un réseau de neurones comportant une couche GRU .

préprocessing utilisé :

Tous les modèles ont suivi le même préprocessing :

• - Passage en miniscule
• Dans un premier temps, nous transformons les majuscules en minuscules car les étapes suivantes sont sensibles à la casse
• 
  
• - Tokenisation
  Il s’agit de décomposer une phrase, et donc un document, en tokens.
  Un token est un élément correspondant à un mot ou une ponctuation, cependant de nombreux cas ne sont pas triviaux à traiter :
  • Les mots avec un trait d’union, exemple : peut être et peut-être qui ont des significations très différentes ;
  • Les dates et heures qui peuvent être séparées par des points, des slashs, des deux points ;
  • Les apostrophes ;
  • Les caractères spéciaux : émoticônes, formules mathématiques.
• 
  
• - Retrait des stopwords
  nous retirons les mots appartenant aux stopwords.
  Il s’agit de listes de mots définies au préalable soit par l’utilisateur soit dans des librairies existantes.
  
  Ces listes se composent de mots qui n’apportent aucune information, qui sont en général très courants et donc présents dans la plupart des documents, par exemple : je, nous, avoir (le verbe et ses conjugaisons).
  
  La suppression de ces stopwords permet de ne pas polluer les représentations des documents afin qu’elle ne contienne que les mots représentatifs et significatifs.
  Ce “nettoyage” du texte peut aussi s’accompagner de la suppression d’autres éléments comme les nombres, les dates, la ponctuation etc.
  
• 
  
• - Groupement sémantique
  Après toutes ces étapes précédentes, nous disposons pour chaque document d’une liste “nettoyée” de mots porteurs de sens et séparés en tokens.
  Mais un mot peut être écrit au pluriel, au singulier ou avec différents accords et les verbes peuvent être conjugués à différents temps et personnes.
  Nous devons donc réduire les différences grammaticales des mots en trouvant des formes communes.
  Pour ce faire, nous disposons de deux méthodes distinctes :
  La stemmatisation, qui ne prend pas en compte le contexte de la phrase
  La lemmatisation, qui prend en compte le contexte
  
• 
  
• 1) La stemmatisation
  La stemmatisation (ou racinisation) réduit les mots à leur radical ou racine.
  
• 
  
• 2) La lemmatisation
  La lemmatisation, qui prend en considération le contexte dans lequel le mot est écrit, a pour but de trouver la forme canonique du mot, le lemme.
  Par conséquent, elle doit se faire après la transformation des lettres majuscules en minuscules et avant la tokenisation car les mots présents avant et après sont importants pour déterminer la nature du mot.
  Le lemme correspond à l’infinitif des verbes et à la forme au masculin singulier des noms, adjectifs et articles.
  Par exemple cette méthode est capable de faire la différence entre “nous avions” : verbe avoir et “les avions” : le pluriel d’un avion.
  
• 
  
• Liens pour approfondir le sujet
• Natural Language Processing (NLP) : Définition et principes
• spaCy : la bibliothèque Python Open Source de NLP
• NTLK : guide de l’outil de Traitement Naturel du Langage en Python
• Recurrent Neural Network (RNN)

Modèles