La partie texte du jeu de données se limite à l'étude des champs "designation" et "description".
Il y a 84916 produits. Chaque produit a une designation mais seuls 55116
ont une description.
Valeurs nulles et doublons
- Comparons les chanps "designation" et "description" :
- Examinons les valeurs nulles et les doublons du champ "designation" :
- Examinons les valeurs nulles et les doublons du champ "description" :
Analyse des longueurs des champs textes :
- Observons la distribution de la longueur du champ designation :
- La désignation des produits est le champ descriptif le plus court.
il est toujours présent et ne dépasse rarement 150 caractères. 
- Il y a une pointe en fin de queue à 250 caractères.
Ceci est sans doute expliqué par une cesure des phrases à 250 caractères. 
- Observons la distribution de la longueur du champ description :
- La description est beaucoup plus longues, elle peut comporter plusieurs phrases. :
Analyse des langues:
- J'utilise la bibliothèque langdetect et sa fonction detect_langs :
- La fonction detect_langs renvoie une liste d'objets, chacun représentant une langue possible avec une probabilité associée.
Ces probabilités sont normalisées de manière à ce que leur somme soit égale à 1. - création de 5 colonnes :
- df['PAYS_LANGUE'] langue majoritaire retenue
- df['pays_design'] langue la plus probable pour le champ 'designation'
- df['Ratio_design'] probabilite de la langue majoritaire renvoyée par le module detect_langs pour la désignation
- df['pays_descr'] langue la plus probable pour le champ 'description'
- df['Ratio_descr'] probabilite de la langue majoritaire renvoyée par le module detect_langs pour la description
- Répartition des langues pour la colonne "designation" :
- Le deuxième graphique précise le champ déterminant pour le choix de la langue.
- Répartition des langues pour la colonne "description" :
- Répartition des langues par catégorie :
Sac de mots et nuages de mots:
- Afin de pouvoir classer nos produits il va falloir créer un sac de mots («bag of words»).
- Nous allons donc tokeniser notre corpus, c’est à dire remplacer les phrases par une suite de mots représentatifs. Chaque designation et/ou description sera représenté par un vecteur de la taille du dictionnaire constitué.
- Il est nécessaire au préalable de se constituer un fichier «stopwords» regrouppant tous les mots valises qui pourraient ajouter un bruit non négligable à la constitution du sac de mots.
- Nous avons constituer un fichier stopwords) à partir du site :
- https://countwordsfree.com/stopwords/ qui propose une liste de mots pour chaque pays. Nous y avons mis les stopwords des 5 langues les plus présentes dans le corpus plus différents mots spécifiques à notre problème.
- Nous utilisons le module CountVectorizer de sklearn pour vectoriser les phrases.
- Voici comme exemple les 5 mots les plus fréquents de la catégorie 50 :
mot occurence prdtypecode 0 nitendo 356 50 1 jeu 336 50 2 manette 246 50 3 console 242 50 4 ps4 235 50 - Il est possible de faire des sac de mots des 40 mots les plus utilisées par catégorie. Ceci permet de faire des nuages de mots:
- Il est aussi possible de faire une heatmat en mettent en relation les sac de mots entre eux:
- Nous pouvons déjà distinguer des catégories qui risquent de poser des problémes :
catégories 40, 50 et 2462
40 : jeux video pour pc et consoles
50 : accesoires jeux video
2462 : consoles de jeux video et jeux videos
Les catégories 1280 et 1281
1280 : jouets, peluches, puppets
1281 : jeux de societe/cartes
Les catégories 10, 2280, 2403 et 2705
10 : livres
2280 : magazines
2403 : livres et bds
2705 : bds et livres
- Nomenclature des prttypecodes
definition prdtypecode 10 livres 40 jeux video pour pc et consoles 50 accesoires jeux video 60 consoles de jeux video 1140 produits derives “geeks” et figurines 1160 cartes collectionables 1180 figurines collectionables pour jeux de societe 1280 jouets, peluches, poupees 1281 jeux de societe/cartes 1300 Petites voitures (jouets) et maquettes 1301 accesoires pour petis enfants/bebes et mobilier de jeu (flechettes, billard, babyfoot) 1302 jeux d'exterieur 1320 sacs pour femmes et accesore petite enfance 1560 Mobilier et produits decoration/rangement pour la maison 1920 linge de maison (cousins, rideaux, serviettes, nappes, draps) 1940 nouriture (cafes,infusions,conserves, epices,etc) 2060 lampes et accesoires decoration pour maison 2220 accesoires mascots/pets 2280 magazines 2403 livres et bds 2462 consoles de jeux video et jeux videos 2522 produits de papeterie et rangement bureau 2582 mobilier d'exterieur et accesoires (parasols,pots,tentes,etc) 2583 accesoires de piscine 2585 outillage et accesoires pour jardinage 2705 bds et livres 2905 Jeu en téléchargement