Profiler et nettoyer les données

En bref

Objectifs : évaluer la qualité d'une colonne avec les outils de profilage ; attribuer le bon type de données, y compris avec des paramètres régionaux ; traiter les erreurs, les valeurs vides et les doublons.
Prérequis : page « Découvrir l'éditeur Power Query ».
Niveau : découverte.

Pourquoi ?

Un rapport n'est fiable que si ses données le sont. Une date mal interprétée (le 03/04 lu comme le 4 mars), un montant saisi « NA », un client présent deux fois : ces défauts passent inaperçus dans l'aperçu, puis faussent les totaux du rapport. Power Query fournit des outils pour les repérer avant le chargement et les corriger à chaque actualisation.

Notions clés

Les trois outils de profilage

Ils s'activent dans l'onglet Affichage, groupe Aperçu des données.

Outil	Ce qu'il montre	Usage type
Qualité de la colonne	Pourcentage de valeurs valides, en erreur et vides sous chaque en-tête	Repérer d'un coup d'œil les colonnes à traiter
Distribution des colonnes	Histogramme des valeurs, nombre de valeurs distinctes et uniques	Vérifier qu'une clé est bien unique (distinctes = uniques = nombre de lignes)
Profil de colonne	Statistiques (minimum, maximum, moyenne, nombre de vides...) et graphique de distribution sous l'aperçu	Analyser en détail une colonne sélectionnée

Par défaut, le profilage porte sur les 1 000 premières lignes. Pour l'étendre à toute la table, cliquez sur le libellé Profilage de colonne en fonction des 1000 lignes supérieures, en bas à gauche de l'éditeur, et choisissez en fonction de l'ensemble du jeu de données. L'analyse est plus longue, mais les chiffres deviennent exacts. Source

[Capture : éditeur Power Query avec Qualité de la colonne, Distribution des colonnes et Profil de colonne activés, barre d'état en bas à gauche mise en évidence]

Les types de données

Chaque colonne porte un type, signalé par l'icône à gauche de son en-tête : Texte, Nombre entier, Nombre décimal, Nombre décimal fixe, Pourcentage, Date, Date/Heure, Heure, Date/Heure/Fuseau horaire, Durée, Vrai/Faux, Binaire. Une colonne sans type est de type Any (icône ABC123).

Pour les sources non structurées (Excel, CSV), Power Query détecte les types en analysant les 200 premières lignes et ajoute une étape Type modifié.
Transformer > Détecter le type de données relance cette détection sur les colonnes sélectionnées.
Pour une date ou un nombre écrit selon une autre convention (dates américaines, point décimal), faites un clic droit sur l'en-tête > Modifier le type > Utiliser les paramètres régionaux, puis choisissez le type et les paramètres régionaux de la source. Source

Le type défini dans Power Query devient le type de la colonne dans le modèle sémantique.

Erreurs de niveau étape et de niveau cellule

Niveau	Symptôme	Exemple	Traitement
Étape	Bandeau jaune, la requête ne se charge pas	Fichier source déplacé, colonne renommée dans la source	Corriger la source ou l'étape signalée
Cellule	La requête se charge, la cellule affiche Error	« NA » converti en nombre entier, texte concaténé avec un nombre	Corriger la source, remplacer ou isoler les erreurs

Cliquez dans l'espace blanc d'une cellule Error pour afficher le message détaillé sous l'aperçu. Source

Pas à pas

1. Activez les trois outils de profilage (Affichage > cochez Qualité de la colonne, Distribution des colonnes et Profil de colonne), puis basculez le profilage sur l'ensemble du jeu de données.

2. Repérez les colonnes dont la qualité n'est pas de 100 % valides. Sélectionnez l'une d'elles pour afficher son profil.

3. Pour auditer les erreurs, dupliquez la requête puis Accueil > Conserver les lignes > Conserver les erreurs : seules les lignes en erreur restent, ce qui permet de les montrer au propriétaire de la source.

[Capture : requête d'audit après Conserver les erreurs, deux lignes avec Error dans la colonne Montant]

4. Dans la requête principale, choisissez le traitement :

Transformer > Remplacer les valeurs > Remplacer les erreurs remplace chaque erreur par une valeur (par exemple null) ;
Accueil > Supprimer les lignes > Supprimer les erreurs supprime les lignes en erreur.

5. Traitez les valeurs vides : filtrez les null depuis le menu de filtre de la colonne, ou utilisez Transformer > Remplacer les valeurs pour les remplacer par une valeur par défaut. Accueil > Supprimer les lignes > Supprimer les lignes vides élimine les lignes entièrement vides.

6. Nettoyez le texte : sélectionnez les colonnes, puis Transformer > Format > Supprimer les espaces (espaces au début et à la fin) et Nettoyer (caractères non imprimables).

7. Contrôlez l'unicité d'une clé : sélectionnez la colonne, vérifiez dans Distribution des colonnes que le nombre de valeurs distinctes égale le nombre de valeurs uniques, sinon Accueil > Supprimer les lignes > Supprimer les doublons.

8. Terminez par le typage : vérifiez l'icône de chaque colonne, et utilisez Utiliser les paramètres régionaux pour les dates ou nombres importés d'un autre pays.

Exemple

Pour signaler les erreurs sans perdre la ligne, ajoutez une colonne personnalisée qui capture l'erreur avec try (Ajouter une colonne > Colonne personnalisée) :

try [Montant]

Le résultat est un enregistrement : son champ HasError vaut true en cas d'erreur, et le champ Error contient le message. Pour obtenir directement une valeur de repli, utilisez otherwise :

try Number.From([Montant]) otherwise null

La gestion des erreurs en M est détaillée dans la page 4 | Valeurs et expressions de la série Langage M. Source

Pièges et bonnes pratiques

Supprimer les doublons compare les valeurs en respectant la casse : "Paris" et "PARIS" sont deux valeurs différentes. Uniformisez la casse et supprimez les espaces avant.
Supprimer les lignes en erreur fait disparaître des données sans prévenir ; préférez remplacer les erreurs et tenir une requête d'audit.
Un profil calculé sur 1 000 lignes peut afficher 100 % de valeurs valides alors que la ligne 50 000 est en erreur.
Placez le typage après les nettoyages qui modifient le contenu des colonnes, et une seule fois si possible.

À retenir

Les outils de profilage s'activent dans l'onglet Affichage et portent par défaut sur 1 000 lignes.
Le type de chaque colonne se vérifie à l'icône de son en-tête ; les paramètres régionaux règlent les dates et nombres étrangers.
Une erreur d'étape bloque la requête, une erreur de cellule n'affecte qu'une valeur.
Conserver les erreurs sert à l'audit, Remplacer les erreurs à la correction.

Pour aller plus loin

Utilisation des outils de profilage des données. Source
Types de données dans Power Query. Source
Gestion des erreurs dans Power Query. Source
Supprimer les doublons. Source

Exercice

Exo 6 | EuroDesk : la première étape consiste à repérer les anomalies des données.