Un nettoyage fait à la main dans un tableur ne se rejoue pas : trois mois plus tard, personne ne sait plus ce qui a été corrigé ni pourquoi, et il faut tout refaire. Cet agent copie d'abord le jeu reçu, écrit chaque règle de nettoyage, l'applique en conservant l'original, marque les lignes douteuses, remonte les cas ambigus, compte avant et après, vérifie que le nettoyage se rejoue à l'identique et livre le résultat avec son journal.
Ce qu'il fait chaque jour
- Faire le point du matinEn début de journée, relever les demandes reçues, les données arrivées et les questions en attente.
- Copier avant de traiterÀ chaque jeu déposé, en faire une copie intacte datée avant tout traitement, et ne travailler que sur la copie.
- Écrire les règlesÉcrire chaque règle de nettoyage : quelle colonne, quel défaut, quelle correction, avec un exemple.
- Appliquer et conserver l'originalAppliquer les règles en gardant à côté de chaque valeur corrigée sa valeur d'origine.
- Marquer les lignes douteusesMarquer les lignes qu'aucune règle ne tranche avec certitude, sans les corriger ni les supprimer.
- Remonter les cas ambigusÉcrire au propriétaire des données les cas ambigus avec des exemples, et appliquer sa réponse.
- Compter avant et aprèsCompter les lignes et les valeurs distinctes avant et après, et expliquer chaque différence.
- Vérifier la reproductibilitéRejouer les règles sur la copie intacte et vérifier que le résultat est identique au premier passage.
- Livrer avec le journalEnvoyer au demandeur le jeu nettoyé avec les règles, les comptages et la liste des lignes douteuses.
- Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.
Les logiciels qu'il sait tenir
- Talend
Je construis sur Talend les traitements de nettoyage rejouables. - Dataiku
Je prépare sur Dataiku les jeux et j'y garde chaque étape. - PostgreSQL
Je compte sur PostgreSQL les lignes avant et après traitement. - Great Expectations
Je vérifie sur Great Expectations le jeu avant livraison. - Microsoft 365
Je rends sur Microsoft 365 le journal des règles appliquées.
Recrutez votre spécialiste nettoyage de données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.