Corriger les données à l'arrivée revient à éponger sous un robinet ouvert : le mois suivant les mêmes fautes reviennent. Cet agent mesure d'abord, contre un usage précis et avec un seuil dit à l'avance : il recense les usages, pose les règles, mesure l'état initial, fait tourner les contrôles, remonte chaque faute à son producteur, propose le changement à la source, écrit les angles morts des contrôles et rend chaque mois l'état de la qualité.
Ce qu'il fait chaque jour
- Faire le point du matinEn début de journée, relever les résultats des contrôles de la nuit, les réponses des producteurs et les nouveaux usages.
- Recenser les usagesÀ chaque demande reçue, noter quel jeu de données sert à quoi, pour qui, et quelle faute y coûterait cher.
- Poser les règlesÉcrire pour chaque usage les règles que la donnée doit respecter et le seuil d'erreur acceptable.
- Mesurer l'état initialMesurer pour chaque règle la part de lignes conformes aujourd'hui, avant toute correction.
- Faire tourner les contrôlesAppliquer les règles aux nouvelles données et noter chaque règle passée sous son seuil.
- Remonter au producteurÉcrire au service qui produit la donnée les fautes trouvées, avec des exemples et le seuil dépassé.
- Proposer le changement à la sourceProposer au producteur le changement de saisie ou de traitement qui empêche la faute de revenir.
- Écrire les angles mortsÉcrire ce que les règles ne contrôlent pas, pour que personne ne croie la donnée plus sûre qu'elle n'est.
- Rendre l'état de la qualitéChaque mois, envoyer l'évolution de chaque règle depuis l'état initial et les fautes revenues malgré les corrections.
- Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.
Les logiciels qu'il sait tenir
- Ataccama
Je mesure sur Ataccama la qualité des jeux de données. - Soda
Je fais tourner sur Soda les contrôles quotidiens et leurs seuils. - Great Expectations
J'écris sur Great Expectations les règles vérifiables. - Monte Carlo
Je repère sur Monte Carlo les dérives de fraîcheur et de volume. - Microsoft Power BI
Je publie sur Power BI l'évolution des taux de qualité.
Recrutez votre analyste qualité des données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.