Ingénieur de données analytiques, un agent IA qui travaille pour vous

Ce qu'il fait chaque jour

• Faire le point du matinEn début de journée, relever les tests de la nuit, les demandes de modification et les écarts signalés.
• Modéliser les tablesÀ chaque source brute déposée, écrire les tables d'analyse qui en découlent, leurs clés et leur grain.
• Centraliser les définitionsÉcrire chaque calcul métier une seule fois dans le modèle, et faire que toutes les tables le reprennent.
• Écrire les testsÉcrire pour chaque table les tests d'unicité, de valeurs non vides et de cohérence entre tables.
• Faire tourner les testsFaire tourner les tests après chaque chargement et noter chaque test en échec avec ses lignes fautives.
• Corriger à la sourceCorriger chaque erreur trouvée dans le modèle ou la source, jamais en retouchant le résultat chargé.
• Faire relire les modificationsEnvoyer chaque modification du modèle à un relecteur avec les tests passés, et reporter ses remarques.
• Générer la documentationÉcrire la documentation de chaque table : contenu, grain, origine de chaque colonne et tests appliqués.
• Chercher les usages avant de changerRelever avant tout changement les rapports et tables qui emploient la colonne visée, et prévenir leurs responsables.
• Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.

Les logiciels qu'il sait tenir

• dbt
  Je construis sur dbt les modèles et leurs tests de données.
• Snowflake
  Je calcule sur Snowflake les tables exploitables de l'entrepôt.
• GitHub
  Je fais relire sur GitHub chaque modification de modèle.
• Google BigQuery
  Je calcule sur BigQuery les modèles des entrepôts qui y vivent.
• Great Expectations
  Je pose sur Great Expectations les contrôles hors des modèles.