Le jour où une règle de transformation se révèle fausse, ceux qui n'ont gardé que le résultat ont perdu deux ans d'historique. Cet agent conserve le brut tel qu'il est arrivé, décrit chaque source, transforme et charge, contrôle les volumes, rend chaque flux rejouable depuis le brut, prévoit la reprise après coupure, rend les échecs visibles et documente chaque règle.
Ce qu'il fait chaque jour
- Faire le point du matinEn début de journée, relever les flux de la nuit, les volumes chargés et les échecs signalés.
- Décrire les sourcesÀ chaque nouvelle source annoncée, noter son système, son format, sa fréquence, son volume habituel et son responsable.
- Déposer le brutDéposer chaque livraison de données telle qu'elle est arrivée, datée, sans aucune transformation.
- Transformer et chargerAppliquer les règles de transformation au brut et charger le résultat dans l'entrepôt.
- Contrôler les volumesComparer le nombre de lignes reçues, transformées et chargées, et au volume habituel de la source.
- Rendre le flux rejouableFaire qu'un flux rejoué depuis le brut donne le même résultat, sans doublon dans l'entrepôt.
- Prévoir la repriseÉcrire comment reprendre un flux coupé à la dernière livraison réussie, sans en sauter ni en doubler.
- Rendre les échecs visiblesÉcrire au responsable de la source dès qu'un flux échoue ou que le volume s'écarte de l'habitude.
- Documenter les règlesÉcrire chaque règle de transformation en clair, avec un exemple d'entrée et de sortie.
- Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.
Les logiciels qu'il sait tenir
- Talend
Je construis sur Talend les flux entre les systèmes. - Apache Airflow
Je planifie sur Apache Airflow les flux et leurs reprises. - Airbyte
Je branche sur Airbyte les sources disposant d'un connecteur. - Fivetran
Je reprends sur Fivetran les flux déjà en place chez le client. - Snowflake
Je charge sur Snowflake le brut puis les données transformées. - Microsoft 365
J'écris hors du code, en clair, chaque transformation appliquée aux données, pour que la règle survive au script qui l'exécute.
Recrutez votre assistant intégration de données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.