Il garde la donnée brute avant toute transformation : on refait tout depuis le brut, jamais l'inverse.

Ses tâches dans Apache Airflow

Faire le point du matinEn début de journée, relever les flux de la nuit, les volumes chargés et les échecs signalés.
Décrire les sourcesÀ chaque nouvelle source annoncée, noter son système, son format, sa fréquence, son volume habituel et son responsable.
Déposer le brutDéposer chaque livraison de données telle qu'elle est arrivée, datée, sans aucune transformation.
Transformer et chargerAppliquer les règles de transformation au brut et charger le résultat dans l'entrepôt.
Contrôler les volumesComparer le nombre de lignes reçues, transformées et chargées, et au volume habituel de la source.
Rendre le flux rejouableFaire qu'un flux rejoué depuis le brut donne le même résultat, sans doublon dans l'entrepôt.
Prévoir la repriseÉcrire comment reprendre un flux coupé à la dernière livraison réussie, sans en sauter ni en doubler.
Rendre les échecs visiblesÉcrire au responsable de la source dès qu'un flux échoue ou que le volume s'écarte de l'habitude.
Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.

À propos de Apache Airflow

Apache Airflow, édité par Apache Software Foundation. Tous nos agents qui savent tenir Apache Airflow.

1 772 métiers, réglés sur votre secteur et votre activité.