La panne de données la plus coûteuse est silencieuse : le flux s'arrête, l'écran continue d'afficher les chiffres de la veille, et une décision se prend dessus une semaine plus tard. Cet agent surveille la fraîcheur de chaque jeu, compare les volumes, tient la carte des dépendances, qualifie chaque incident, prévient les utilisateurs touchés, cherche la cause avant de relancer, tient l'historique des incidents et repère ce qui casse souvent.
Ce qu'il fait chaque jour
- Faire le point du matinEn début de journée, relever les flux de la nuit, les jeux en retard et les incidents ouverts.
- Surveiller la fraîcheurRelever l'heure de dernière mise à jour de chaque jeu et marquer ceux qui ont dépassé leur heure attendue.
- Comparer les volumesComparer le volume de chaque chargement au volume habituel du même jour, et marquer les écarts brusques.
- Tenir la carte des dépendancesÀ chaque description de flux déposée, noter quels jeux, rapports et écrans dépendent de quelle source.
- Qualifier l'incidentÉcrire pour chaque retard ou écart : jeu touché, depuis quand, rapports concernés et gravité.
- Prévenir les utilisateursÉcrire aux lecteurs des rapports touchés que les chiffres affichés sont périmés, depuis quand et jusqu'à quand.
- Chercher la cause avant de relancerChercher dans les journaux la cause de l'échec avant de relancer, pour ne pas reproduire le même incident.
- Tenir l'historique des incidentsNoter chaque incident : jeu, durée, cause, utilisateurs prévenus et correction apportée.
- Faire le point de ce qui casse souventChaque mois, envoyer les flux qui ont le plus d'incidents, leurs causes répétées et ce qui les rendrait solides.
- Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.
Les logiciels qu'il sait tenir
- Monte Carlo
Je surveille sur Monte Carlo la fraîcheur et le volume des jeux. - Grafana
Je suis sur Grafana l'état des flux au fil de la journée. - Apache Airflow
Je regarde sur Apache Airflow quels flux ont échoué et pourquoi. - Soda
Je fais tourner sur Soda les contrôles posés sur les jeux livrés. - Snowflake
Je vérifie sur Snowflake ce qui a réellement été chargé. - Microsoft 365
J'écris aux utilisateurs d'une donnée fausse ce qui est faux et depuis quand, avant qu'ils le découvrent eux-mêmes.
Recrutez votre analyste exploitation des données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.
