Data Analyst

Intervention chez BLC Data Services sur la migration de processus legacy vers une architecture Data moderne.

• Réalisation du contrôle et de la fiabilisation des données dans le cadre de la migration de processus legacy vers une architecture Data moderne.
• Analyse et comparaison des traitements historiques basés sur Excel/VBA, MySQL et Talend avec les nouveaux flux ELT sur AWS, Snowflake, dbt et Airflow.
• Mise en place de tests de qualité sur les données sources, transformations et tables finales afin de garantir la cohérence entre l'ancien et le nouveau système.
• Investigation des écarts, identification des causes racines et suivi des corrections dans les traitements et le code versionné sur GitHub.
• Alimentation d'un Data Lake Azure à partir de bases de données et traitements SQL.
• Transformation de volumes importants sous Databricks avec PySpark selon une architecture Bronze / Silver / Gold.
• Mise en place de contrôles qualité et création de KPI et reportings Power BI.
• Conception d'un pipeline Data de bout en bout pour centraliser les données d'environ 40 établissements.
• Collecte via API, transformation et fiabilisation des données en Python selon une architecture Bronze / Silver / Gold.
• Construction des tables finales, définition des KPI métiers et création de reportings Power BI.