Data Engineer

Intégration d'une équipe Data chargée de la transformation complète des infrastructures Data vers Microsoft Fabric, en conception et en déploiement.

• Conception et déploiement de frameworks d'automatisation génériques pour la génération dynamique de pipelines, accélérant la migration de bout en bout des plateformes legacy.
• Industrialisation des flux batch et streaming selon l'architecture médaillon (Bronze, Silver, Gold) via Fabric Data Factory, PySpark Notebooks, Lakehouse et Data Warehouse.
• Implémentation d'architectures événementielles temps réel (Eventstream, Eventhouse, KQL DB) et automatisation des alertes basées sur les données via Fabric Activator.
• Pilotage de l'industrialisation et du déploiement automatisé des frameworks via des pipelines CI/CD sous Github.
• Participation active aux cérémonies agiles du projet de transformation Data.

Conception et industrialisation d'une architecture Data générique On-Premise pilotée par configuration pour accélérer le traitement et la gouvernance des données massives en environnement distribué.

• Développement d'un moteur d'orchestration dynamique sous Apache Airflow générant automatiquement les DAGs par couche de l'architecture médaillon, réduisant le temps de développement des pipelines.
• Conception et implémentation d'un moteur de transformation PySpark agnostique pour le traitement distribué et robuste des données hétérogènes.
• Mise en place d'une ingestion CDC temps réel (Debezium, Kafka) depuis des bases hétérogènes (MySQL, SQL Server, PostgreSQL) vers MinIO (Hudi) et des Data Marts ClickHouse locaux.
• Architecture d'un Data Warehouse central unifié ClickHouse et modélisation de tableaux de bord Power BI pour le suivi des KPI métiers.
• Automatisation de l'infrastructure microservices sous Docker (Rocky Linux 9) via des scripts Shell et des pipelines CI/CD GitHub Actions, permettant le déploiement multi-sites.
• Collaboration avec les développeurs pour la validation des flux et avec les architectes pour l'évolution de l'architecture.
• Participation aux cérémonies Scrum (daily meetings, sprint planning, rétrospectives) dans un environnement agile.

Conception et mise en œuvre d'une chaîne complète de traitement de données pour automatiser l'intégration et l'analyse de données issues de sources hétérogènes en environnement analytique.

• Conception et déploiement d'une pipeline de traitement batch robuste pour automatiser la transformation et le chargement des données depuis plusieurs sources hétérogènes.
• Mise en place et orchestration des processus ETL avec Apache Airflow pour planifier, monitorer et fiabiliser l'exécution des flux de données.
• Optimisation des performances de calcul distribué à l'aide de PySpark sur un cluster Spark dédié.
• Conception et alimentation d'un data warehouse ClickHouse assurant la centralisation, l'historisation et la disponibilité des données analytiques.
• Développement de dashboards BI pour les équipes front et back-office intégrant des indicateurs de performance et de suivi opérationnel sous Superset et Power BI.
• Collaboration avec les directeurs métiers pour la collecte et la formalisation des besoins analytiques, ainsi que la définition des KPI stratégiques.
• Travail en coordination avec les développeurs pour l'intégration des données et la validation des transformations en production.