Senior Data Engineer & Software Expert

En tant que freelance au sein d'une équipe de solutions informatiques, a conçu et géré des pipelines de données avancés sur des écosystèmes Big Data et cloud.

• A développé et managé des processus ETL robustes utilisant Python, SQL et Informatica PowerCenter.
• A conçu et déployé des pipelines de données et des couches de transformation pour des plateformes Cloudera en environnements multiples.
• A implémenté des pipelines CI/CD avec GitHub Actions et intégrations Kubernetes pour l'automatisation du déploiement.
• A exploité Apache Spark et Hive pour le traitement et l'analyse de données en batch.
• A collaboré avec des équipes multi-fonctionnelles afin d'optimiser l'infrastructure de données et les performances globales.

Au sein d'une équipe chargée de la gestion de l'infrastructure Big Data et de la documentation IT pour une organisation impliquant des traitements de données complexes.

• A construit et maintenu des pipelines Big Data basés sur Cloudera dans plusieurs environnements de production et staging.
• A piloté la chaîne complète de gestion des données : ingestion, transformation, validation et reporting.
• A automatisé les processus de qualité des données et les validations de règles métier via Apache Airflow.
• A intégré des scripts Python pour le suivi et l'optimisation des performances ETL.