Data Engineer & Business Intelligence Developer

Intervention chez Allianz Technology France en tant que consultante Data Engineer afin de moderniser et d'optimiser les traitements de données.

• A géré l'ingestion et le traitement de fichiers CSV générés par l'application NAI, normalisés avec un schéma de colonnes défini.
• A mis en place de flux de données sur Azure Synapse pour orchestrer le traitement des données.
• A conçu et optimisé des procédures stockées SQL utilisées dans les pipelines Synapse.
• A réalisé la migration et la modernisation des traitements en transformant les procédures stockées en notebooks PySpark exécutés sur Synapse.
• A implémenté des traitements distribués et performants avec PySpark pour améliorer la scalabilité et la maintenabilité des pipelines.
• A assuré le stockage et l'organisation des données traitées dans un Delta Lake.

Collaboration avec Neosys pour le compte de la Direction Générale des Impôts sur des problématiques Big Data.

• A créé des pipelines CI/CD.
• A traité et ingéré les données en utilisant Pyspark/Scala dans un environnement Big Data on premise.
• A élaboré un script Scala de rapprochement des données pour l'identification des contribuables.
• A automatisé les flux d'ingestion et du rapprochement en utilisant Airflow.

Accompagnement d'Alliance Automotive Group à Paris pour structurer la data et développer des tableaux de bord décisionnels.

• A conçu un Datawarehouse sur SQL Server.
• A extrait et traité les données en utilisant Azure Data Factory.
• A conçu un datamart sur SQL Server.
• A traité et calculé les KPI en utilisant Azure Data Factory.
• A ordonné et déclenché des pipelines via Azure Data Factory.
• A créé des mesures et développé des dashboards sur Power BI.

Réalisation de plusieurs missions pour des clients de secteurs variés au sein d'AKUMEN IA.

• A préparé et traité les données pour des use cases data science en PySpark/Scala pour un client du secteur bancaire.
• A automatisé les pipelines data en utilisant Data Factory.
• A développé des dashboards Power BI pour la visualisation des résultats de modèles.
• A conçu et implémenté un datalake sur le cloud Azure (Blob Storage/PostgreSQL) pour la grande distribution.
• A extrait des données on premise et chiffré les données sensibles avec PySpark/Scala.
• A appliqué des règles de qualité de données on premise.
• A envoyé les données chiffrées vers le service Blob Storage sur Azure.
• A orchestré les jobs d'extraction, d'anonymisation et d'envoi vers le cloud via Airflow.
• A réalisé du feature engineering pour des besoins en data science.
• A industrialisé les pipelines data avec Data Factory.
• A conçu un datawarehouse sur Azure SQL pour piloter les KPI d'une région pour un client du secteur investissement.
• A crawlé la data depuis le web avec StormCrawler et scrapé via Selenium.
• A développé une ontologie tourisme, scrapé la data et dockerisé les scripts pour un client du secteur tourisme.
• A automatisé les valeurs input du scrapper via Helm et exécuté le pipeline sur un cluster Kubernetes.
• A industrialisé le pipeline sur Azure DevOps et transformé les données en format ontologique avec Python/PySpark.
• A visualisé les KPI sur Power BI et Superset.

Occupation d'un double rôle de Data Engineer et de Développrice BI chez Saham Assurance.

• A collecté les données à travers des systèmes de bases de données relationnelles.
• A conçu des bases de données et des architectures logicielles.
• A créé des schémas externes sur Hive et stocké les données sensibles sur HDFS.
• A stocké les données non sensibles sur S3 sur le cloud AWS.
• A traité des volumes Big Data en utilisant Python, PySpark et Alteryx.
• A manipulé le cluster EMR et exécuté des scripts dessus.
• A orchestré les jobs en utilisant Airflow.
• A analysé les besoins métiers explicités à travers des ateliers.
• A conçu des bases de données décisionnelles (schéma en étoile, flocon, constellation).
• A créé des ETL et calculé les KPI en utilisant Alteryx et Python.
• A stocké les données au niveau d'Amazon Redshift.
• A visualisé les données et créé des dashboards en utilisant Tableau Software.