Data Engineer
A intégré l'équipe data d'une plateforme de sécurité en tant que Data Engineer responsable de l'architecture et de l'optimisation des pipelines de données sur cloud.
- A conçu et développé des pipelines ELT performants avec Azure Data Factory, Matillion, DBT, Sybase IQ et SAP Data Services, assurant l'intégrité et la fiabilité des flux de données.
- A administré et optimisé des plateformes Snowflake, réalisant le tuning SQL, l'optimisation des coûts et le monitoring des performances via Warehouse Management.
- A implémenté des architectures sécurisées sur Snowflake : RBAC, Masking Policies, Row Access Policies et Secure Views pour la protection des données sensibles.
- A développé des solutions d'automatisation des workflows Snowflake utilisant Tasks, Streams et Stored Procedures, réduisant les interventions manuelles.
- A conçu et déployé des applications Snowflake avec Streamlit et orchestré les flux de données via Openflow.
- A mis en place le partage sécurisé des données avec Secure Data Sharing, facilitant la collaboration inter-équipes.
- A piloté la migration de plateformes SQL vers Snowflake en utilisant SnowConvert, DBT et Snowpipe, garantissant une transition sans perte de données.
- A conçu et déployé des infrastructures Cloud en Infrastructure as Code avec Terraform, automatisant l'approvisionnement des ressources AWS.
- A automatisé les pipelines CI/CD avec GitHub Actions et Git, améliorant la vélocité de déploiement et la qualité du code.
- A géré des ressources AWS critiques : S3, EC2, Lambda et SageMaker pour supporter les besoins de calcul distribué.
- A développé des solutions d'IA générative intégrées à Snowflake Cortex pour l'analyse et l'augmentation des données.
Environnement technique