Data Engineer
Contexte: Contribution à la modernisation de la data plateforme d’une Maison du groupe LVMH, le Groupe (Les Echos-Le Parisien),via sa migration vers une architecture Data Mesh, en collaboration avec les équipes métiers pour répondre à leurs besoins en données. Missions:
- A provisionné l'infrastructure en Infrastructure as Code avec Terraform pour la création et la gestion des ressources GCP, garantissant des environnements reproductibles et versionnés.
- A ingéré les données publiques de l'INSEE vers Google Cloud Storage au format Parquet, via des Cloud Run Jobs.
- A industrialisé le déploiement en réalisant le build du code avec Cloud Build et le déploiement avec Cloud Deploy dans une pipeline CI/CD.
- A sécurisé l'accès au réseau public avec Secret Manager pour stocker le certificat privé de l'entreprise utilisé pour télécharger les données.
- A transformé les données en SQL avec Dataform sur des tables externes BigQuery, avec traçabilité du lineage.
- A orchestré les flux avec Cloud Composer (Airflow 3).
- A assuré la maintenance corrective et évolutive des flux de données et a recueilli les besoins auprès de l'équipe Adobe afin de fournir des données fiables et directement exploitables par le métier.
Environnement technique