Data Engineer
Intégration au sein d'une équipe data d'un leader industriel international afin de concevoir et déployer des solutions avancées de détection d'anomalies dans des contrats.
- Conception et mise en place d'algorithmes de détection d'anomalies permettant l'identification automatique de données et comportements atypiques.
- Développement de pipelines ETL complexes avec PySpark pour l'ingestion, la transformation et le traitement de grands volumes de données.
- Participation aux cérémonies Agile/Scrum à chaque sprint, rédaction de user stories dans Jira et estimation de l'effort avec les équipes techniques.
- Mise en place de tests unitaires avec Pytest afin de contrôler la qualité et la fiabilité des transformations de données.
- Contribution à l'amélioration de la qualité des données à travers des contrôles automatisés et la détection d'anomalies.
- Automatisation du déploiement des solutions Data via des pipelines CI/CD avec GitHub Actions et Argo CD.
- Assurance de la conteneurisation et du déploiement des applications avec Docker et Kubernetes.
- Application des pratiques GitOps pour fiabiliser et automatiser les processus de déploiement en environnement Microsoft Azure.
Environnement technique