Ingénieur Data
AmiltoneJanv. 2023 – Aujourd'hui
A intégré une équipe data pour moderniser et industrialiser les infrastructures d'orchestration et d'intégration.
- A conçu une architecture modulaire Airflow pilotée par configuration pour faciliter la scalabilité et la maintenance.
- A assuré le rôle de référent technique de la plateforme Airflow et accompagné les développeurs au quotidien.
- A déployé la solution sur GCP avec gestion des environnements multiples (développement, pré-production, production).
- A industrialisé les déploiements Airflow via GitLab CI/CD, automatisant l'intégration et la livraison continue.
- A paramétré la gouvernance des données avec OpenMetadata pour assurer la traçabilité et la qualité.
- A développé des Native Apps Snowflake pour la labellisation de séries temporelles, intégrant les stages, procédures stockées et bases de données.
- A mis en place l'auto-déploiement des applications via GitLab CI/CD avec gestion des versions.
- A piloté les ressources de calcul Snowflake et optimisé les coûts d'exécution.
- A analysé et conçu des architectures de flux permettant les échanges entre RabbitMQ et les APIs métier.
- A développé des templates réutilisables sous n8n pour standardiser la création de workflows.
- A développé une solution documentaire RAG basée sur Milvus, incluant le parsing PDF, l'ingestion, la vectorisation et la recherche sémantique.
- A conçu une interface conversationnelle Streamlit pour la solution RAG.
- A intégré OpenMetadata et outils de documentation collaboratifs pour l'ingestion automatisée de données dans la solution RAG.
Environnement technique
PythonAirflowGCPSQL ServerMySQLGitLab CI/CDOpenMetadataSnowflakeSnowparkStreamlitn8nRabbitMQAPIs RESTOllamaMilvus