Data Engineer

Il a intégré l'équipe technique pour participer à l'évolution et à l'optimisation des pipelines de données et à l'industrialisation de cas d'usage Data et IA.

• A migré et optimisé des pipelines PySpark vers Spark 3.5.4 sur YARN incluant le refactoring, la sécurisation Kerberos et l'orchestration Oozie.
• A industrialisé un modèle de prévision de séries temporelles multi-entités en s'appuyant sur du SQL avancé sur Teradata, du backtesting, une analyse d'impact statistique et un déploiement en production.
• A automatisé les déploiements Dev/Homol/Prod via une refonte de la CI/CD GitLab et une automatisation avec Ansible.
• A déployé une chaîne d'observabilité end-to-end composée de Filebeat, Kafka, Logstash, Elasticsearch et Kibana.
• A contribué à l'industrialisation de cas d'usage GenAI comprenant un assistant LLM, une simulation d'API métier, l'injection de données, du prompt engineering et un benchmark RAG.

Il a exercé en tant que Data Engineer en alternance, contribuant au développement de plateformes Big Data et de solutions de monitoring et d'intelligence artificielle.

• A développé des pipelines ETL Spark pour des données télécom massives dans le cadre de la Telecom Observability Platform, couplés à un alerting temps réel avec Airflow, ELK, MinIO et Docker.
• A automatisé le monitoring de la qualité des données avec dbt et Great Expectations, contribuant à une réduction de 30 % des erreurs de données.
• A conçu un chatbot LLM/RAG en utilisant LangChain et PostgreSQL.
• A contribué à la conception d'une plateforme Big Data selon une approche Modern Data Stack pour un cas d'usage BCEAO.