Data Engineer

Intégration de l'équipe data d'un opérateur télécom pour concevoir et déployer des architectures modernes de pipelines de données alimentant des applications conversationnelles et LLM.

• Conception de pipelines de données d'extraction, structuration et indexation de contenus (PDF, sites internes) alimentant des vector stores Elasticsearch.
• Mise en place d'architectures de recherche hybride (BM25 + recherche vectorielle) sur Elasticsearch pour des systèmes de type RAG.
• Développement de pipelines d'intégration de données vocales (ASR/TTS) et textuelles multilingues (wolof/français) pour un chatbot intégré à l'application MAXIT.
• Orchestration de flux de données avec LangChain/LangGraph connectés à des bases de données Elasticsearch.
• Instrumentation et assurance de la traçabilité des flux de données et des traitements via Langfuse.

Pilotage des programmes de formation en programmation et robotique pour enfants.

• Direction et coordination des programmes de formation en programmation et robotique.
• Formation des enfants aux fondamentaux de la programmation et de la robotique.
• Gestion du flux des programmes et coordination des activités de formation.
• Création et mise en ligne de contenu pédagogique sur la plateforme Moodle.

Intégration de l'équipe Big Data pour administrer et optimiser l'infrastructure de traitement de données distribué.

• Administration d'un serveur Linux et optimisation des requêtes MongoDB.
• Déploiement de jobs Spark Scala sur Hortonworks pour traiter des volumes importants de données.
• Ingestion et transformation de données dans Hive.
• Mise en place d'un KPI en temps réel avec Spark Streaming et NIFI.
• Orchestration de transformations de données avec DBT et déploiement de jobs DBT via Airflow.

Complément de formation en data engineering à travers des projets sur des pipelines d'ingestion, transformation et visualisation de données.

• Ingestion de données sur HDFS avec Nifi et exécution de transformations avec Spark Scala.
• Traitement de données en temps réel et assurance de leur ingestion sur PostgreSQL.
• Déploiement de jobs Spark Scala en production.
• Développement d'une interface utilisateur avec Flask pour accéder aux données traitées.
• Ingestion de données sur Elasticsearch et création de visualisations sur Kibana.

Exécution de plusieurs projets de data engineering et machine learning couvrant l'extraction, le traitement et la modélisation de données.

• Réalisation de web scraping avec Selenium et BeautifulSoup puis ingestion des données scrapées dans PostgreSQL.
• Mise en place d'une API REST avec Flask pour exposer des données traitées.
• Exploration et visualisation des données publiques de prêts Prosper de Kaggle.
• Conception d'une base de données Graph avec Neo4j pour créer un arbre généalogique accessible via une API Flask et une application web HTML/CSS/JavaScript.
• Développement d'un modèle de Machine Learning avec Scikit Learn sur les données de l'opérateur mobile Expresso.