Data Engineer

Intervention chez Orinoko pour concevoir une architecture Data et IA dédiée à une plateforme de génération intelligente de voyages.

• Construction de pipelines d'intégration pour centraliser et exploiter des données touristiques hétérogènes incluant des contenus, influenceurs, hébergements, activités et transports.
• Mise en place d'un Data Lake cloud pour organiser les données brutes, enrichies et prêtes à être exploitées par les services IA.
• Développement de traitements distribués avec PySpark et Databricks pour la préparation et l'enrichissement des données.
• Conception de pipelines d'indexation vectorielle et de recherche sémantique pour alimenter une architecture RAG.
• Orchestration des processus d'ingestion, d'enrichissement et d'indexation avec Airflow.
• Suivi de la qualité, de la fraîcheur et de la traçabilité des données, ainsi que de la consommation des modèles LLM.

Poste de Data Engineer chez Rodeo Delivery en CDI pour consolider les flux de données.

• Développement de pipelines end-to-end assurant l'ingestion, la transformation et l'exposition des données.
• Traitement et structuration de données multi-sources provenant d'API et de fichiers.
• Orchestration et automatisation des workflows pour garantir la fiabilité et le monitoring des flux.
• Mise en place de contrôles rigoureux de la qualité des données.
• Déploiement des solutions sur le cloud et optimisation des performances.
• Développement d'un pipeline audio de type speech-to-text automatisé.

Alternance au sein de Rodeo Delivery pour renforcer les équipes d'ingénierie des données.

• Développement de pipelines d'ingestion et de transformation multi-sources.
• Mise en place de workflows ETL sous Airflow avec automatisation.
• Orchestration des flux de données et gestion des dépendances via des DAGs et du scheduling.
• Traitement de données avec Databricks et Spark pour le nettoyage et la transformation.
• Stockage et gestion des données sur Azure SQL et Blob Storage.
• Préparation et modélisation des données pour alimenter Power BI et créer des tableaux de bord de KPI.

Stage de pré-embauche chez Rodeo Delivery axé sur la collecte et le traitement initial des données.

• Collecte et extraction de données via du web scraping et des fichiers externes.
• Nettoyage, standardisation et structuration des données recueillies.
• Développement de pipelines de traitement en Python et stockage des données dans Azure SQL Database.

Mission de Data Engineering chez Tulip Commerce axée sur le temps réel et l'analytique.

• Mise en place d'un pipeline data temps réel sur AWS en utilisant EC2 et Lambda pour la collecte de données crypto.
• Transformation et chargement des données dans Snowflake.
• Modélisation des données avec DBT en intégrant des tests, de la documentation et des pratiques de data quality.
• Structuration des datasets pour optimiser l'analyse et les performances des requêtes.
• Création de dashboards sous Power BI pour le suivi et l'analyse des données.