Data Engineer

Intégration de l'équipe pour industrialiser un flux BI de bout en bout en vue d'intégrer et valoriser les données de visites commerciales dans Microsoft Fabric.

• Développement d'un flux Talend multilingue pour récupérer, contrôler, normaliser et transformer des fichiers issus de plusieurs filiales.
• Mise en place de routines Java pour gérer dynamiquement l'ordre des colonnes, les différences de langue et les anomalies de format.
• Chargement des données au format Parquet dans OneLake et assurance de l'intégration au niveau Bronze de l'architecture médaillon via des notebooks.
• Conception et alimentation d'un modèle Data Vault comprenant un hub, un satellite et deux liens.
• Génération de clés techniques par hashage afin d'assurer l'unicité, l'historisation et la traçabilité des données.
• Préparation du Data Mart et création d'un modèle sémantique en flocon dans Power BI.
• Développement de mesures DAX, d'indicateurs métier, de traductions dynamiques et de règles de sécurité RLS.
• Création, publication et amélioration de manière itérative d'un rapport Power BI rafraîchi quotidiennement dans Fabric.
• Échanges réguliers menés avec les équipes techniques et métier pour analyser les besoins, corriger les anomalies et faire évoluer la solution.

Réalisation d'un projet MLOps axé sur la mise en production et le déploiement en continu d'un modèle de détection d'attaque DDoS.

• Préparation des données de référence via la transformation par un modèle d'embedding, la normalisation et la génération.
• Entraînement d'un modèle d'apprentissage supervisé de type MLP Classifieur en python avec sklearn et calcul des paramètres optimaux incluant l'AUC-ROC et une réduction de dimensions optimale.
• Sauvegarde en artefacts du modèle, du scaler et des embeddings au format pickle.
• Mise en place d'une API REST via FastAPI pour exposer le modèle, avec création de endpoints et d'un swagger.
• Liaison des fonctionnalités et de l'interface web de l'application.
• Mise en place d'une évaluation du modèle sur les données en cours ainsi qu'une automatisation du réentraînement du modèle toutes les k nouvelles données.
• Conteneurisation et gestion de l'ensemble des composants du projet incluant l'API, l'interface web, le reporting et l'agent LLM avec Docker.

Participation à un stage de gestion de données et traitement de formulaires axé sur la vérification quotidienne et l'automatisation d'un suivi de comptage voyageur bus, métro et tramway.

• Vérification journalière de l'état des flux et de la qualité des données dans les différentes bases de données.
• Analyse des codes et des scripts batch existants du comptage.
• Rédaction d'une procédure complète de suivi quotidien, validée par les experts et les métiers.
• Mise en place d'un tableau de bord automatisé sur SAP BO.
• Rédaction de la documentation du projet et du document d'exploitation.

Contribution à l'automatisation de flux quotidien de fichiers vers un serveur Acorel dans le cadre d'un suivi de comptage voyageur Tramway.

• Réalisation du transfert automatisé des fichiers binaires vers un serveur SFTP.
• Mise en place d'un processus xDI complet incluant métadata, mappings et processus.
• Mise en place du suivi de flux sur Semarchy xDM.
• Gestion du versionnage Git et des développements multibranches.
• Rédaction de la documentation du projet et de la documentation d'exploitation.

Moyenne d'un projet de mise en place d'un outil de reporting basé sur la récupération et l'exploitation de données Kizeo Forms.

• Communication avec les métiers, analyse des besoins et réalisation des comptes rendus des demandes.
• Analyse de l'API REST Kizeo, test du Swagger et exploitation de Postman.
• Extraction et parsage de données au format JSON et CSV.
• Conception de plusieurs solutions s'appuyant sur Power Query, l'ODBC MongoDB, SAP BO et la mise en base Oracle.
• Mise en place de prototypes de chargement et de transformation pour réaliser du reporting sur les formulaires.
• Rédaction du document d'exploitation, assurance de la présentation et de la documentation du projet.