Data Engineer

Développement et maintenance de pipelines automatisés pour la collecte, la validation, la transformation et la structuration de grands volumes de données hétérogènes.

• Intégration de sources textuelles, visuelles, de réseau et de métadonnées dans des jeux de données standardisés pour des analyses en aval.
• Mise en place de contrôles de qualité des données couvrant l'exhaustivité, la cohérence, les échecs de traitement, le temps d'exécution et la couverture des données.
• Surveillance de l'exécution des pipelines, investigation sur les problèmes de traitement et amélioration de la fiabilité des flux de données récurrents.
• Documentation des flux de données et production de rapports de KPI pour communiquer la qualité des données et les performances de traitement aux parties prenantes.

Conception d'un pipeline de données automatisé pour collecter et traiter des données publicitaires en ligne provenant de sources web hétérogènes.

• Définition des étapes d'ingestion, de validation, de transformation et de stockage requises pour produire des ensembles de données prêts pour l'analyse.
• Mise en place de règles de validation pour détecter les enregistrements manquants, incohérents, en doublon et en échec.
• Structuration de données brutes en tables analytiques réutilisables et documentation des flux de traitement associés.
• Définition d'indicateurs pour surveiller la couverture des données, le temps de traitement, la fiabilité des pipelines et les schémas d'échec.

Développement de flux d'intégration de données SSIS pour extraire des données financières et opérationnelles à partir de multiples fichiers Excel.

• Nettoyage, validation, standardisation et transformation des données extraites avant de les charger dans SQL Server.
• Conception de tables SQL, de requêtes et de règles de transformation pour créer des ensembles de données fiables pour l'analyse et le reporting.
• Développement de tableaux de bord Power BI et de rapports de KPI connectés à SQL Server pour soutenir le suivi financier et la prise de décision.