Data Engineer

Intervention chez Ayming afin d'intervenir sur l'intégration et la qualité des données pour le compte de clients grands comptes.

• Réalisation de l'industrialisation du calcul de conformité, réduit de 24 h par restitution mensuelle à 2-5 min par exécution quotidienne, en le réimplémentant sous SnapLogic avec une restitution sous Apache Superset.
• Extension de cette solution de calcul de conformité aux autres clients de l'entreprise.
• Responsabilité opérationnelle des flux Data de plus de 10 clients grands comptes issus de la distribution, de l'énergie et de la banque, représentant de quelques centaines à environ 1,5 million de lignes.
• Nettoyage, normalisation, transformation et contrôles en Python sur des fichiers Excel/CSV, des bases SQL hébergées sur AWS et des dépôts SFTP.
• Automatisation des imports clients auparavant réalisés manuellement chaque semaine en reprenant un pipeline SnapLogic, en définissant les règles avec le métier et en intégrant des enrichissements.
• Conduite de tests comparatifs avec les utilisateurs avant la mise en production et l'intégration facilitée des nouveaux clients.
• Rôle de référent Data sur son périmètre pour diagnostiquer en SQL et Python les anomalies d'intégration jusqu'à la cause, effectuer les corrections et arbitrer avec les développeurs.

Mission à l'URSSAF consacrée aux sujets de Data Quality et Data Governance sur des données à échelle nationale.

• Élaboration des premières bases de la gouvernance de la donnée, alors inexistante, en structurant le dictionnaire de données, en amorçant le lignage et en définissant les premières règles de qualité avec les métiers.
• Automatisation de l'import et du recalcul des indicateurs pour permettre à l'outil retenu de reprendre l'existant.
• Conception de démonstrateurs, de KPI et de dashboards de suivi de la qualité présentés aux chefs de projet et à la direction, validant ainsi la démarche jusqu'au choix de l'outillage.
• Appui analytique apporté aux projets du périmètre en répondant aux demandes métier, en vérifiant les données intégrées et en remontant les anomalies.
• Conception à l'initiative propre d'une logique de scoring développée en PySpark sur cluster Hadoop pour prioriser les données douteuses, réutilisée sur plusieurs projets puis intégrée au dispositif.

Intégration de Planet Media pour analyser et segmenter une base d'environ 15 millions de profils.

• Analyse et segmentation d'une base d'environ 15 millions de profils sous PostgreSQL hébergé sur AWS en exécutant des requêtes SQL complexes, des agrégations et des window functions.
• Optimisation des traitements et suivi des KPI ainsi que du reporting quotidien sous Metabase et Power BI.
• Exercice en parallèle du rôle de Product Owner sur l'outil de Marketing Automation en définissant les besoins, en gérant le backlog et en coordonnant les équipes métiers et les développeurs.