Data Engineer

Intégration de l'équipe intelligence de la donnée d'un groupe bancaire pour moderniser l'architecture décisionnelle et fiabiliser les chaînes de traitement des indicateurs clients.

• Développement et maintenance de flux ETL complexes sous IBM DataStage pour l'alimentation du Data Warehouse, garantissant la qualité et la fiabilité des données.
• Conception, optimisation et industrialisation de requêtes SQL avancées sous Teradata sur des environnements à forte volumétrie, améliorant significativement les performances des traitements.
• Pilotage du désengagement d'une source legacy et création d'un nouveau datamart regroupant les indicateurs calculés à partir d'une nouvelle source Teradata.
• Conception et industrialisation de pipelines de traitement sur Hadoop Cloudera, exploitation de HDFS, YARN et Spark pour la gestion de données massives, la transformation et l'archivage.
• Développement de programmes SAS pour le reporting réglementaire, les contrôles financiers et les analyses statistiques.
• Création de tableaux de bord et indicateurs de performance sous Power BI pour les directions Finance et Risque.
• Participation à la modélisation décisionnelle (schéma en étoile, datamarts) et à l'optimisation des performances.
• Automatisation des tâches de production récurrente via DevOps CI/CD et ControlM pour le lancement des chaînes de traitement.
• Mise en place du versioning des flux sur Git et des contrôles de qualité, traçabilité et réconciliation des données.
• Contribution aux processus de gouvernance des données : gestion des référentiels, dictionnaire de données et conformité réglementaire.
• Optimisation des traitements batch et amélioration des performances ETL/SQL en contexte de production critique.
• Support N2/N3, analyse des incidents et accompagnement des équipes métier lors des phases de recette et déploiement.
• Participation aux rituels agile (bi-weekly meeting, daily meeting) en mode Scrum et Kanban.

Intégration du département décisionnel d'un groupe d'assurance pour assurer la maintenance et la refonte des chaînes décisionnelles basées sur DataStage Px.

• Maintenance corrective et évolutive sur DataStage Px 7.5 et 11.7 en respect des normes IBM et des standards du groupe.
• Suivi quotidien des vacations batch et ordonnancement des flux DataStage sur IWS et TWS.
• Analyse des besoins métier, réalisation des chiffrages et études d'impact, rédaction des spécifications détaillées.
• Conception, développement et optimisation des Jobs (XML, WSDL, API REST) en adhérant aux normes de développement établies.
• Optimisation des requêtes SQL et développement de scripts Shell et DOS ainsi que de routines customisées.
• Pilotage de l'industrialisation des projets : BL, cartographie, PTI, fiches navettes, D'EX pour assurer la qualité et la reproductibilité.
• Automatisation des tests unitaires et administration de la plateforme DataStage Px.
• Gestion des incidents via outils de ticketing et livraison et assistance à la recette des développements.
• Développement et exploitation de packages SSIS pour les besoins décisionnels du groupe.

Pilotage d'une migration technologique majeure d'un groupe télécom en remplaçant l'ancienne plateforme Informatica/SQL Server/Windows par une architecture DataStage/Oracle/Unix.

• Réalisation de l'étude de l'existant et analyse des spécifications fonctionnelles générales de l'application décisionnelle historique.
• Rédaction des spécifications fonctionnelles et techniques détaillées en conformité avec les normes de développement DataStage établies.
• Chiffrage de l'ensemble des traitements de l'analyse jusqu'au déploiement en production.
• Conception et développement des jobs DataStage Px (7.5 et 11.7) pour migrer les flux décisionnels vers la nouvelle architecture.
• Optimisation des requêtes SQL (Oracle, SQL Server) et développement des scripts Shell associés.
• Packaging et déploiement en pré-prod et prod, avec gestion des anomalies via outils de suivi.
• Gestion des corrections, évolutions et correctifs en mode maintenance à chaud en collaboration avec les équipes de production.
• Ordonnancement des flux DataStage sur outils d'orchestration et assurance de la mise en production et gestion des incidents.
• Conception et mise en place de dashboards et rapports Power BI selon les bonnes pratiques de data visualisation et de sécurité.
• Support, gestion et suivi des incidents, ainsi que maintenance et amélioration des outils de reporting.