Data Engineer

Intégration de l'équipe Big Data d'Orange Tunisie (composée d'un business analyst, d'un administrateur système et de 3 ingénieurs data) afin de participer à la migration de la plateforme BI vers le Big Data.

• Participation à la migration de la plateforme BI vers le Big Data sur Cloudera CDH 6.3 pour garantir la scalabilité, la disponibilité et la performance des systèmes de traitement de données.
• Orchestration des workflows de données avec Apache Oozie sur l'environnement Cloudera CDH 6.3.
• Requêtage et analyse des données de l'entrepôt via Hive QL, Impala et SQL avec des requêtes complexes.
• Réalisation d'applications de monitoring basées sur Linux.
• Développement d'une application de monitoring des requêtes Impala afin de détecter la surcharge du NameNode Hadoop, d'anticiper les problèmes de performance et de renforcer la stabilité du cluster.
• Conception d'une UDF Hive et développement de jobs Spark (Scala) packagés en JAR, avec optimisation et tuning des performances via Spark UI.
• Mise en place d'une plateforme de supervision du cluster Big Data et des workflows en collectant les données NiFi, Spark et API Cloudera, avec indexation Elasticsearch et visualisation Kibana.

Collaboration avec AutoBiz Tunisie pour concevoir un système automatisé de collecte massive de données pour les marchés de l'automobile et de l'immobilier.

• Développement d'un système automatisé de collecte massive de données des marchés de l'automobile et de l'immobilier sur Internet.
• Nettoyage et traitement de grands ensembles de données.
• Automatisation des pushes GitLab et des demandes de fusion (merge requests).
• Optimisation du temps d'exploration du Web (crawling) et amélioration de la qualité des données.
• Mise en place d'un pipeline de collecte, nettoyage et structuration de données automobiles et immobilières à grande échelle avec intégration continue via GitLab.

Participation à la mise en place d'un Data Warehouse pour la banque BIAT afin de collecter des données Big Data issues de sources variées pour maîtriser le risque.

• Mise en place d'un Data Warehouse pour collecter des données Big Data issues de sources variées au profit de la BIAT en vue de maîtriser le risque.
• Assurance de la collecte et de l'ingestion des données dans le Data Lake HDFS.
• Transformation des données avec Apache Spark (PySpark) et réalisation de traitements par lot (batch).
• Requêtage des données avec Hive.
• Préparation d'un cluster Cloudera CDP 7.0.1 et de son écosystème en configurant les VMs, le réseau privé et les protocoles de communication.
• Installation de Spark, intégration avec YARN et gestion de l'allocation mémoire des containers.
• Déploiement du POC en modes client et cluster CDP afin de comparer les performances.
• Réalisation de l'extraction, la transformation et le chargement (ETL) de données de plusieurs sources vers PostgreSQL pour construire un Data Warehouse offrant une vue financière unifiée de la banque.
• Gestion des changements de dimensions (SCD) et de l'historisation, ainsi que du data profiling et de l'évaluation de la qualité selon des indicateurs.
• Application de règles de contrôle de format, de validité et de cohérence et réalisation du mapping des tables pour la restructuration du modèle.