Ingénieur Data

Intervention en tant que Consultant Data & Analytics en CDD afin de concevoir et structurer les flux de données et de reporting.

• Développement de scripts Python de contrôle et de validation des flux de gestion de stock et de facturation fournisseurs.
• Détection et correction d'anomalies de données en autonomie totale sur la mission.
• Conception et déploiement des ETL, du cadrage du besoin client jusqu’à la mise en production.
• Échanges en direct avec le client pour recueillir et cadrer les besoins.
• Migration des flux de gestion des stocks vers BigQuery (GCP).
• Développement de requêtes SQL alimentant les rapports de rentabilité.

Intégration d'une équipe Agile en tant qu'ingénieur en stage de fin d'études pour travailler sur l'intégration et la gouvernance de flux de données énergétiques.

• Développement de contrôles qualité automatisés en Python.
• Mise en place de règles de déduplication sur des pipelines ingérant plus de 10M de points de données par mois issus de sources hétérogènes (électricité, eau, gaz, déchets).
• Intégration des contrôles en CI/CD via GitLab CI au sein d'une équipe Agile.
• Atteinte d'une disponibilité de 99,9% sur les pipelines.
• Réduction de 40% du temps de déploiement grâce à la conteneurisation Docker et Kubernetes.
• Conception d'un pipeline OCR combiné à une API inversée.
• Atteinte de 95% d'automatisation sur l'extraction de données documentaires.
• Transmission de rapports de qualité aux équipes data.

Réalisation d'un projet de fin d'études sur le traitement et le monitoring de données IoT en temps réel.

• Développement d'un pipeline de streaming temps réel combinant MQTT et Kafka.
• Traitement de plus de 1 000 événements par minute.
• Conception d'une architecture hybride PostgreSQL et InfluxDB.
• Amélioration de 50% des performances des requêtes.
• Déploiement d'une solution de monitoring AWS et Grafana.
• Exploitation de la solution sur plus de 5 sites opérationnels.