Stagiaire Data Engineer – Big Data Streaming IoT & IA Générative
AudensielBoulogne-BillancourtMars 2026 – Sept. 2026
Mission réalisée chez Audensiel pour concevoir un pipeline de données en temps réel appliqué à l'IoT et à l'IA générative.
- Conception d'un pipeline temps réel pour la supervision de robots agricoles autonomes, incluant le suivi GPS, le calcul de KPIs opérationnels et la détection d'anomalies visuelles.
- Réalisation d'un état de l'art sur les architectures de streaming IoT et les formats de stockage colonnaires.
- Développement de producteurs et consommateurs Kafka pour un pipeline complet intégrant 9 flux de données sur 5 topics, avec calcul de KPIs en fenêtres glissantes via Spark Structured Streaming.
- Intégration d'un modèle d'IA générative pour l'analyse d'images agricoles et la publication d'alertes JSON structurées vers Kafka.
- Adaptation d'un dashboard Flask/SocketIO temps réel connecté aux flux Spark via WebSocket pour la visualisation des KPIs et alertes.
- Exécution de requêtes SQL sur les tables Delta Lake pour l'analyse a posteriori des KPIs et la validation de la qualité des données ingérées.
Environnement technique
PythonPySparkKafkaDockerDelta LakeParquetMoondream2Flask/SocketIOJSONSQL