Personnal project - Data Engineer
Développement d'un projet de suivi des actualités locales pour collecter et traiter des données d'activités.
- A développé un pipeline collectant les activités alentours via scraping web en Python.
- A stocké les données brutes sur Azure Blob Storage puis a procédé à l'ingestion dans PostgreSQL.
- A automatisé les traitements avec Apache Airflow.
- A réalisé la conteneurisation avec Docker et le déploiement sur VM Azure Linux.
Environnement technique