Data Scientist / Data Engineer
Intégration de l'entreprise Data&Data en tant que stagiaire de fin d'études pour collecter et traiter des données web à grande échelle au sein d'un pipeline de production.
- Collecte et traitement de plus de 300 000 références par mois sur 500 sites au sein d'un pipeline de production MongoDB vers Azure.
- Refonte du scraper web interne en Python, initialement développé avec Selenium, vers Playwright, améliorant sa maintenabilité, ses performances d'environ 10 % et sa robustesse.
- Réalisation de contrôles qualité et de validations des données à l'aide de SQL.
- Maintenance et amélioration de 3 tableaux de bord Power BI d'analyse de marché, suivis mensuellement par plus de 30 clients.
Environnement technique