Projet :
Au sein d'un grand groupe international, dans un contexte de transformation data à l'échelle européenne, l'objectif est de faire évoluer une plateforme Big Data stratégique visant à centraliser et fiabiliser des indicateurs clés pour plusieurs entités du groupe. Déjà opérationnelle sur un premier périmètre, la plateforme doit désormais être étendue à de nouveaux pays. Le consultant interviendra en tant que Data Engineer senior au sein de l'équipe cœur, en lien étroit avec les équipes métiers, les architectes et les équipes de déploiement locales. Il participera à la construction du socle commun (ingestion, traitement, normalisation et exposition des données) ainsi qu'à l'industrialisation de la plateforme : monitoring, CI/CD, tests, performance et qualité de code.
Environnement technique :
- Langages : Python (POO, packaging, modularisation), PySpark, SQL
- Big Data : Spark, Databricks, HDFS / S3 / Parquet
- Cloud AWS : S3, Glue, Lambda, IAM, CloudWatch
- DevOps : Git, CI/CD, Infrastructure as Code
- Architecture : architecture en couches, solutions de stockage et d'exposition des données
Missions principales :
- Recueillir, challenger et affiner les besoins métiers
- Concevoir des solutions en cohérence avec les standards d'architecture du groupe
- Développer et maintenir les pipelines d'ingestion, de traitement et de distribution des données
- Optimiser les traitements distribués (partitionnement, bucketing, cache, optimisation mémoire et requêtes)
- Contribuer au framework commun : monitoring, alerting, tests, CI/CD, résilience
- Accompagner les développeurs de l'équipe sur la qualité et les bonnes pratiques
- Rédiger et maintenir la documentation technique en anglais
Profil recherché :
- Expérience d'au moins 6 ans en tant que Data Engineer, dont une partie sur des environnements Big Data
- Solide maîtrise de Python et PySpark, avec une vraie culture du software engineering (design, réutilisabilité, tests)
- Expérience sur Databricks et/ou Spark sur AWS
- Bonne connaissance de l'écosystème AWS
- Maîtrise de la modélisation de données et de SQL
- Pratique des chaînes CI/CD et de l'Infrastructure as Code
- Capacité à encadrer techniquement des développeurs et à porter la qualité de livraison
- Proactivité, esprit d'équipe et capacité à mener plusieurs sujets en parallèle
- Français et anglais courants
- Mission basée en Île-de-France, avec des déplacements ponctuels en France et en Europe
Processus de recrutement :
- Une préqualification téléphonique
- Un entretien RH avec un(e) chargé(e) de recrutement
- Un entretien technique avec un(e) consultant(e) senior ou un responsable Data