Contexte de la mission
ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l’industrialisation et l’évolution de ses solutions data.
Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d’architecture, de modélisation et d’optimisation des pipelines à grande échelle.
Vos missions
- Concevoir, développer et optimiser des pipelines de données batch, streaming et d’ingestion via API.
- Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold.
- Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg.
- Contribuer aux choix techniques et à l’évolution de l’architecture Lakehouse.
- Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR.
- Orchestrer les workflows ETL/ELT avec Airflow.
- Mettre en œuvre l’Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes.
- Garantir la disponibilité, la supervision et l’observabilité des traitements.
- Participer à la résolution des incidents et à l’amélioration continue.
- Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier.
- Veiller à la conformité des flux, notamment en matière de RGPD.
Profil candidat:
Vous justifiez d’au moins
10 ans d’expérience en Data Engineering, avec une expertise avancée des architectures Big Data et Lakehouse.
Vous êtes capable d’intervenir sur les choix d’architecture tout en restant pleinement opérationnel sur le développement et l’industrialisation des traitements.
Compétences indispensables :
- DBT
- Apache Iceberg
- AWS, notamment Glue, EMR et S3
- Python
- Apache Spark
- Modélisation Médaillon : Bronze / Silver / Gold
Compétences complémentaires attendues :
- Terraform et Airflow.
- Docker, Kubernetes et pratiques CI/CD.
- Qualité des données, tests automatisés et supervision.
- Connaissance de Trino/Starburst et Datadog appréciée.
Nous recherchons des personnes autonomes et rigoureuses, capables de comprendre les enjeux métiers, de proposer des solutions adaptées et de contribuer à l’amélioration continue.
Intéressé(e) ?
Transmettez-nous votre CV en précisant votre disponibilité, vos prétentions salariales ou votre TJM, ainsi que vos expériences sur
DBT et Apache Iceberg.