Description Du Poste
À propos de nous:
fabskill partners
Description De L'offre
Nous recherchons un(e) Data Engineer spécialisé(e) Databricks pour rejoindre Fabskill Partners et contribuer à la conception, au déploiement et à l'optimisation de pipelines de données sur AWS.
Responsabilités
- Concevoir, développer et maintenir des pipelines de données robustes avec Databricks et Apache Spark.
- Intégrer et orchestrer des flux de données sur AWS en utilisant les meilleures pratiques CI/CD.
- Optimiser les performances des jobs Spark et assurer la scalabilité des solutions.
- Collaborer avec les équipes data science et analytics pour fournir des jeux de données fiables.
- Mettre en place des processus de monitoring, de logging et de gestion des incidents.
Exigences
- Maîtrise de Databricks, Apache Spark et Python.
- Expérience avec les services AWS (S3, Redshift, EMR, etc.).
- Compétences en CI/CD pour l'automatisation des déploiements.
- 5+ ans d'expérience en ingénierie des données.
- Capacité à travailler en équipe et à résoudre des problèmes complexes.