Estamos em busca de um(a)
Engenheiro(a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados, trabalhando com grandes volumes de informações e ambientes distribuídos.
Principais responsabilidades
- Desenvolver e manter pipelines de dados utilizando Databricks e Spark;
- Realizar ingestão, transformação e processamento de dados;
- Trabalhar com diferentes fontes e formatos de arquivos;
- Aplicar boas práticas de modelagem e manipulação de dados;
- Contribuir para a otimização de processos e performance dos workloads de dados.
Requisitos obrigatórios
- Experiência prática com Databricks e Apache Spark;
- Sólidos conhecimentos de SQL, incluindo Window Functions;
- Conhecimento de modelagem e manipulação de dados;
- Experiência com processamento distribuído e Cluster Computing;
- Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown;
- Experiência com Delta Lake, incluindo versionamento e Time Travel;
- Conhecimento dos formatos Parquet e Avro;
- Experiência com leitura e gravação de dados em diferentes formatos.
Diferenciais
- Experiência com Azure Data Factory;
- Vivência em ambientes Lakehouse e Azure Data Lake;
- Conhecimento em otimização de workloads Spark;
- Experiência com grandes volumes de dados;
- Conhecimento em streaming de dados;
- Experiência com CI/CD para pipelines de dados.
Tem interesse?
Candidate-se a nossa vaga que teremos o grande prazer de dividir essa experiência com você.
“Grandes coisas em termos de negócios nunca são feitas por uma pessoa. São feitas por uma equipe de pessoas"
Formação Acadêmica
Não informado
Salário
10000
Cargo
Outros
Empresa
Innolevels
Atua como reparação e manutenção de computadores e de equipamentos periféricos.
Ramo
Informática/ Tecnologia
(EJ)