Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks, desenvolvendo e mantendo pipelines de dados escaláveis, confiáveis e performáticos. Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark, com atuação em arquiteturas Data Lake e Data Lakehouse, e implementação do modelo Medallion (Bronze, Silver e Gold).
Responsabilidades
- Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks.
- Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos.
- Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark.
- Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold).
- Interpretação de regras de negócio e tradução em processos e soluções de dados.
- Participação em projetos de migração e modernização de plataformas de dados.
- Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.