Senior Data Engineer

Descrição da vaga

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar na construção, evolução e sustentação de soluções modernas de dados, contribuindo para o desenvolvimento de pipelines escaláveis, confiáveis e de alta performance.

O profissional participará ativamente do levantamento de requisitos, refinamento técnico de demandas e implementação de soluções voltadas à ingestão, transformação e disponibilização de dados, atuando em um ambiente colaborativo, ágil e orientado à inovação.

Esta posição é ideal para profissionais que possuem forte experiência em processamento distribuído, plataformas de dados em nuvem e boas práticas de engenharia de dados, com foco em qualidade, governança e geração de valor para o negócio.

Responsabilidades e atribuições

• Desenvolver, manter e otimizar pipelines de dados batch e streaming.
• Criar processos de ingestão, transformação e disponibilização de dados em ambientes distribuídos.
• Implementar soluções utilizando Python, SQL, PySpark e Databricks.
• Integrar dados provenientes de APIs, sistemas corporativos e diferentes fontes de dados.
• Participar do refinamento técnico de demandas e definição de soluções.
• Garantir a qualidade, confiabilidade e governança dos dados.
• Desenvolver testes automatizados para pipelines de dados.
• Realizar monitoramento e sustentação das soluções implementadas.
• Elaborar e manter documentação técnica.
• Trabalhar em conjunto com equipes multidisciplinares em ambiente ágil.

Requisitos e qualificações

Obrigatórios

• Experiência em Engenharia de Dados.
• Conhecimento sólido em Python, SQL, PySpark e Databricks.
• Experiência na construção e manutenção de pipelines de dados.
• Vivência com processamento de dados em ambientes distribuídos.
• Conhecimento de modelagem de dados.
• Experiência com versionamento de código utilizando Git.
• Conhecimento de boas práticas de qualidade e governança de dados.
• Experiência com documentação técnica.
• Vivência em metodologias ágeis.

Desejáveis

• Conhecimento em Cognite Data Fusion (CDF).
• Experiência com Azure Data Factory.
• Conhecimento em Apache Spark, Airflow, Kafka e dbt.
• Experiência com bancos de dados SQL e NoSQL.
• Conhecimento em arquiteturas Data Lake e Data Lakehouse.
• Experiência com processamento de dados em tempo real (streaming).
• Vivência com dados industriais, sensores ou projetos de IoT.
• Experiência em ambientes Cloud (Azure, AWS ou GCP).

Become a Compasser, be part of AI/R.Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in the

ir markets.To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.