Descrição da vaga
Estamos em busca de uma pessoa Engenheira de Dados para atuar em um projeto de grande porte no segmento bancário, participando da construção e evolução de uma plataforma de Crédito Comercial e Agronegócio. Buscamos profissionais com experiência em processamento distribuído, integração e modelagem de dados, capazes de desenvolver soluções escaláveis, confiáveis e orientadas às necessidades do negócio.
Responsabilidades e atribuições
- Participar do desenvolvimento e evolução de uma plataforma de Crédito Comercial e Agronegócio;
- Elaborar modelos funcionais e de dados, considerando os requisitos e as necessidades do negócio;
- Desenvolver, otimizar e sustentar pipelines de dados escaláveis e confiáveis;
- Implementar processos de ingestão, transformação e disponibilização de dados, garantindo qualidade, performance e confiabilidade;
- Contribuir para a evolução das soluções de Engenharia de Dados e das arquiteturas de armazenamento e processamento.
Requisitos e qualificações
- Experiência com Apache Spark para processamento distribuído de dados;
- Experiência com Apache Airflow para orquestração de pipelines;
- Conhecimento em Apache Kafka para integração e processamento de dados em tempo real;
- Experiência com dbt (Data Build Tool) para transformação e modelagem de dados;
- Vivência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;
- Experiência com plataformas de dados em nuvem, como Azure Databricks, Azure Data Factory, AWS Glue e BigQuery;
- Conhecimento em implementação e manutenção de arquiteturas Data Lake e Data Lakehouse;
- Formação superior completa em Tecnologia da Informação ou áreas correlatas.