Missão e escopo do cargo
Projetar, implementar e otimizar arquiteturas de ingestão e processos ETL ou ELT, assegurando qualidade, governança, segurança e eficiência, além de apoiar a evolução da plataforma por meio de automação e padronização.
Principais responsabilidades
- Desenvolver extratores e conectores para APIs, bancos, sistemas legados, arquivos e serviços em nuvem.
- Construir pipelines batch, streaming e quase em tempo real com Python, SQL, Spark, Databricks, AWS Glue, Airflow ou Azure Data Factory.
- Implementar cargas incrementais, captura de alterações, versionamento, testes, tratamento de erros e implantação controlada.
- Automatizar infraestrutura com Terraform ou CloudFormation e documentar fluxos, dependências e contratos de dados.
- Garantir qualidade, catalogação, linhagem, classificação, retenção e controle de acesso
- Definir padrões técnicos e disseminar boas práticas de engenharia, governança e arquitetura de ingestão de dados, com atuação em sobreaviso quando necessário.
Requisitos técnicos
- Experiência em engenharia e ingestão de dados, com domínio na definição de estratégias de extração adequadas às diferentes fontes de dados e necessidades do negócio.
- Sólido conhecimento em padrões de arquitetura de dados e ferramentas de integração, desenvolvendo processos de extração tanto por meio de programação (code-based) quanto com soluções low-code/no-code.
- Experiência em linguagens e tecnologias como Python, SQL e Spark, além de processos ETL/ELT, orquestração de pipelines e plataformas de dados em nuvem, garantindo escalabilidade, governança e eficiência no tratamento e disponibilização das informações.
Conhecimentos esperados:
- AWS, Azure e GIT; Databricks e Airflow
- Terraform ou CloudFormation; Git, integração e entrega contínuas e testes automatizados.
- APIs REST e processamento batch ou streaming.
- Prometheus e ELK
- LGPD, segurança e privacidade de dados.
Competências comportamentais
- Comunicação clara, visão sistêmica, pensamento analítico, proatividade, colaboração, adaptabilidade, autonomia, inovação e foco em resultados.
Formação e certificações
- Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou área correlata. Certificações Databricks e AWS.