A Itix, uma fábrica de software com experiência em transformar negócios, busca um Engenheiro de Dados Pleno para integrar seu time. O profissional será responsável por projetar e construir pipelines de dados, gerenciar dados não estruturados e garantir a qualidade e segurança das informações.
Responsabilidades
- Projetar e construir pipelines (ETL/ELT) em Databricks ou com estratégias open-source que ingerem e tratam o histórico, em arquitetura medalhão (bronze, silver e gold) sobre Delta Lake.
- Ingerir e padronizar documentos (PDF e imagens) com metadados.
- Executar a curadoria e anonimização de dados (LGPD), gerando bases limpas para o RAG, o few-shot e os testes.
- Construir e operar a indexação vetorial: pipeline de chunking, geração de embeddings, atualização incremental do índice e versionamento.
- Preparar datasets versionados (golden sets) para o framework de avaliação e para o benchmark de acurácia.
- Estruturar a persistência do ciclo de feedback (positivo/negativo, justificativas, status de resolução) e alimentar o Dashboard de Qualidade e SLA.
- Integrar as bases de dados ao serviço de inferência e à API com outros sistemas: performance, custo, monitoramento e alertas.
- Automatizar com Workflows/Jobs, CI/CD e testes de qualidade de dados.