ENGENHEIRO DE DADOS SÊNIOR
- São Paulo - SP
- Permanente
- Período integral
- Integração e Coleta de Dados: Agregar dados estruturados, semiestruturados e não estruturados de diversas fontes, como bancos de dados, APIs e arquivos.
- Ingestão em Tempo Real e Lote: Implementar pipelines eficientes e seguros para ingestão de dados em tempo real (streaming) e em lote (batch).
- Processamento e Transformação: Construir pipelines para padronização, deduplicação, filtragem e enriquecimento de dados brutos.
- Orquestração e Automação: Definir e gerenciar a orquestração de pipelines para garantir execuções automáticas conforme cronogramas.
- Monitoramento e Alertas: Criar e monitorar alertas e logs para continuidade dos processos e resposta rápida a falhas.
- Otimização de Performance: Ajustar pipelines para reduzir custos e aumentar a eficiência operacional.
- Documentação: Manter documentação clara e acessível para facilitar entendimento e manutenção contínua das soluções.
- Superior completo em áreas de Tecnologia da Informação, como Sistemas de Informação, Ciência da Computação, Engenharia da Computação, entre outras;
- Sólida experiência em Engenharia de Dados ou em funções similares;
- Domínio de SQL e de pelo menos uma linguagem de programação, como Python, Scala ou Java;
- Experiência com processos de ETL/ELT, incluindo ferramentas como Apache NiFi, PowerCenter, entre outras, e com orquestração de workflows (como Apache Airflow);
- Vivência com ambientes em nuvem, sendo obrigatório o conhecimento em Google Cloud Platform (GCP);
- Experiência com arquitetura de Data Lakes e Data Warehouses, incluindo modelagem de dados e otimização de pipelines;
- Habilidade em monitoramento e troubleshooting de processos em ambientes de produção;
- Conhecimento no Pacote Office;
- Desejável: Conhecimento de práticas de CI/CD e DevOPS;
- Se identificar com os nossos valores:
- T ransparência
- O rganização
- R espeito
- R esiliência
- A gilidade