Spark Data Engineer | Mid/Senior
- Brasil
- Permanente
- Período integral
- Conduzir a migração de rotinas SAS legadas para o novo ecossistema Data Mesh, com foco em modernização, padronização e governança de dados;
- Compreender a malha batch existente via Control-M, analisando dependências, componentes SAS e estruturas de dados envolvidas;
- Realizar a transpilação dos códigos SAS para Spark, utilizando AWS Glue e garantindo aderência aos padrões técnicos do Mesh;
- Criar e configurar ambientes de origem e destino (buckets S3, schemas, conexões), assegurando o fluxo completo dos dados na AWS;
- Desenvolver Glue Jobs robustos, parametrizados e com testes unitários, promovendo estabilidade e escalabilidade nas entregas;
- Executar processos em produção, documentar fluxos e apoiar o repasse para sustentação;
- Trabalhar de forma colaborativa em ambiente ágil, promovendo boas práticas de engenharia e integração contínua.
- Sólido conhecimento em Python e Spark, com foco em desenvolvimento de pipelines de dados;
- Profundo conhecimento com AWS Glue, S3, Lambda, Step Functions e Athena;
- Familiaridade com orquestração de tarefas com Control-M;
- Experiência com versionamento (Git/GitHub) e ambiente Linux;
- Conhecimento de Terraform para infraestrutura como código (IaC);
- Capacidade analítica para entendimento de código legado e adaptação aos novos padrões do Data Mesh;
- Desejável: experiência com testes automatizados e boas práticas de engenharia de dados.