Pessoa Engenheira de Dados Python/Scala Sênior

Datum

  • Brasil
  • Permanente
  • Período integral
  • Há 8 dias
  • Aplicar facilmente
Estamos buscando uma pessoa que ouse protagonizar com a gente. 💜Estamos em busca de um(a) Engenheiro(a) de Dados com experiência sólida em processamento distribuído e em tempo real, capaz de projetar e implementar pipelines escaláveis para suportar grandes volumes de dados. O(a) profissional atuará em um ambiente dinâmico, colaborando com times multidisciplinares para entregar soluções robustas e orientadas a dadosResponsabilidades e atribuições:
  • Desenvolver e manter pipelines de dados para processamento batch e streaming utilizando Apache Spark (incluindo Structured Streaming).
  • Implementar soluções escaláveis e resilientes para ingestão, transformação e disponibilização de dados.
  • Garantir a qualidade, governança e segurança dos dados em todas as etapas do pipeline.
  • Colaborar com equipes de arquitetura, analytics e negócio para definir estratégias de dados.
  • Monitorar e otimizar processos para garantir alta performance e baixo custo.
  • Apoiar iniciativas de modernização e migração para ambientes cloud (AWS).
.Requisitos e qualificações:
  • Experiência avançada com Apache Spark, incluindo processamento de dados em streaming.
  • Sólidos conhecimentos em Python para desenvolvimento de pipelines e scripts.
  • Conhecimento básico em AWS, especialmente serviços como S3, Glue, EMR ou equivalentes.
  • Experiência com formatos de dados (Parquet, Delta Lake) e boas práticas de ETL/ELT.
  • Familiaridade com controle de versão (Git) e metodologias ágeis.
Desejável:
  • Conhecimento em Scala para desenvolvimento em Spark.
  • Experiência com ferramentas de orquestração (Airflow, Step Functions).
  • Certificações AWS ou em Engenharia de Dados.
  • Vivência com ambientes de Data Lake e arquiteturas orientadas a eventos (Kafka, Kinesis).
Informações adicionais:
  • Para sua saúde, oferecemos assistência médica e odontológica sem coparticipação em exames e consultas.
  • Quer mais bem-estar? Oferecemos Gympass e Zenklub (com duas sessões gratuitas por mês) para você cuidar da sua saúde física e mental.
  • Quando bater aquela fome, utilize nosso benefício de alimentação Caju para fazer compras em qualquer supermercado ou restaurante.
  • Ama viajar? Aqui temos o Férias & Co, um benefício que te ajuda a viabilizar aquela viagem dos sonhos.
  • Tem filhos? Conte com o auxílio creche.
  • Família crescendo? Temos o MomCare, um incentivo monetário flexível pós licença maternidade para as novas mamães datunianas.
  • Para deixar seu ambiente de trabalho com a sua cara, conte com o nosso auxílio home office.
  • Quer investir no seu desenvolvimento profissional? Temos parcerias com várias instituições de ensino de renome para oferecer a você descontos que podem chegar a 70% em cursos de graduação, pós-graduação, MBAs, idiomas e muito mais!
Para conhecer todos os nossos benefícios, acesse a 💜

Datum