Engenheiro de Dados Sênior - Presencial em São Paulo - SP

São Paulo - SP
Permanente
Período integral

Há 11 horas

? SOBRE A CEDRO Nossa missão: desenvolver softwares de altíssima qualidade que escale o negócio do cliente Nossa visão: ser referência nacional em tecnologias de investimentos para o ecossistema financeiro Nosso propósito: transformar o complexo em simples para melhorar a vida das pessoas e organizações Buscamos, a cada dia, construir uma Cedro mais plural e inclusiva, com profissionais que estejam com um olhar sempre à frente e buscando novos desafios, pois acreditamos que o respeito à pluralidade e à individualidade é a base das nossas relações. ?VENHA SER CEDRENSE! Estamos em busca de um(a) Engenheiro(a) de Dados que atuará como engenheiro de dados no projeto de migração de sistemas legados para o Databricks. Modelo de atuação: 100% Presencial em São Paulo-SP. ? REQUISITOS: INDISPENSÁVEL residir em São Paulo-SP (OPORTUNIDADE 100% PRESENCIAL no ITAIM BIBI; Indispensável Inglês fluente; Ter atuado com migração de dados legados para Databricks Apache Spark & PySpark: Domínio avançado para transformação de dados, otimização de queries, manipulação de DataFrames e entendimento de Spark SQL. Databricks Lakehouse Platform: Experiência prática na plataforma Databricks, incluindo notebooks, clusters, Databricks File System (DBFS) e Databricks SQL. Delta Lake: Proficiência no formato Delta Lake para garantir transações ACID, versionamento de dados (time travel), schema enforcement e técnicas de otimização (Z-Ordering, Vacuum). Linguagens de Programação como Python (avançado para automação e manipulação de dados) e SQL (avançado para conversão de queries legadas). Ingestão de Dados e Autoloader: Experiência em configurar fluxos de ingestão de dados em lote (batch) e streaming, utilizando Databricks Autoloader para ler arquivos de data lakes. Modelagem de Dados e Arquitetura Medallion: Habilidade para desenhar e implementar arquiteturas de dados (Bronze, Silver, Gold) para organizar os dados migrados. Experiência em Migração: Conhecimento de estratégias de migração de ETLs/ELTs, mapeamento de origem para destino e validação de dados para garantir integridade. Ferramentas de Nuvem: Familiaridade com Azure Databricks (Azure Data Factory, ADLS Gen2, Unity Catalog) ou AWS Databricks. ? DIFERENCIAIS: Requisitos Estratégicos (Migração de Legado): Conversão de Código: Capacidade de converter scripts legados (SAS, PL/SQL, T-SQL) para PySpark/Spark SQL. Validação de Dados: Técnicas de 'Data Quality' para assegurar que o volume e o conteúdo dos dados coincidem entre o legado e o Databricks. Governança de Dados (Unity Catalog): Implementação de segurança, linhagem de dados e controle de acesso a tabelas. Certificações Recomendadas: Databricks Certified Data Engineer Associate ou Professional. Databricks Databricks Habilidades Adicionais Valorizadas: Conhecimento em Delta Live Tables (DLT). CI/CD para Data Engineering (Git, Azure DevOps/GitHub Actions). ? NOSSOS BENEFÍCIOS PARA VOCÊ Benefícios flexíveis no Cartão Caju, sem desconto na folha de pagamento nas modalidades: alimentação, refeição, mobilidade, cultura, educação, saúde e home office; Assistência médica SulAmérica com cobertura nacional; Assistência odontológica Uniodonto; WellHub; Seguro de vida; Auxílio creche (para crianças até 02 anos); Day off de aniversário; Bônus por indicação Tech; Crédito consignado e adiantamento salarial Creditas.Formação Acadêmica:Não informadoSalário:A combinarCargo:OutrosEmpresa:Cedro FinancesDesenvolvimento de tecnologia da informação.Ramo:Informática/ Tecnologia
(EH)

Empregos.com.br

Candidatar-se