Engenharia de Dados Databricks Pleno

Kumulus

  • Campinas - SP
  • Permanente
  • Período integral
  • Há 10 dias
Responsabilidades:-Desenvolver e otimizar pipelines de dados no Databricks, utilizando as melhores práticas para garantir performance e escalabilidade.
-Trabalhar com o Azure Data Lake, Azure SQL, Azure Synapse Analytics, e outras tecnologias da plataforma Azure para criar soluções de dados robustas.
-Criar e gerenciar fluxos de ETL (extração, transformação e carga) eficientes.
-Garantir a qualidade, integridade e segurança dos dados em toda a arquitetura.
-Colaborar com equipes multidisciplinares (cientistas de dados, analistas de BI, desenvolvedores e arquitetos) para integrar dados e transformar informações em insights acionáveis.
-Participar da definição da arquitetura de dados, garantindo a escalabilidade e desempenho do sistema.
-Monitorar e otimizar a performance dos pipelines e soluções de dados implementadas.Requisitos:-Experiência comprovada com Databricks para processamento e análise de grandes volumes de dados.
-Experiência prática com a plataforma Azure (Azure Data Lake, Azure Synapse Analytics, Azure SQL, entre outros).
-Forte conhecimento em SQL, Python e Spark para manipulação e transformação de dados.
-Experiência com ferramentas de integração de dados e orquestração (ex. Apache Airflow, Azure Data Factory).
-Sólidos conhecimentos em modelagem de dados, arquitetura de dados e melhores práticas de segurança.
-Familiaridade com metodologias ágeis e ferramentas de versionamento de código (Git).
-Inglês intermediário/avançadoBenefíciosRegime CLTVale alimentação/ Refeição (Cartão Flex)Mobilidade Cartão flexivel (caso seja necessário)WellhubConvênio MédicoConvênio OdontológicoSeguro de vidaDay Off no mês do aniversárioAuxílio- creche para homens e mulheresReembolso por certidicaçõesEnglish PassConvênio graduação FIAPSESCLicença Paternidade e Maternidade estendida (Empresa Cidadã)Licença Casamento

Kumulus