Engenheiro de Dados Azure Pleno (Remoto)
DATASIDE SOLUCOES EM DADOS LTDA
- São José dos Campos - SP
- Permanente
- Período integral
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipeline de Dados utilizando Azure Data Factory.
Construir nooteboks em Pyton e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synpase Analytics.
Trabalhar com ingestões de dados em Datalakehouse.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, junções externas e junções naturais.
Usar subqueries de vários tipos, como subqueries de seleção, subqueries de atualização e subqueries de exclusão.
Usar funções agregadas de vários tipos, como funções de agregação de agregação.
Usar SQL com grandes conjuntos de dados.
Usar PySpark para realizar análise de dados exploratória (EDA) de forma eficiente e escalável.
Usar PySpark para gerar modelos de aprendizado de máquina.Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo.
Projetar um modelo de dados complexo que atenda a esses requisitos.
Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.Diferenciais:
Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.
Experiência em projetos complexos de BI.
Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.
Experiência em projetos complexos de DB, DW, lake e lakehouse.
Experiência em projetos complexos de ETL.
Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.
Experiência em implementação de pipelines complexos em cenários desafiadores.
Expertise em conceitos avançados de DevOps.
Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.Incentivos que importam:
Cuidamos de quem cuida dos nossos dados
- Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
- Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
- Terapia online 100% custeada pela empresa, porque saúde mental importa.
- Atendimento em Nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
- Seguro de vida com apólice no valor de R$125 mil, garantindo mais segurança para você e sua família.
- Day off no aniversário, porque o seu dia merece ser especial.
- Descanso remunerado, para que você possa recarregar as energias.
- Gamificação interna, transformando conquistas em prêmios e reconhecimento.
- Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
- Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.
Atuação remota.Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.