Engenheiro de Dados Azure Sênior (Remoto)
DATASIDE SOLUCOES EM DADOS LTDA
- São José dos Campos - SP
- Permanente
- Período integral
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipelines de dados utilizando Azure Data Factory.
Construir notebooks em Python e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synapse Analytics (Serverless Dedicated).
Desenvolver Data Governance utilizando Unity Catalog ou Purview.
Trabalhar com ingestões de dados em Data Lakehouse.
Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, externas e naturais.
Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.
Usar funções agregadas de vários tipos.
Utilizar SQL com grandes conjuntos de dados.
Utilizar SQL para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.
Utilizar SQL para resolver problemas complexos de dados.
Utilizar PySpark para realizar análise exploratória de dados (EDA) de forma eficiente e escalável.
Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.
Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados.
Definir e explicar conceitos de DevOps de maneira abrangente e crítica.
Utilizar ferramentas de CI/CD para automação eficiente.
Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.
Alto conhecimento em arquitetura de Big Data end-to-end.
Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).
Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.
Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.
Projetar e implementar modelos de dados para lidar com dados em tempo real.
Projetar e implementar modelos de dados para lidar com dados de várias fontes.
Experiência em liderar engenheiros de dados Jr. e Pleno.Hard skills necessárias:
Python, SQL.
Azure (Data Factory, Data Lake, Synapse).
Databricks, Spark SQL, PySpark.Nossos Incentivos:
1. Auxílio médico;
2. Wellhub;
3. Auxílio terapia;
4. Teleatendimento em Nutrição;
5. Seguro de vida;
6. Day off no dia do aniversário;
7. Parceria com instituições de ensino com desconto em cursos (Anhanguera e FIAP);
8. Gameficação interna (troque ações por prêmios);
9. English Club;
10. Reembolso + Bônus por certificação.Entre outros
Atuação remota.Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.