Data Engineer

Semantix

  • São Paulo - SP
  • Permanente
  • Período integral
  • Há 2 mêses
Impactar positivamente bilhões de vidas é nosso propósito e também pode ser o seu! 🚀Fundada em 2010, no Brasil, a Semantix é referência em Big Data, Analytics e Inteligência Artificial.Somos um time de apaixonados por inovação, com diversas origens e diferentes graus de experiência. O que nos une, é a motivação compartilhada de transformar a experiência de nossos clientes através da cultura data driven.Se você se identificou, a Semantix é seu lugar.Estamos ansiosos para ter você como parte do time.Afinal, o futuro se faz juntos. 💜Requisitos:Responsabilidades e atribuições:Monitorar e dar suporte a fluxos de dados (ETL) em ambiente de Big Data, garantindo a integridade e disponibilidade dos pipelines.
Realizar ajustes e otimizações em queries SQL de alta complexidade, aplicando boas práticas de performance e tuning.
Atuar em incidentes e requisições relacionadas à sustentação da plataforma de dados.
Garantir a operação e confiabilidade de processos implementados em Apache NiFi, Hue e Hive.
Efetuar a análise de requerimentos dos usuários.
Participar da análise e resolução de problemas em fluxos de ingestão e transformação de dados.
Manter a documentação técnica atualizada e colaborar com times de engenharia de dados e BI.
Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados.
Disseminar conhecimento analítico entre o time e para a organização.Requisitos e qualificações:Domínio em SQL e boas práticas de construção de queries otimizadas;
Experiência com ferramentas de ETL, especialmente em ambientes de Big Data (NiFi, Hive, Hue);
Familiaridade com ambientes baseados em Cloudera;
Conhecimento em tuning de queries e análise de performance de consultas;
Desejável: experiência com Python, PySpark e integração com ferramentas de visualização como Power BI;
Diferencial: vivência com Azure Data Factory, Databricks ou Data Lake;

Semantix