Engenheiro de Dados Sênior
Just a Little Data
- São Paulo - SP
- Permanente
- Período integral
- Construir, manter e evoluir pipelines de dados (ETL/ELT) em Python.
- Desenvolver processos robustos para ingestão, transformação e armazenamento de dados estruturados, semi-estruturados e não estruturados.
- Implementar verificações e controles de qualidade para garantir a precisão dos dados no data lake.
- Construir APIs para consumo e integração de dados entre sistemas.
- Auxiliar na manutenção e evolução da arquitetura de dados dos projetos da empresa.
- Participar do design e implementação de soluções em batch e streaming.
- Colaborar com times de DevOps para garantir conformidade com protocolos de segurança.
- Apoiar cientistas de dados na operacionalização de modelos de machine learning.
- Documentar fluxos de dados, arquitetura e modelo de dados.
- Identificar riscos técnicos e propor planos de contingência.
- Orientar e aconselhar outros membros do time, estimulando boas práticas.
- Linguagem principal: Python.
- Frameworks e ferramentas: Apache Airflow, Spark.
- Banco de dados: PostgreSQL, SQL Server, MongoDB, ElasticSearch, Data Lakes
- Sólidos conhecimentos em nuvem.
- Metodologias ágeis: Scrum ou Kanban.
- Experiência sólida (mínimo 3 anos) em engenharia de dados ou áreas correlatas.
- Proficiência em Python para construção de pipelines de dados.
- Experiência comprovada com design e implementação de processos ETL/ELT.
- Sólido conhecimento em tratamento de dados estruturados (SQL), semi-estruturados e não estruturados.
- Familiaridade com orquestração de pipelines (ex.: Apache Airflow, Prefect).
- Experiência com bancos de dados relacionais e NoSQL.
- Experiência em ambientes de cloud (AWS, GCP ou Azure).
- Conhecimento em versionamento de código (Git) e boas práticas de testes automatizados.
- Conhecimento em processamento de dados em tempo real (streaming com Kafka, Kinesis)
- Familiaridade com construção de data lakes e data lakehouses.
- Vivência com metodologias ágeis.
- Visão analítica e foco em resolução de problemas complexos.
- Proatividade para propor melhorias e novas soluções.
- Boa comunicação para articular requisitos e resultados com times técnicos e de negócio.
- Organização e capacidade de autogestão.
- Espírito colaborativo e disposição para compartilhar conhecimento.
- Comprometimento com prazos e entregas de alta qualidade.
- Capacidade de identificar riscos e definir planos de ação.