
Especialista em Engenharia de Dados
- Brasil
- Permanente
- Período integral
- Desenvolver e manter pipelines de dados robustos, escaláveis e testáveis utilizando PySpark e Airflow.
- Projetar e implementar processos de ingestão e transformação de dados para alimentar o datalake em arquitetura de camadas (Bronze, Silver, Gold).
- Atuar com controle de qualidade de dados, documentação e gestão de linhagem utilizando OpenMetadata.
- Trabalhar em conjunto com os squads de produto e captura para garantir a consistência e cobertura dos dados.
- Garantir a governança de dados, versionamento e auditoria das pipelines em produção.
- Otimizar rotinas de ETL/ELT e desempenho de queries em bancos relacionais, data warehouses e motores como Elasticsearch e Athena.
- PySpark
- Apache Airflow
- AWS S3, Glue, Athena, EC2
- SQL (Athena, PostgreSQL),
- Elasticsearch/OpenSearch
- Docker
- Pandas
- Jupyter
- Unix (Linux), Bash
- DBT
- Glue
- Delta Lake
- Kubernetes
- NoSQL
- Elasticsearch
- Airbyte
- Etapa 2: Bate-papo com Pessoas & Cultura2Bate-papo com Pessoas & Cultura
- Etapa 3: Bate-papo com o Gestor3Bate-papo com o Gestor
- Etapa 4: Mão na Massa4Mão na Massa
- Etapa 5: Bate-papo com C Level5Bate-papo com C Level
- Etapa 6: Offer Letter6Offer Letter
- Etapa 7: Contratação7Contratação