Python Data Engineer | Sênior
- Brasil
- Permanente
- Período integral
- Desenvolver, implementar e manter pipelines de dados robustos e escaláveis em ambiente AWS.
- Utilizar ferramentas como Amazon S3, Apache Airflow, Apache Kafka, DBT, Kubernetes e Snowflake.
- Realizar migração segura e eficiente de grandes volumes de dados e workloads para a AWS, garantindo integridade, segurança e mínima interrupção nos processos existentes.
- Criar scripts e processos automatizados com Airflow e DBT para orquestração, transformação e validação de dados.
- Monitorar e otimizar continuamente a performance dos pipelines, focando em desempenho e redução de custos operacionais.
- Colaborar com arquitetos de soluções, engenheiros e áreas de negócio para garantir entregas alinhadas com os requisitos técnicos e de compliance.
- Garantir a aplicação de boas práticas de DevSecOps na infraestrutura e nos fluxos de dados.
- Experiência com migração de dados em larga escala para a AWS;
- Experiência prática com serviços AWS (S3, EC2, EKS, Lambda, IAM, CloudWatch);
- Experiência com orquestração de dados usando Apache Airflow e DBT;
- Vivência com streaming de dados utilizando Apache Kafka;
- Conhecimento em Snowflake e linguagem SQL;
- Experiência com conteinerização e orquestração usando Docker e Kubernetes;
- Conhecimento em infraestrutura como código com Terraform;
- Experiência com versionamento e CI/CD usando GitHub ou GitLab;
- Vivência com metodologias ágeis;
- Conhecimento em segurança de dados e práticas de DevSecOps.