Engenheiro de Dados
- Curitiba - PR
- Permanente
- Período integral
Nível: Especialista
Cursos de: ANÁLISE E DESENVOLVIMENTO DE SISTEMAS, Analysis and Systems Development, Information Systems, Information Technology, Software Engineering
Escolaridade: Graduação - ANÁLISE E DESENVOLVIMENTO DE SISTEMAS, Analysis and Systems Development, Information Systems, Information Technology, Software Engineering - Completo
Tipo de contrato: CLT
Jornada de trabalho: De segunda à sexta, das 09h às 18h.💛🚍Ao embarcar em nosso time, você terá:Vale Transporte ou Vale Mobilidade CAJU;Vale Refeição ou Alimentação CAJU - R$31,00 por dia de trabalho;Plano odontológico Sul América - R$24,84 por conta do colaborador;Descontos pra viajar de ônibus com nossos parceiros (de 30 a 99%);Day off no aniversário: Pra você descansar e curtir como quiser;No Dress Code: aqui você pode ser você;Desconto em instituições de ensino: Graduação, Pós Graduação e Inglês;Parceria com SESC - PR: Descontos em serviços de odontologia, aulas de idiomas, aulas de danças, teatro, artesanato, academias e esportes e bem estar em geral;Parceria com ASSESPRO-PR: Escolas, ensino, serviços e bem estar;Responsabilidades da posição:🚌 Como será o dia a dia desse embarcado:Estamos em busca de um(a) Engenheiro(a) de Dados para compor o time responsável por estruturar a fundação de dados que alimenta nossa solução de precificação dinâmica e predição de ocupação com base em inteligência artificial. Este produto visa transformar a maneira como viações gerenciam seus preços e rotas, utilizando modelos estatísticos e de machine learning aplicados sobre grandes volumes de dados históricos e contextuais.Você será o elo crítico entre as fontes de dados das empresas de transporte e os modelos de IA, sendo responsável por construir pipelines de dados resilientes, escaláveis e auditáveis. Além disso, atuará na implementação de práticas modernas de governança, garantindo qualidade, segurança e disponibilidade dos dados para consumo analítico e preditivo.
- Projetar, implementar e manter pipelines de ETL/ELT para ingestão, transformação e disponibilização de dados de diversas fontes (APIs, bancos de dados, arquivos históricos, etc.).
- Construir e manter o data lake e/ou data warehouse, organizando os dados de forma eficiente e acessível para os cientistas de dados e desenvolvedores.
- Preparar datasets de treinamento e validação para os modelos preditivos, com foco na qualidade, consistência e rastreabilidade dos dados.
- Participar ativamente da implantação e manutenção de uma feature store, viabilizando o reuso e versionamento de features para machine learning.
- Colaborar com cientistas de dados e engenheiros de machine learning para operacionalizar modelos em produção com dados atualizados em tempo real.
- Garantir boas práticas de governança de dados, incluindo limpeza, anonimização, versionamento e atualizações incrementais.
- Automatizar processos de ingestão e transformação com ferramentas modernas como Apache Airflow, Apache Spark ou equivalentes.
- Trabalhar com armazenamento em nuvem (como AWS S3, Google Cloud Storage, BigQuery, Redshift) para garantir escalabilidade e performance dos fluxos de dados.
- Sólida experiência com ETL/ELT, usando ferramentas como Apache Airflow, Spark, dbt ou similares.
- Domínio em modelagem de dados, tanto relacional (SQL) quanto orientada a dados analíticos.
- Experiência com armazenamento em nuvem e arquitetura de dados em ambientes como AWS (S3, Glue, Redshift), GCP (BigQuery, Cloud Storage) ou Azure.
- Experiência em limpeza, normalização e versionamento de dados, além de estratégias de atualização incremental.
- Experiência com pipelines de dados para projetos de machine learning, como preparação de features, join de múltiplas fontes, e atualização de dados em produção.
- Prática com ferramentas de orquestração, agendamento e monitoramento de processos.
- Experiência prévia com feature stores e sistemas de MLOps.
- Conhecimento em programação com Python ou Scala, voltada a manipulação de dados.
- Graduação completa em Engenharia (s): Computação, Mecânica, Dados, Ciência de Dados, Sistemas de informação e áreas afins.