Engenheiro Big Data Sênior

• Desenho e Implementação de Soluções de Big Data: Projetar, construir e implementar soluções de big data para atender às necessidades de armazenamento, processamento e análise de grandes volumes de dados.
• Manutenção da Infraestrutura: Garantir que os sistemas de big data estejam sempre operacionais, otimizados e com bom desempenho.
• Otimização de Performance: Monitorar e otimizar a performance dos sistemas de big data, garantindo processamento rápido e eficiente dos dados.
• Segurança dos Dados: Implementar e manter padrões e protocolos de segurança para proteger os dados e garantir a privacidade e conformidade, especialmente em contextos regulamentados.
• Colaboração Interdisciplinar: Trabalhar em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender suas necessidades e traduzi-las em soluções técnicas.
• Escalabilidade: Projetar soluções que possam crescer em escala, lidando com volumes cada vez maiores de dados, sem comprometer a performance.
• Implementação de Ferramentas de Big Data: Trabalhar com uma variedade de tecnologias de big data para implementar soluções adequadas às necessidades.
• Gestão de Pipeline de Dados: Criar e gerenciar pipelines de dados completos, desde a ingestão até o armazenamento, processamento e análise.
• Automatização: Implementar soluções automatizadas para tarefas recorrentes, garantindo eficiência e redução de erros manuais.
• Formação e Liderança: Como um profissional sênior, espera-se que esse indivíduo atue como mentor para membros mais jovens da equipe, transmitindo conhecimento e orientação técnica.
• Avaliação de Novas Tecnologias: Manter-se atualizado com as últimas tecnologias e tendências em big data, avaliando e recomendando novas ferramentas e abordagens que podem beneficiar a organização.
• Documentação: Criar documentação técnica robusta para soluções implementadas, garantindo que outros engenheiros e partes interessadas compreendam as soluções e possam trabalhar com elas no futuro.

• Diploma em Ciência da Computação, Engenharia da Computação, Sistemas de Informação ou campos relacionados.

• Mínimo de 5 anos em funções relacionadas à big data, com ênfase em infraestrutura e serviços;
• Experiência comprovada no desenho, implementação, operação e otimização de soluções de big data escaláveis;
• Histórico de projetos bem-sucedidos em ambientes complexos e de alta disponibilidade.

• Profundo conhecimento e experiência prática com tecnologias de big data, como, Spark, ElasticSearch, Kubernetes, Hadoop, entre outras soluções para Big Data;
• Experiência em sistemas de armazenamento distribuído, como Yugabyte/Postgres;
• Experiência com bancos de dados de objetos S3-like, como MinIO e Ceph RGW;
• Experiência em soluções para data lake e data lakehouse, como Delta Lake, Apache Iceberg e Trino;
• Experiência com Linux, Shell Script e configuração de serviços Linux;
• Experiência com bancos de dados NoSQL, como Mongo DB e Redis;
• Experiência com ferramentas de Infraestrutura como Código (IoC), como Ansible e Terraform;
• Habilidade em linguagens de programação Java ou Python;
• Conhecimento de engines de processamento de Big Data, como Spark e Elasticsearch;
• Conhecimento sobre técnicas e ferramentas de otimização de performance para big data;
• Experiência com orquestração de workflows de dados, como Apache Airflow ou NiFi;
• Familiaridade com estruturas e operacionalização de data center on-premise;
• Familiaridade com as melhores práticas de arquitetura de software.

• Excelente capacidade de comunicação, tanto para explicar complexidades técnicas para stakeholders não técnicos quanto para colaborar eficazmente com a equipe;
• Capacidade de liderança e mentoria para desenvolver membros mais jovens da equipe;
• Habilidades analíticas aguçadas e abordagem orientada a problemas.

• Conhecimento em práticas de segurança voltadas para big data e conformidade regulamentar;
• Experiência com contêineres e orquestração;
• Inglês intermediário, especialmente para leitura e escrita técnica;
• Disposição para se manter atualizado em uma área de tecnologia em rápida evolução.

• Certificações profissionais em big data ou tecnologias relacionadas;
• Pós-graduação em campos relacionados com a vaga;
• Conhecimentos de ambiente HPC;
• Conhecimentos de integração de dados e interoperabilidade;
• Experiência anterior em setores relacionados à saúde ou pesquisa;
• Experiências com orquestradores e ferramentas para trabalho com Kubernetes, como Kubesphere, Kubeflow, Rancher e outras;
• Conhecimento sobre padrões e regulamentos de saúde, como Lei Geral de Proteção de Dados (LGPD), GDPR e HIPAA;
• Conhecimentos técnicos sobre Segurança da Informação e Privacidade (Privacy by Design);
• Familiaridade com soluções de Cloud Computing, como AWS, Google Cloud ou Azure, e seus respectivos serviços voltados para big data;
• Familiaridade com práticas de DevOps e CI/CD.

Cidacs