Engenheiro de Dados Sênior

Cadmus

  • São Paulo - SP
  • Permanente
  • Período integral
  • Há 1 hora
Dominar o ecossistema Google BigQuery para projetar, construir e otimizar modelos de dados que sirvam como a fonte da verdade para toda a organizacao. Atuar como a principal referencia tecnica em SQL de alta performance e modelagem de dados, transformando dados brutos em ativos de dados confiaveis, eficientes e de facil consumo para as areas de negocio e BI.Requisitos:
  • SQL (Nivel de Maestria):
- SQL Analitico Avancado: Dominio de Window Functions, CTEs complexas, PIVOT/UNPIVOT, e manipulacao de dados aninhados (STRUCT/ARRAY).
- Otimizacao de Performance (Query Tuning): Experiencia em analise de planos de execucao de queries no BQ, identificacao de gargalos e reescrita de codigo para maxima eficiencia de processamento (slots) e custo.
- SQL Procedural e UDFs: Habilidade na criacao de Stored Procedures, Scripts e Funcoes Definidas pelo Usuario (UDFs) em SQL e JavaScript.
  • Google BigQuery (Dominio da Plataforma):
- Arquitetura Interna: Profundo conhecimento sobre o funcionamento do BQ (slots, particionamento, clusterizacao, storage vs. compute).
- Gestao de Custos: Experiencia com os modelos de precos do BQ (On-demand vs. Capacity) para projetar solucoes com custo otimizado.
- Ecossistema GCP: Conhecimento em servicos integrados como Cloud Storage, Dataflow, Cloud Composer e Looker/Looker Studio.
  • Modelagem de Dados:
- Tecnicas Classicas: Expertise em modelos dimensionais (Kimball) para criacao de esquemas Star e Snowflake.
- Modelagem para BigQuery: Aplicacao de tecnicas de desnormalizacao e uso de campos aninhados para otimizar a performance.
  • Ferramentas do Ecossistema SQL-first:
- dbt (data build tool): Experiencia solida e vasta, sendo uma ferramenta central. Dominio de modelos, testes, documentacao e macros em Jinja.
- Orquestracao: Experiencia com Airflow ou Cloud Composer para agendamento de jobs.
- Infraestrutura como Codigo (IaC): Habilidade com Terraform para gerenciar a infraestrutura de dados.

Cadmus