Ad
Engenheiro de Dados Senior We Hunt
- Empresa: We Hunt
- Salário: 20000 - 20000
São Paulo
Descrição
Perfil Senior em:
Pyspark (spark + python), sql, uso de notebook (pode ser jupyter) e databricks.
Resumo das atividades:
Desenvolvimento de Pipelines de Dados: Criação de pipelines escaláveis, integrando múltiplas fontes de dados para construção de Data Lakes.
Modelagem de Dados : Experiência na construção de Data Warehouses (DW) utilizando modelagem dimensional e normalização, com habilidades em design de esquemas e arquitetura para suportar analytics.
Engenharia de Dados: Desenvolvimento em Python, PySpark e SQL, com experiência em frameworks de processamento de dados em larga escala. Databricks e Unity Catalog: Experiência na criação e gerenciamento de pipelines com Apache Spark e uso do Unity Catalog para governança centralizada de dados, incluindo controle de acessos, rastreamento de linhagem e segurança de dados.
Governança de Dados: Implementação de frameworks de governança, catalogação, controle de qualidade e gestão de metadados, garantindo conformidade e segurança.
Ad
Ad