Engenheiro(a) de Dados Pleno (Azure/databricks) N/I

Que tal fazer parte do nosso time como Engenheiro(a) de Dados Pleno (Azure/Databricks)?

Sua missão será atuar diretamente na implementação e otimização de soluções avançadas de dados em ambientes Databricks, com foco na integração entre dados e as estratégias de negócio da organização. Além de garantir eficiência e escalabilidade, a atuação buscará promover a melhoria contínua dos processos de coleta, transformação, armazenamento e disponibilização de dados, sempre alinhados às necessidades do negócio.

Essa é uma oportunidade PJ no modelo remoto.

RESPONSABILIDADES E ATRIBUIÇÕES

Como Engenheiro(a) de Dados Pleno (Azure/Databricks), você focará em:

• Desenvolver e a implementar soluções técnicas avançadas para obtenção, processamento e armazenamento de dados, alinhadas com as necessidades e estratégias específicas do negócio.
• Definir camadas de dados e seu respectivo uso.
• Criar contratos de dados, documentações técnicas e regras de validação.
• Desenvolver algoritmos para acesso e manipulação de dados brutos, impulsionando a tomada de decisão estratégica.
• Automatizar e otimizar fluxos e processos de dados, buscando constantemente melhorias de desempenho.
• Entender dos dados da organização e liderar a estratégia e implementação do ambiente de Data Lake.
• Projetar e implementar processos de ETL/ELT escaláveis, resilientes e eficientes, suportando as demandas analíticas.
• Gerenciar a aquisição de dados, identificando e avaliando fontes relevantes e implementando mecanismos para garantir sua qualidade e relevância.

REQUISITOS E QUALIFICAÇÕES

Como requisitos básicos, buscamos:

• Domínio do Ecossistema Databricks & PySpark: Experiência sólida no desenvolvimento de processamento distribuído, otimização de jobs e manipulação de grandes volumes de dados.
• Desenvolvimento de Aplicações de Dados: Experiência com Databricks Apps ou Streamlit para criação de interfaces e dashboards interativos.
• Construção de Pipelines de Dados: Capacidade de desenhar e implementar fluxos de dados ponta a ponta (Ingestão, Transformação e Carga).
• DevOps & Versionamento: Domínio de Git/GitHub e implementação de fluxos de CI/CD para garantir deploys seguros e automatizados.
• Inglês Fluente: Capacidade técnica e comportamental para participar ativamente de reuniões, apresentações e negociações técnicas totalmente em inglês.

Você se destaca se tiver:

• Infraestrutura como Código (IaC): Conhecimento em Terraform para provisionamento e gestão de recursos em cloud.
• Experiência em Azure Cloud: Proficiência em serviços de dados da plataforma, com foco em Azure Data Factory (ADF) para orquestração de pipelines complexos.
• Processamento de Dados Não Estruturados: Experiência no tratamento de imagens, vídeos, PDFs ou logs complexos.
• Fundamentos de Redes: Conhecimento em VNETs, Subnets, Private Links e conectividade segura em ambiente cloud.
• Frameworks de Qualidade: Experiência com frameworks de Data Quality (como DQX) para governança e confiabilidade dos dados.

Se inscreva e embarque nessa jornada com a gente!