Engenheiro de Dados – TI N/I

Descrição da vaga:

O profissional irá atuar na construção, sustentação e evolução da plataforma de dados da organização, garantindo que os dados estejam disponíveis, confiáveis, seguros e performáticos para suportar a tomada de decisão e a geração de valor para o negócio.

Nas rotinas irá trabalhar com tecnologias como Snowflake, DBT, Airflow (Composer), Spark (DataProc) e Google Cloud Storage, garantindo a qualidade, integridade e escalabilidade dos dados, além de atuar na otimização de performance e controle de custos da plataforma. Também será responsável pela implementação de novas ingestões de dados e evolução contínua dos pipelines existentes.

Além da atuação técnica, o papel envolve monitoramento contínuo dos pipelines, identificação e resolução proativa de incidentes, e suporte às áreas usuárias no acesso, entendimento e uso das ferramentas e dados disponíveis, contribuindo para a disseminação de uma cultura orientada a dados em toda a organização.

Responsabilidades:

• Desenvolver e implementar pipelines de dados escaláveis e eficientes para ingestão, transformação e disponibilização de dados, utilizando ferramentas como Airflow (Composer), DBT, Spark (DataProc) e integrando com Snowflake e Google Cloud Storage.Atuar de forma preventiva e consultiva na identificação, avaliação e tratamento de riscos de segurança da informação;
• Garantir o funcionamento contínuo dos pipelines de dados existentes no Snowflake, realizando correções, ajustes e melhorias para assegurar estabilidade, confiabilidade e disponibilidade dos dados;
• Desenvolver e integrar novas fontes de dados à plataforma, garantindo qualidade, padronização e aderência às boas práticas de engenharia de dados;
• Monitorar pipelines de dados de forma contínua, identificando falhas, gargalos e inconsistências, atuando de forma proativa na resolução de incidentes e prevenção de problemas recorrentes;
• Analisar e melhorar o desempenho dos pipelines e consultas em Snowflake e outros componentes da arquitetura, garantindo eficiência no processamento e consumo de dados;
• Monitorar e otimizar o consumo de recursos na plataforma de dados (principalmente em cloud), propondo melhorias para redução de custos buscando um equibilibrio entre performance e qualidade do servio prestado;
• Utilizar Azure DevOps para versionamento, controle de mudanças e gestão de entregas, garantindo rastreabilidade e boas práticas de desenvolvimento;
• Criar e manter documentação clara e atualizada sobre pipelines, fontes de dados, regras de transformação e arquitetura de dados, facilitando a manutenção e o uso por outros times.

Requisitos e qualificações:

• Fundamentos de Engenharia de Dados (Data Pipelines, ETL/ELT, Data Lakes e Data Warehouses);
• Arquitetura de Dados em Cloud (GCP e Azure);
• Modelagem de Dados (dimensional, Data Vault, modelagem analítica com DBT);
• DataOps e práticas de CI/CD para dados;
• Python para Engenharia de Dados (ETL, automação, APIs);
• SQL avançado (otimização de queries, análise e transformação de dados);
• Git e versionamento de código;
• Snowflake administração, performance tuning e modelagem;
• DBT desenvolvimento de modelos, testes e documentação;
• Airflow orquestração de pipelines, DAGs e boas práticas;
• Spark processamento distribuído e otimização.

Benefícios:

• Salário compatível com o mercado;
• Participação dos lucros e resultados;
• Vale Alimentação – com 13ª e 14ª cestas complementares;
• Vale Refeição;
• Assistência Médica e Odontológica;
• Auxílio Creche;
• Seguro de vida;
• Total Pass;
• Licença Maternidade/Paternidade estendida;
• PAE – Programa de Assistência ao Empregado: apoio aos colaboradores e seus familiares, com assistência jurídica, social, psicológica e financeira;
• Day Off Aniversário.