Data Engineer Sênior

O Que Você Vai Fazer

• Desenvolver e manter pipelines de dados estruturados e desestruturados, aplicando as melhores práticas de ETL/ELT.
• Mapear tabelas raw no SAP e automatizar processos de ingestão de dados no GCP.
• Realizar modelagem dimensional para otimizar o armazenamento e a recuperação de dados.
• Trabalhar com feature engineering, criando variáveis relevantes e significativas para análises avançadas.
• Gerenciar bancos de dados relacionais e chave-valor, garantindo eficiência e escalabilidade.
• Construir data pipelines para coleta, transformação e carga de dados provenientes de APIs e sistemas externos.
• Lidar com filas e streaming para o processamento de dados em tempo real.
• Desenvolver soluções de engenharia de dados em Python, Java ou Scala.
• Trabalhar com arquitetura de Data Plataforma, Data Warehouse e Data Lake.
• Implementar e manter bancos de dados SQL e NoSQL em plataformas de nuvem como GCP e AWS.
• Utilizar ferramentas de ETL/ELT para automatizar processos de ingestão e transformação.
• Implementar práticas de DataOps para melhorar a eficiência dos pipelines de dados e permitir self-service analytics.

O Que Estamos Buscando

• Inglês fluente.
• Formação superior ou pós-graduação em Matemática, Estatística, Tecnologia da Informação ou áreas correlatas.
• Sólida experiência com GCP (BigQuery, Cloud Storage, Cloud Functions).
• Modelagem dimensional para otimizar o armazenamento de informações.
• Feature engineering e criação de variáveis relevantes.
• Gerenciamento de bancos de dados relacionais e chave-valor.
• Construção de data pipelines para coleta, transformação e carga de dados.
• Extração de dados de APIs e integração com sistemas externos.
• Manipulação de filas e streaming para processamento em tempo real.
• Ferramentas de ETL/ELT e automação de pipelines de dados.
• Desenvolvimento em linguagens como Python, Java e Scala.
• Arquitetura de Data Plataforma, Data Warehouse e Data Lake.
• Bancos de dados SQL e NoSQL, para manipulação e transformação de dados.
• Ferramentas de versionamento para controle de código.
• Práticas de DataOps para otimização de ETL e habilitação de self-service analytics.
• Conhecimento em LGPD e melhores práticas de proteção de dados.