Engenheiro de dados Sênior | Para Mulheres ou Pessoas Pretas e Pardas

Responsabilidades e atribuições

• Construir, sustentar e evoluir a infraestrutura do Data Lake;
• Implementar sistemas e rotinas de monitoramento (dados, aplicações, queries etc);
• Ajudar na definição da arquitetura e construção de nossos pipelines de dados;
• Implementar rotinas de migração, tratamento e armazenamento de dados (ETL);
• Desenvolver fluxos de ingestão entre diferentes fontes de dados (RDS, APIs externas etc) para o Data Lake;
• Monitorar, analisar e propor correções de bugs e exceções reportadas em produção;
• Auxiliar a desenvolver uma cultura Data Driven, proporcionando autonomia dos times no fornecimento, ingestão e transformação dos dados.

Requisitos:

• Conhecimento em Python;
• Conhecimento em banco de dados SQL e NoSQL (PostgreSQL, Amazon Aurora, DynamoDB ou similares);
• Conhecimento de ferramentas AWS (DMS, S3, RDS, Glue, Athena etc);
• Conhecimento em ferramentas de orquestração de workflows (Airflow ou similares);
• Experiência com práticas de DevOps e infraestrutura como código (Terraform);
• Experiência com integração continua e deploy na nuvem;
• Experiência com Datalake;

Diferenciais

• Processamento de dados via streaming;
• Kubernetes;
• Experiência com Spark;
• Engines de Datalake;
• Governança de Dados;
• Experiência com Ciência de Dados;