Engenheiro de Dados Sênior
Sobre a vaga:
O Engenheiro de Dados é o responsável pela criação/manutenção da nossa plataforma de dados, por garantir a escalabilidade, economia de recursos, padrões e garantir a disseminação da qualidade técnica do time, e também cooperar com outras equipes alinhadas com estratégias da empresa.
Sua principal missão é garantir que as ações técnicas se encaixem com as ações globais e vice-versa, garantindo que estão sendo tomadas as melhores decisões para o produto no que diz respeito aos sistemas e arquitetura.
Nesta posição, você irá trabalhar no time de Data Management construindo soluções na infraestrutura da plataforma de dados da PicPay com a missão de evoluir a segurança e qualidade do nosso Data-Lake.
Responsabilidade e atribuições:
- Visão analítica e questionadora (ter uma visão a longo prazo);
- Capacidade de planejamento e organização;
- Perfil estratégico, com capacidade entender o contexto de forma empática;
- Difundir conhecimentos ao time;
- Conseguir pensar em uma arquitetura reutilizável;
- Buscar manter a qualidade e performance;
Requisitos e qualificações:
- Visão de produto;
- Python;
- Spark (Databricks/EMR);
- Conhecimento em alguma ferramenta de gerenciamento de fluxo de trabalho como o Apache Airflow;
- Conhecimento em arquitetura em cloud AWS (Lambda, EC2, EMR, S3, MWAA, Lake Formation, Dynamo, Glue);
- Gestão de Acessos;
- DevOps;
- CI/CD;
- Github;
- APIs, Gateways, Micro Serviços e Containers;
- Métricas corporativas, KPI’s e OKRs;
- Métricas de qualidade de dados analíticos;
- Testes unitários;