Engenheiro de Dados

Responsabilidades e Atribuições 

• Participar ativamente da construção da maior plataforma de dados de frete da América Latina;
• Realizar o desenvolvimento e sustentação de pipeline de dados (ETL/ELT/EL), com orquestrações em estratégia Datalake/Lakehouse;
• Realizar o desenvolvimento e sustentação de processos batch, real time e observabilidade, utilizando-se de arquitetura Kappa e Lambda em Cloud AWS;
• Realizar automatizações em ambiente Cloud AWS;
• Apoiar os times da Comunidade de Dados - ED (Engenharia de Dados), DS (Data Science) e B.I em fluxos de Analytics (levantamento de requisitos com foco em resolução de problemas);
• Garantir que os códigos entregues estejam em conformidade com as boas práticas e padrões estabelecidos pelo time de Engenahria de Dados;
• Quebrar as estórias em tarefas de tamanho adequado e ajuda o time fazer o mesmo;
• Apoia o time na utilização das ferramentas e tecnologias homologadas dentro do time, garantindo a aderência aos processos e diretrizes de Engenahria de Dados;
• Remove proativamente impedimentos nas definições das tarefas;
• Entrega novas funcionalidades e projetos de alta complexidade com autonomia;
• Contribui com a implementação de melhorias no processo de trabalho do time de Engenahria de Dados;
• Garante que as entregas estejam de acordo com as premissas de confiabilidade estabelecidas pelo time de Engenahria de Dados e Governança de Dados.

Habilidades e pré-requisitos 

• Proficiência em Python;
• Experiência com PySpark;
• Experiência avançada em BDs (NoSQL e Relacional);
• Experiência avançada em SQL para cenários de Datalake/Lakehouse e integrações com tecnologias DataViz;
• Experiência com Datalake; Experiência com Kafka;
• Experiência com as principais tecnologias de pipeline de dados (Airflow e/ou DMS e/ou Airbyte);
• Experiência intermediário em cloud (preferencialmente AWS);
• Experiência em GIT (Gitlab ou Github);
• Experiência em microsserviços;
• Experiência em Docker; Conhecimento em políticas de governança de dados, assim como conceitos LGPD / GDPR.