Engenheiro(a) de Dados

Com mais de 12 anos no mercado, a MESHA Tecnologia se destaca em sua essência por carregar valores que prezam principalmente pela diversidade, valorização do lado humano e meritocracia, construindo assim um relação familiar entre os colaboradores, trabalhando com alocação presencial e remota de Squads e alocação de profissionais na área de TI.

Responsabilidades:

• Liderança e elaborar pipeline completa de dados junto com nossos desenvolvedores e cientistas de dados;
• Resolver impedimentos;
• Desenvolver e manter ETLs e Pipelines utilizando o ambiente de Data Lake da Azure;
• Gerenciar volume, variedade, velocidade e veracidade dos dados;
• Implementar mecanismos de segurança para acesso aos dados;
• Desenvolver mecanismos de monitoramento e execução dos sistemas e das pipelines.

Requisitos:

• Experiência com processo de ingestão de dados em ambientes de Data Lake;
• Experiência com programação em Python;
• Experiência com Pyspark;
• Conhecimento em modelagem dimensional;
• Conhecimento em banco de dados NoSQL e SQL;
• Computação em nuvem com Azure;
• Práticas de DevOps e infraestrutura como código (Docker, etc.);
• Arquitetura e estruturas de dados.

Desejáveis:

• Experiência em pipelines de fluxo de dados utilizando ferramentas de ETL como Pentaho, SSIS, etc;
• Conhecimento em tecnologias de Big Data incluindo Hadoop, Spark;
• Experiência nas ferramentas de tecnologias de Dados da Azure (Data Lake Storage, Azure Data Factory, Synapse Analytics, Azure Databricks);
• Ter atuado previamente na construção de um Data Lake;
• Controle de versões Git.