Analytics Engineer Specialist

Qual será seu papel no time?

• Desenvolver e implementar soluções de engenharia dados de ponta a ponta que estejam alinhadas com as metas e objetivos da organização;
• Colaborar com proprietários de dados, guardiões de dados e usuários de dados para estabelecer padrões de qualidade de dados;
• Ajudar a área de R&D a construir produtos de dados que estejam monitorados, seguros, governados e dentro de um custo aceitável;
• Contribuir com indicadores de desempenho e métricas de qualidade de dados, garantir a conformidade com políticas, procedimentos, padrões e responsabilidades relacionadas a dados e requisitos de adoção;
• Dar contínuo feedback de melhoria nos processos e arquitetura de dados que envolve o ecossistema de trabalho da GAIA - Data Lake, ADF, Databricks, SODA e etc.
• Será referência técnica e terá a responsabilidade de desenvolver tecnicamente a equipe, orientando e ensinando na tomada de decisões sobre a construção, melhoria e otimização dos pipelines e dashboards.

O que esperamos de você:

• Capacidade analítica técnica e de negócio em relação aos ativos de dados;
• Experiência em implementação do zero e manutenção de pipelines de dados e criação de camadas no data lake;
• Experiência com bancos de dados como SQL, Snowflake, Postgre, por exemplo;
• Experiência em tecnologias de análise de dados (banco de dados SQL e Python, Spark, Hadoop);
• Experiência com integração e qualidade de dados;
• Capacidade para atuar na melhoria do processo de Engenharia de Dados com base nas melhores práticas de mercado;
• Excelente capacidade de comunicação e relacionamento;
• Vasto conhecimento com paradigmas de programação como orientação a objetos e funcional;
• Experiência prática com ferramentas de pipeline de dados em ambientes baseados em nuvem como Airflow;
• Forte compreensão de vários formatos de dados, como CSV, XML, JSON, etc;
• Tenha experiência com o sistema de controle de versão Git e capacidade de ajudar outras pessoas na solução de problemas;
• Tenha experiência em trabalhar com CI/CD;
• Experiência com ferramentas open source de data warehouse;
• Experiência no desenvolvimento de alguma plataforma de dados em nuvem Azure;
• Experiência em integração com plataformas de streaming de dados, como Kafka, Flink e Storm.
• Experiência com modelagem em camadas e otimização de processos de ingestão e processamento em Big Data, utilizando técnicas como compactação, dimensionamento de arquivos e princípios ACID.

E será um diferencial se você:

• Conhecimentos com ambientes de dados na Azure, incluindo Azure Databricks, Data Factory, PowerBI e/ou similar
• Familiaridade com ferramentas de visualização de análitica, como (Tableau, Power BI, Excel, SAS VA)
• Conhecimento em bancos de dados NoSQL (Cassandra, HBase, MongoDB)