Data Engineer Sênior - GCP (Google Cloud Plataform)

Responsabilidades:

• Responsável por exercer a liderança técnica da equipe, liderando tecnicamente o controle, administração e estabelecimento dos métodos e modelos de dados diversos;
• Apoiando a gestão dos bancos de dados, prestando informações para a definição de atributos, padrões de nomenclaturas de dados e procedimentos;
• Liderando tecnicamente o desenvolvimento de projetos relacionados a dados, como os de manipulação e automação de dados para extração de insights;
• Zelando pelos mecanismos e garantias de segurança dos bancos de dados e integridade das informações, bem como realizando demais atividades correlatas e inerentes ao cargo;
• Migrar os pipelines de dados atuais para novos pipelines utilizando as ferramentas da GCP;
• Desenvolver e manter scripts em Python para automatizar processos de ETL/ELT;
• Gerenciar e monitorar a infraestrutura de dados na nuvem, utilizando ferramentas como Terraform;
• Projetar e implementar soluções de armazenamento, processamento e análise de dados escaláveis e de alta performance;
• Colaborar com a equipe de engenharia de dados para definir e implementar as melhores práticas;
• Garantir a qualidade, segurança e integridade dos dados;
• Documentar processos e soluções implementadas.

Requisitos:

• Experiência sólida como Engenheiro de Dados, atuando com a plataforma Google Cloud Platform (GCP);
• Conhecimento avançado em Python para gerenciar Data Proc e Cloud Composer (Airflow);
• Habilidades em migração de dados, incluindo migração de pipelines ETL/ELT existentes para novos pipelines;
• Capacidade de criar automações utilizando Cloud Composer (Airflow);
• Experiência com gerenciamento de infraestrutura via Terraform;
• Habilidades em criação de scripts para migração e ingestão de dados;
• Sólido conhecimento em bancos de dados (preferencialmente Cloud SQL);
• Vivência atuando como Site Reliability Engineer (SRE) com foco em dados;
• Experiência com práticas de engenharia de dados, como modelagem dimensional, processamento de big data, etc;
• Inglês intermediário.