Engenheiro de Dados Sênior
Você será responsável por:
Desenvolvimento de Pipelines de Dados:
• Projetar, construir e manter pipelines de dados escaláveis e eficientes para suportar processos de ETL (Extract, Transform, Load).
• Automatizar o fluxo de dados entre sistemas diferentes e garantir a integridade e qualidade dos dados.
Manipulação e Consulta de Dados:
• Criar, otimizar e manter consultas SQL complexas para extração e transformação de dados.
• Desenvolver scripts e soluções em Python para manipulação e análise de grandes volumes de dados.
Orquestração de Workflows:
• Implementar e gerenciar fluxos de trabalho usando Apache Airflow, garantindo a execução eficiente e monitoramento de tarefas.
Modelagem e Transformação de Dados:
• Utilizar dbt (data build tool) para modelar, transformar e documentar conjuntos de dados, promovendo a reutilização e consistência de dados.
Otimização e Formatação de Dados:
• Trabalhar com formatos de dados eficientes, como Parquet, para otimizar o armazenamento e a consulta de grandes conjuntos de dados.
Integração e Interoperabilidade:
• Integrar diferentes tecnologias de processamento de dados, como Trino, para garantir a interoperabilidade entre diferentes sistemas de banco de dados.
Esperamos de você:
- Mínimo de 5 anos de experiência como engenheiro de dados ou em uma posição similar, com histórico comprovado em desenvolvimento de pipelines de dados robustos.
- Domínio de SQL para criação de consultas complexas e otimização de desempenho.
- Sólida experiência em Python, com capacidade para desenvolver scripts e automações para processamentos de dados.
- Experiência prática com Apache Airflow para orquestração de workflows de dados.
Conhecimentos que te destacam:
- Habilidades analíticas e de resolução de problemas avançadas.
- Capacidade de trabalhar de forma colaborativa em um ambiente de equipe multidisciplinar.
- Habilidade para documentar processos e explicar soluções complexas para públicos não técnicos.
- Conhecimento em ambiente de produção ou estudos com o dbt.