Imagem exibindo o logotipo Trampe de Casa

Engenheiro de Dados Sênior

Você será responsável por:

Desenvolvimento de Pipelines de Dados:

• Projetar, construir e manter pipelines de dados escaláveis e eficientes para suportar processos de ETL (Extract, Transform, Load).

• Automatizar o fluxo de dados entre sistemas diferentes e garantir a integridade e qualidade dos dados.

Manipulação e Consulta de Dados:

• Criar, otimizar e manter consultas SQL complexas para extração e transformação de dados.

• Desenvolver scripts e soluções em Python para manipulação e análise de grandes volumes de dados.

Orquestração de Workflows:

• Implementar e gerenciar fluxos de trabalho usando Apache Airflow, garantindo a execução eficiente e monitoramento de tarefas.

Modelagem e Transformação de Dados:

• Utilizar dbt (data build tool) para modelar, transformar e documentar conjuntos de dados, promovendo a reutilização e consistência de dados.

Otimização e Formatação de Dados:

• Trabalhar com formatos de dados eficientes, como Parquet, para otimizar o armazenamento e a consulta de grandes conjuntos de dados.

Integração e Interoperabilidade:

• Integrar diferentes tecnologias de processamento de dados, como Trino, para garantir a interoperabilidade entre diferentes sistemas de banco de dados.

Esperamos de você:

  • Mínimo de 5 anos de experiência como engenheiro de dados ou em uma posição similar, com histórico comprovado em desenvolvimento de pipelines de dados robustos.
  • Domínio de SQL para criação de consultas complexas e otimização de desempenho.
  • Sólida experiência em Python, com capacidade para desenvolver scripts e automações para processamentos de dados.
  • Experiência prática com Apache Airflow para orquestração de workflows de dados.

Conhecimentos que te destacam:

  • Habilidades analíticas e de resolução de problemas avançadas.
  • Capacidade de trabalhar de forma colaborativa em um ambiente de equipe multidisciplinar.
  • Habilidade para documentar processos e explicar soluções complexas para públicos não técnicos.
  • Conhecimento em ambiente de produção ou estudos com o dbt.

Empresa: BairesDev

Trabalhe de Casa Arquiteto Python / Ref. 0071P

Contratação: Integral
title

Empresa: Grupo Primo

Front-end Engineer Pleno

Contratação: Integral
title

Conexa

Conexa

  • top 100 brasilícone de verificado
  • ícone de verificado
  • ícone de verificadoConexa
  • ícone de verificadoA combinar

Compartilhar