Engenheiro de Dados Pleno

 Sobre o time:  o time de Data Platform é responsável por manter e evoluir a Plataforma de Dados usada pela Neon para a criação de processos, análises para embasar decisões, exploração e experimentação de oportunidades e visibilidade de resultados e desempenho de negócio. Nossa plataforma oferece ferramentas para que cada área da empresa possa gerenciar seus próprios dados de forma autônoma. Isso permite um compartilhamento eficiente e seguro de informações entre as áreas, promovendo uma cultura colaborativa e data-driven.

Responsabilidades

• Projetar, construir e manter pipelines de dados escaláveis, eficientes e estáveis;
• Desenvolver e otimizar arquiteturas de serviços e dados, garantindo qualidade e governança;
• Colaborar com times de Produto, Engenharia e Negócios da Neon para entender necessidades e traduzir em oportunidades de melhorias em nossa Plataforma de Dados;
• Assegurar a escalabilidade, estabilidade e observabilidade da plataforma de dados;
• Participar de discussões e decisões sobre funcionalidades da plataforma, arquitetura de dados e melhores práticas do time;
• Atuar em eventuais incidentes para assegurar o retorno da normalidade de seu funcionamento o mais rápido possível, assim como os consecutivos passos de post mortem e mitigação de causas raiz de problemas.

  Requisitos

• Experiência em infraestrutura e arquitetura de ferramentas dedicadas à Engenharia de Dados;
• Conhecimento em técnicas e boas práticas de escalabilidade, estabilidade e observabilidade de plataformas;
• Banco de Dados e SQL: Sólidos conhecimentos em bancos de dados relacionais e manipulação de dados usando SQL. Familiaridade com bancos de dados NoSQL.
• Orquestração de Pipelines: Experiência com Apache Airflow ou outras ferramentas de orquestração de workflows para gerenciar e programar pipelines de dados.
• Conhecimento em linguagens de programação como Python, Java, Scala ou similares;
• Experiência com ferramentas de ETL/ELT, processamento de dados em larga escala e arquiteturas de data lake (spark / pyspark );
• Familiaridade com ambientes de nuvem (preferencialmente AWS), ferramentas de infraestrutura como código e plataforma de orquestração de containers;
• Experiência com Kubernetes
• Experiência com práticas DevOps
• Habilidade para trabalhar de forma colaborativa em um ambiente dinâmico e multifuncional;
• Habilidades de comunicação e capacidade de traduzir necessidades e desafios de pessoas usuárias em requisitos técnicos.