Ver todas vagas

Staff Data Engineer - Plataforma de Dados

Sobre o time:

O time de engenharia de dados da Conta Simples é responsável por todos os pipelines de dados que alimentam o nosso data lake, realizando a ingestão e a criação de visões refinadas para o negócio, além da manutenção e evolução das ferramentas que viabilizam o consumo destes dados para manipulação e análises. Nosso foco está em garantir a confiabilidade das informações e a estabilidade da nossa plataforma.

Desafios da posição:

Elevar o nível técnico de nosso time de dados;
Zelar pela qualidade e eficiência da plataforma;
Arquitetar e implementar soluções escaláveis, seguras e eficientes;
Definir padrões e apoiar na adoção de boas práticas de dados;
Comunicação constante e troca de conhecimento dentro e foram do time.

Seu dia a dia na Conta Simples:

Como Staff Data Engineer para Plataforma de Dados, você liderará tecnicamente nosso time de engenheiros de dados, definindo padrões e trazendo boas práticas para os nossos processos. Também irá atuar de maneira muito próxima ao time de plataforma para garantir a sinergia entre os padrões utilizados pelo time de tecnologia da Conta Simples e a nossa plataforma de dados, prezando pela qualidade, observabilidade e eficiência de custos.

Em nossa stack utilizamos principalmente Airflow, Superset, PySpark, Iceberg, Athena, EMR, Lambda e StepFunctions em ambiente AWS.

O que esperamos de você:

Ótimos conhecimentos em SQL, Python, Spark/PySpark e Linux;
Conhecimentos amplos em AWS, preferencialmente: IAM, EC2, Athena, DynamoDB, RDS, S3, EMR, Lambda, StepFunctions, Lake Formation, CloudWatch, Kinesis;
Experiência com Prometheus, Grafana, CloudTrail;
Experiência na manutenção de ferramentas de dados, como Airflow, Superset, Datahub, etc...;
Experiência com bancos relacionais e NoSQL;
Experiência na criação de pipelines CI/CD;
Experiência em Kubernetes;
Experiência em Terraform;
Experiência com Github Actions;

Será diferencial se você tiver: