Pessoa Engenheira de Dados Sênior

Como Pessoa Engenheira de Dados na A3, você irá:

• Desenvolver e otimizar consultas SQL e jobs PySpark, garantindo a performance e otimização de custos computacionais;
• Criar e manter pipelines de dados eficientes e escaláveis, garantindo a integridade e qualidade dos dados;
• Implementar e monitorar processos de ingestão, transformação e disponibilização de dados;
• Trabalhar com grandes conjuntos de dados em ambientes distribuídos, aplicando boas práticas de particionamento, cache e tuning de jobs.

O que precisamos que você tenha (requisitos):

AWS Core

• EC2: Tipos de instância, auto scaling, AMIs, EBS, rightsizing, Spot Instances.
• S3: Classes de armazenamento (Standard, IA, Glacier), políticas de ciclo de vida, versionamento, replicação, custo por operação.
• CloudWatch: Monitoramento de uso e criação de alarmes para consumo atípico.
• Cost Explorer / AWS Budgets: Análise de custos, tagging, e relatórios de utilização.
• Trusted Advisor: Uso para recomendações de economia.

Otimização e FinOps

• Rightsizing: Identificação de superprovisionamento e sugestões com base em métricas.
• Savings Plans e Reserved Instances: Cálculo de economia e viabilidade de contratação.
• Spot Instances: Estratégias para workloads tolerantes a interrupção.
• Análise de gráficos de utilização de CPU, memória e rede para EC2.
• Aplicação de políticas de ciclo de vida e armazenamento inteligente no S3.

Data Engineering / Infraestrutura

• Conhecimento básico de clusters (ex: EMR, EKS ou Spark standalone).
• Conceitos de slots, pods, nós e tuning de recursos em orquestradores (Kubernetes/ECS).
• Familiaridade com serviços de ingestão/transporte de dados: Glue, Lambda, DMS, Kinesis

Vamos ficar felizes se você tiver (diferencial):

• Certificação AWS.