Especialista em Engenharia de Dados

Job description

Descrição da vaga

Somos mais que uma máquina, somos pessoas que transformam e criam infinitas possibilidades.

Trabalhamos para simplificar e impulsionar negócios para todas as pessoas, oferecendo soluções financeiras inteligentes. Aqui, investimos em tecnologia, promovemos desenvolvimento e fomentamos a inovação para criar novos caminhos possíveis e gerar impacto positivo no mundo.

Na Cielo, a gente trabalha com autonomia para escrever nossa própria jornada, liberdade para ser quem a gente é, e a oportunidade de fazer acontecer. Somos um time que sonha no plural, oferecendo uma experiência completa e focando no bem-estar físico e mental de nossos mais de 6.000 colaboradores e suas famílias.

Acreditamos na inclusão e acolhimento de todas as pessoas, com suas singularidades e diversidade de vivências.

Bora realizar seus sonhos com a gente!

Nesse desafio, você será responsável em criar e evoluir a plataforma de dados (Data Lake), bem como seus pipelines de dados, componentes, frameworks e aceleradores. Também conduzirá e executará projetos técnicos de atividades estruturantes como POCs, ingestão, desenvolvimento e melhoria de componentes de arquitetura, definição de melhores práticas, automações de processos em cloud, documentação e melhoria contínua dos processos, migração de dados e ferramentas para cloud entre outros assuntos relacionados ao mundo de dados a fim de multiplicar os assuntos de dados para toda a comunidade e usuários da plataforma.

Juntos com você, em infinitas possibilidades.

#VemPraCima #VemPraCielo

Main responsibilities

Responsabilidades e atribuições

Tem lugar para você nesse propósito:

Técnicas de modelagem de dados:

1. Realizar o RCA (Root-Cause Analysis) a fim de recomendar soluções para análises e problemas e colaborar com os cientistas de dados na seleção e teste de modelos analíticos;
2. Desenvolvimento de fluxos de ingestão e transformação de dados em ambientes DW/Lake/LakeHouse;
3. Criar e evoluir pipelines de alta complexidade a fim de garantir a qualidade, privacidade e conformidade com regulamentações dos dados armazenados.

Ambientes de Big Data em Nuvem, arquitetura medallion, Lake House e Data Mesh:

1. Arquitetar soluções end to end em fornecedores cloud a fim de assegurar que os processos estejam alinhados.
2. Linguagens de programação Python e PySpark: Orientar no uso dos frameworks a fim de assegurar que sejam utilizados de acordo com a usabilidade da aplicação.

Processo de extração, transformação e carregamento de dados (ETL) batch e Streaming:

1. Orientar na evolução e adaptação das práticas relacionadas a ETL do squad;
2. Versionamento de código e Infraestrutura como código (Git, CI/CD e Terraform);
3. Monitorar e solucionar problemas de CI/CD a fim de assegurar que não afetem os processos e prazos.

Bancos Relacionais, NoSQL/NewSQL, Linguagem SQL e formatos de armazenamento BigData (Delta Lake e Parquet):

1. Analisar, propor e modelar soluções de banco de dados inerentes às formas de manipulação dos dados NoSQL;
2. Desenhar e implementar modelos de dados em diferentes métodos (NoSQL/NewSQL).

Metodologia ágil e sua aplicação:

1. Orientar e otimizar o desenvolvimento do time em relação a agilidade a fim de identificar e evitar riscos e atrasos nas entregas.

Requirements and skills

• Superior completo em Tecnologia da Informação. Desejável Pós graduação em áreas de Dados, Analytics ou afins;
• Sólidos conhecimentos em desenvolvimento de fluxos de ingestão e transformação de dados em ambientes DW/Lake/LakeHouse;
• Versionamento de código e Infraestrutura como código (Git, CI/CD e Terraform);
• Experiência com Linguagens e ferramentas de programação (ex., SQL, Python, Pyspark, entre outras);
• Vivência em ambientes de Big Data em Nuvem (ex.: EMR, Databricks, Glue e Athena) e provedores (ex.: AWS, GCP e Azure);
• Conhecimento da metodologia ágil e sua aplicação;
• Inglês avançado.

Additional information

Informações adicionais:

Por que viver infinitas possibilidades ao nosso lado?

• Assistência Médica e Odontológica​
• Remuneração Variável Anual (PPR)​
• Auxílio Refeição e Alimentação​
• Auxílio Transporte, Fretado ou Estacionamento​
• Auxílio Trabalho Remoto​
• Seguro de Vida​
• Previdência Privada​
• Canal de apoio à especialistas (nutrição, psicologia, ginecologia etc)​
• Campanha de Vacinação​
• Gympass (Auxílio Academia e Bem-estar)
• Programa de Gestação Saudável
• Licença Maternidade e Paternidade estendida
• Auxílio Creche
• Dress Code Flexível
• Horário Flexível
• Sexta-curta
• Almoço estendido (1h30)

#J-18808-Ljbffr

Location: Brasil, BR

Posted Date: 11/23/2024