Latest news

Big Data Engineer

Oportunidade de emprego Big Data Engineer Xpand IT

Big Data Engineer

Problemas complexos exigem a experiência certa! Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): VolumeVelocidade e Variedade.  

Na Xpand IT, a área tecnológica de Big Data desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Apache Hadoop, Confluent, Cassandra, MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks. 

QUAIS AS PRINCIPAIS RESPONSABILIDADES?

Enquanto Big Data Engineer vais ter um papel essencial juntamente com os Big Data Administrators para em conjunto desenvolverem soluções de software, aplicando as melhores práticas em termos de desenho e arquitetura de sistemas distribuídos de grande escala. Será tua responsabildade também garantir o desempenho e a escalabilidade do software que interage com os sistemas backend Big Data, contribuindo para a manutenção da performance geral do sistema. 

Diariamente serás responsável por: 

  • Implementar soluções de software em que é fulcral a performance do carregamento, pré-processamento e ingestão de grandes volumes de dados em clusters Big Data
  • Desenhar  e desenvolver soluções de software robustas e escaláveis, independentemente da quantidade de dados a processar
  • Implementar boas práticas e padrões de desenho das soluções Big Data no software produzido
  • Análisar problemas complexos que necessitam de soluções eficientes para manipular grandes quantidades de informação.
  • Desenvolver modelos e organização de estruturas de dados que otimizem as operações de “pesquisa” e “armazenamento” em sistemas distribuídos de grande escala
  • Desenhar e desenvolver de APIs de comunicação entre os sistemas de backend Big Data e sistemas externos através de protocolos de comunicação standard

// Stacks tecnológicas: Java; Scala; HDFS, Hive, Impala, Spark, Kafka/Confluent; MongoDB, Cassandra, HBase

Big Data Engineer Apache Spark
Big Data Engineer Kafka
Big Data Engineer HBase
Big Data Engineer Hive
Big Data Engineer Confluent
Big Data Engineer MongoDB
Big Data Engineer Cassandra

QUE SKILLS PRECISAS DE TER?

  • Licenciatura e/ou Mestrado em Informática e ComputadoresSistemas de Informação ou Ciência da Computação. 
  • Fortes conhecimentos de sistemas operativos Linux. 
  • Experiência com tecnologias baseada em Java (JBoss, Spring, Spring MVC, Hibernate) 
  • Experiência na definição de interfaces de comunicação utilizando standards (XML, JSON, SOAP) 
  • Experiência na implementação de padrões de desenho em soluções de software avançadas (mutli-threaded, multi-process, multi-cloud). 
  • Experiência em bases de dados relacionais e não relacionais (SQL, MySQLNoSQLHadoopMongoDB) 
  • Elevada experiência no uso de ferramentas Eclipse, MavenJenkins, GIT, JIRA ou equivalentes 
  • Boa capacidade de comunicação e facilidade em trabalhar em equipa, com foco na resolução de problemas complexos
  • Fluente em Inglês (escrito e falado)

// Pontos extra para: 

  • Conhecimento ou experiência na utilização de frameworks como Apache Spark, Kafka ou o ecossistema Hadoop

// Sabe mais sobre a área de Big Data 

Candidata-te aqui

Na Xpand IT enquanto Big Data Software Engineer sou desafiado todos os dias a criar sistemas de processamento de dados escaláveis e robustos que são a base para tomar decisões data-driven

André Pires, Big Data Software Engineer @Xpand IT
André Pires Xpand IT

Há vídeos que valem mais do que mil palavras…

Xpand IT: You Have to Live it!

Summer Trip anual

Be an Xpander

Recrutamento

Life at Xpand IT

XTech Community

Meetup

Catarina RochinhaBig Data Engineer

Read more in

Want to get amazing Big Data, Business Intelligence, Middleware
Mobile articles & news directly from our experts?
Subscribe to our blogs now.