Ana Lamelas

7 passos para implementar um projeto de Data Science

Entende-se por data science o conjunto de métodos e processos aplicados a um problema complexo e concreto, com o intuito de o resolver. Pode ser utilizada a inferência de dados, o desenvolvimento de algoritmos e a tecnologia para analisar os dados recolhidos e entender alguns fenómenos, identificando padrões. É necessário que os data scientists tenham conhecimentos matemáticos e tecnológicos, e que tenham o mindset certo para atingir os resultados esperados.

O objetivo, no fundo, é que, através da unificação de conceitos como a estatística, a análise de dados e o machine learning, se possam desvendar comportamentos, tendências ou inferências em determinados dados, que não seriam possíveis identificar mediante uma análise simples. É a descoberta de valiosos insights que permitirá às empresas tomar melhores decisões de negócio e potenciar investimentos importantes.

Neste blog post desvendamos 7 passos importantes para que um projeto de data science possa ser implementado de forma a alcançar o sucesso.

1. Definir o tópico de interesse /pain-points da empresa

Para dar início a um projeto de data science é necessário perceber o que se estará a tentar descobrir. Que problema apresenta a empresa ou que objetivos se pretende atingir? De que tempo a empresa dispõe para trabalhar neste projeto? Como irá ser medido o sucesso?

Por exemplo, a Netflix utiliza técnicas avançadas de análise de dados  para descobrir padrões de visualização por parte dos seus clientes, de forma a tomar decisões mais acertadas sobre as séries que produzirá de seguida; já a Google utiliza algoritmos de data science para aprimorar a colocação e demonstração de banners em display, seja publicidade ou re-targetting

2. Obter os dados necessários

Depois de definido o tópico de interesse, o foco passa a estar na recolha dos dados fundamentais para elaborar o projeto, provenientes das bases de dados disponíveis. Existem inúmeras fontes de dados, sendo que as mais comuns são bases de dados relacionais, sendo que existem também fontes de dados semi-estruturadas. Outra forma de recolher os dados necessários é efetuar as ligações adequadas a web APIs ou retirar diretamente dos websites que se pretendam eventualmente analisar (web scraping).

3. “Polir” os dados recolhidos

Este é o passo seguinte – e o que se revela mais natural – já que depois de extraídos os dados das suas bases originais, é necessário filtrá-los. Este processo é indispensável, uma vez que ao analisar dados sem relevância os resultados poderão ser desvirtuados.

Em alguns casos, será necessário alterar dados e colunas, para verificar se não existem variáveis em falta. Por isso, um dos passos a ter em conta é a junção de informação proveniente de diversas fontes, para que, no final, se possa trabalhar com uma boa base, criando um workflow eficiente.

É, também, conveniente que os data scientists tenham conhecimento acerca de algumas ferramentas, como Python ou R, que lhes permitam realizar a tarefa de “polir” os dados da forma mais eficiente.

4. Explorar os dados

Quando os dados extraídos estiverem prontos e “polidos”, é necessário proceder a uma análise. Cada tipo de fonte de dados tem características diferentes, o que implica que tenham um tratamento também diferente. Neste ponto, o fundamental é que se criem estatísticas descritivas e que se testem hipóteses – variáveis significantes.

Depois de testadas algumas variáveis, o próximo passo é colocar os dados obtidos num software de data visualisation, para que se consiga encontrar algum padrão ou tendência.  E, agora sim, podemos passar para a inclusão da inteligência artificial e do machine learning.

5. Criar modelos analíticos avançados

Esta é a parte em que se modelam os dados recolhidos, tratados e analisados. É o momento de criar modelos para que se possam, por exemplo, predizer resultados futuros. No fundo, é nesta fase que os data scientists utilizam fórmulas de regressão e algoritmos para que se possam criar modelos preditivos e prever valores e padrões futuros, de forma a generalizar ocorrências e a tornar mais eficientes as decisões.

6. Interpretar os dados / recolher insights

Encontramo-nos praticamente no último nível de implementação de um projeto de data science. É a fase em que é necessário interpretar os modelos definidos e descobrir insights importantes para o negócio – encontrar generalizações para aplicar em dados futuros – e responder ou endereçar as questões que foram colocadas no início do projeto.

O objetivo de um projeto deste género é, precisamente, encontrar padrões que ajudem a empresas a tomar decisões: caso se deva evitar um comportamento ou repetir ações que tenham resultados manifestamente positivos.

7. Comunicar os resultados

A apresentação é também bastante importante, já que tem de ser claro para os stakeholders (muitas vezes, pessoal não técnico) quais os resultados do projeto. O data scientist tem de ter o “dom” de contar uma história, para que todo o processo faça sentido e para que encaixe na resolução do problema da empresa.

Se pretende saber mais sobre projetos de data science ou se procura aconselhamento, não hesite em contactar-nos.

Ana Lamelas7 passos para implementar um projeto de Data Science
read more

8 razões para escolher soluções Atlassian na versão data center

Um data center é o ambiente que permite a agregação da infraestrutura necessária para manter em bom funcionamento todos os sistemas de uma organização, ou, neste caso, para efetuar o deploy de produtos e/ou aplicações. Os data centers são projetados para garantir o tráfego, o processamento e o armazenamento de enormes quantidades de dados, sendo que o da Atlassian foi especificamente concebido para funcionar como mais uma opção para os seus clientes, que poderão optar por efetuar o deploy dos produtos que utilizam, como Jira Software, Confluence ou Jira Service Desk, na cloud, no server ou no data center. Os seus cinco pilares principais são: a alta disponibilidade, a escalabilidade, o desempenho, a segurança e, claro, o custo.

Se utiliza ferramentas Atlassian, utilizá-las na opção de data center é, agora, uma hipótese. Mas será esta a melhor solução para a sua empresa? Descubra quais as 8 razões para escolher soluções Atlassian na versão data center e qual o melhor momento para fazer o upgrade.

Quais os benefícios do data center da Atlassian?

  1. Escalabilidade: o data center da Atlassian foi especificamente constituído para crescer à medida das necessidades das empresas. Poderá adicionar nodes ao seu cluster, sem se preocupar com perdas de performance ou com donwtimes (quando planear upgrades, por exemplo, poderá ativar a característica de read-only, que permitirá aos seus clientes continuarem a visualizar as páginas e a pesquisar enquanto os trabalhos de manutenção decorrem).
  2. Alta disponibilidade: o armazenamento de toda a informação em clusters ativos permite que o acesso por parte das equipas seja constante e ininterrupto, reduzindo falhas que possam existir por parte das aplicações empresariais.
  3. SAML 2.0: o data center da Atlassian utiliza este protocolo com o intuito de garantir a conformidade e simplificar a experiência de login. Desta forma, a Atlassian garante que o sistema de autenticação se encontra seguro (através de tokens específicos).
  4. Escolha de infraestrutura: no modelo de data center poderá optar por implementar as aplicações on-premise ou em fornecedores de IaaS, como Azure ou Amazon Web Services.
  5. Disaster Recovery: a Atlassian garante que o seu negócio poderá continuar a funcionar sem problemas, através de uma estratégia completa de Disaster Recovery, quer a interrupção de sistema tenha sido total ou parcial.
  6. Ecossistema verificado: todas as aplicações desenvolvidas em ambiente de data center são verificadas nos seus tempos de resposta, escala e bases de dados suportadas.
  7. Garantia de performance: à medida que a sua organização cresce, cresce também a necessidade de manter a qualidade do trabalho desenvolvido e da performance. No data center da Atlassian poderá eliminar todo o desperdício que atrasa a sua equipa (por exemplo, através do arquivamento de projetos, que lhe permite encontrar a informação que realmente lhe interessa).
  8. Controlo: poderá ter total controlo sobre as necessidades de compliance, de segurança e de regulamentação.

Quando deve fazer o upgrade?

O data center da Atlassian garante-lhe acesso às mesmas funcionalidades, aplicações e produtos do que o server. Para além disso, ambas as opções fornecem um controlo quase total sob os seus dados e a sua infraestrutura. No entanto, o data center apresenta algumas vantagens comparativamente – quando a sua empresa atinge um novo patamar de crescimento – já que, por exemplo, o server corre num único node e o data center corre em múltiplos nodes.

O data center foi, precisamente, projetado para acompanhar os clientes do modelo server,
à medida que estes crescem e a sua organização amadurece. Assim sendo, quando deve considerar fazer o upgrade para o data center? Tenha em conta as seguintes variáveis:

Número de utilizadores: quantos utilizadores acedem às suas aplicações numa base diária? Segundo a Atlassian, “aplicações como o Jira Software, o Confluence ou o Bitbucket necessitam de mais estabilidade quando atingem os 500 a 1000 utilizadores. No caso do Jira Service Desk, por norma, os upgrades acontecem quando se atinge os 50 utilizadores”.

Performance: à medida que a dimensão da sua empresa aumenta, também a performance tem de aumentar em proporcionalidade. Para garantir que a performance dos seus sistemas se mantem, deve avaliar se o número de utilizadores permite manter a mesma qualidade.

Downtime: é fundamental avaliar quais os custos de downtime para a sua empresa. Se considera que são custos elevados e que não os pode suportar, talvez a solução passe por avaliar o modelo de data center.

Administração: considera que passa demasiado tempo a gerir pedidos e a tratar de questões que deveriam ser simples? O data center oferece aos Administrators a possibilidade de simplificar inúmeras tarefas, tais como conceder e retirar acessos ou gerir pedidos de alteração de passwords.

Se precisa de avaliar qual a melhor opção para a sua empresa, não hesite em contactar-nos.

Ana Lamelas8 razões para escolher soluções Atlassian na versão data center
read more

Os 10 melhores eventos internacionais de Big Data em 2019

Big Data. Uma tendência, uma buzzword, ou uma necessidade?  Na Xpand IT acreditamos que pode ser um misto de todos estes conceitos e muito mais. Temas como inteligência artificial, Internet of Things, machine e deep learning ou data science entram no panorama tecnológico e começam a tornar-se apostas claras no investimento das empresas. Entre connosco no universo dos dados e descubra os 10 melhores eventos internacionais de Big Data em 2019.

1. Data Fest 2019

O Data Fest 2019 é uma espécie de festival constituído por 6 eventos de dimensões variáveis que acontecerão um pouco por toda a Escócia. Com temas fundamentais como data science ou inteligência artificial (IA), o objetivo deste festival é pensar a revolução dos dados, bem como a sua inovação.

Dos 6 eventos que constituem o Data Fest 2019, fazem parte:

  • Data Summit (conferência internacional que irá decorrer entre os dias 21 e 22 de março, no espaço The Assembly Rooms, em Edimburgo);
  • Data Talent (que pretende juntar estudantes de engenharia e profissionais das áreas de TI com o intuito de criar um evento de networking e discussão sobre temas tecnológicos variados. Irá decorrer no dia 19 de março, no Hilton Hotel, em Glasgow);
  • Fringe Events (séries de eventos como meetups, hackathons, debates e workshops, que pretende juntar profissionais de diversas indústrias. Decorrerá entre os dias 11 e 22 de março, um pouco por toda a Escócia);
  • Data Tech (evento que pretende juntar membros da indústria, do setor público ou das academias, com o intuito de realizar apresentações técnicas e de partilhar conhecimento. Este evento irá acontecer no dia 14 de março, no Museu Nacional da Escócia, em Edimburgo).
Data: ao longo de todo o mês de março
Local: Escócia – GB
Web: https://www.datafest.global

2. AI Tech World

Chama-se AI Tech World mas nem só de inteligência artificial se irá falar neste evento. Temas como big data, segurança na cloud, DevOps ou data centers estarão também na ordem de trabalhos desta conferência, bem como a importância da ética no desenvolvimento de soluções com recurso a IA.

Ao longo de dois dias poderá contar com as palestras mais inspiradoras, de alguns dos melhores profissionais que integram equipas de TI de topo, e parcerias com empresas como a Hitachi ou a MariaDB. 

Data: 12 e 13 de março
Local: ExCeL London, Londres – GB
Web: https://www.bigdataworld.com/ai-tech-world

3. Data Innovation Summit

Este ano realiza-se a quarta edição do Data Innovation Summit, que irá abordar temas específicos na área de big data, como data engeneering, machine learning, deep learning ou data management. Com 6 palcos e mais de 100 speakers, este será o maior evento sobre tecnologia e inovação a acontecer em países nórdicos, e um dos maiores em toda a Europa.

O objetivo deste evento de Big Data passa por juntar as empresas mais bem-sucedidas a nível mundial e os melhores profissionais da área, e debater novos modelos de negócio, formas de aumentar lucro e melhorar a satisfação dos clientes.

Data: 14 e 15 de março
Local: Kistamässan, Estocolomo – Suécia
Web: https://datainnovationsummit.com

4. DataWorks Summit

Ideias, insights e inovação. São estes os três conceitos que compõem o mood do DataWorks Summit, que irá realizar-se em Barcelona. Este é um evento que pretende discutir os principais avanços em áreas da tecnologia como Inteligência Artificial, Machine Learning, IoT ou Cloud, e cujo objetivo é juntar pioneiros destas áreas para, em conjunto, darem resposta às questões mais importantes.

Para além disso, o foco estará nas tecnologias open source, e como estas podem ajudar as organizações a alavancarem todos os seus processos de transformação digital.

Data: 18 e 19 de março
Local: Centre de Convencions Internacional de Barcelona, Barcelona – ES
Web: https://dataworkssummit.com/barcelona-2019/

5. Spark & AI Summit 2019

Ainda sem data definida para 2019, o Spark & AI Summit é um evento a não perder este ano, já que é o maior evento a nível mundial no que a Apache Spark diz respeito. Este ano, um dos principais focos será em Inteligência Artificial, tópico dentro do qual ser irá discutir, por exemplo, carros autónomos, reconhecimento de voz e imagem, chatbots inteligentes ou mesmo novas frameworks de deep learning.

Como a maior comunidade open source do mundo no universo de Big Data, Apache Spark é utilizado pelas maiores empresas a nível mundial, como eBay ou Netflix, o que faz deste um evento para manter no radar.

Data: TBC – inscrições abertas dia 8 de abril
Local: TBC, Amesterdão – NL
Web: https://databricks.com/sparkaisummit/europe

6. Strata Data Conference

A Strata Data Conference é uma conferência organizada em parceria pela O’Reilly e pela Cloudera, e, este ano, pretende ser o epicentro dos dados e dos negócios, oferecendo talks e trainings em inúmeras vertentes. Em 2019, esta conferência irá focar-se em inteligência artificial, ou não fosse esta uma das keywords do momento, mas também irá abordar temas tão abrangentes como a ética, a privacidade e a segurança dos dados.

Este evento promete colocar os participantes em contacto com os melhores profissionais das mais diversas áreas do mundo tecnológico, como data scientists, engenheiros, analistas, developers ou mesmo investigadores em áreas como IA ou IoT.

Data: 29 de abril a 2 de maio
Local: ExCeL London, Londres – GB
Web: https://conferences.oreilly.com/strata/strata-eu

7. AI & Big Data Expo

Londres e Amesterdão são as duas cidades europeias por onde o evento AI & Big Data Expo irá passar, e pode esperar temas como inteligência artificial, IoT, Blockchain, transformação digital ou mesmo cyber segurança.

Para esta conferência são esperados mais de 36,000 participantes e mais de 1,500 speakers de algumas das maiores empresas a nível mundial, tais como Google, Amazon, Coca-cola, Adidas, Uber, Twitter ou HP. Se pretende ter acesso a uma montra de nível internacional do que de melhor se faz nos departamentos de TI, opte por ir a este evento. Tem dois locais e duas datas à escolha:

Data Londres: 25 e 26 de abril
Local Londres: Olympia, Londres – GB
Web Londres: https://www.ai-expo.net/global/
Data Amesterdão: 19 e 20 de junho
Local Amesterdão: RAI, Amesterdão – NL
Web Amesterdão: https://www.ai-expo.net/europe/

8. Kafka Summit Londres

Se é Developer, Operator ou Data Scientist, este evento é para si. O Kafka Summit promete trazer talks com profissionais de empresas de referência no universo da tecnologia streaming, com o intuito de partilhar conhecimento e fomentar dinâmicas de networking. Como o próprio nome indica, este evento é o local indicado para contribuir para, mas também retirar conhecimento da comunidade dedicada à plataforma Apache Kafka.

A tecnologia Confluent disponibilizará, ainda, uma sessão de training, cujo objetivo é introduzir Apache Kafka aos seus novos utilizadores, explorando os princípios fundamentais e o desenvolvimento de aplicações.

Data: 13 e 14 de maio
Local: Park Plaza Westminster Bridge, Londres – UK
Web: https://kafka-summit.org/events/kafka-summit-london-2019/

9. J on the Beach

É developer ou DevOps? Trabalha com tecnologias de Big Data? Gosta de praia? Se a sua resposta foi sim a todas estas questões, este evento é, sem dúvida, para si. O J on the Beach (JOTB) é uma conferência que pretende fomentar a partilha de experiências e truques relacionados com o universo dos dados, que abordará temas como Data Visualisation, IoT & Embedded ou ainda Functional Programming, entre muitos outros tópicos.

Para além das talks, ainda poderá participar numa Hackathon cujo objetivo será desenvolver uma solução distribuída de Data Science. E o local? Uma belíssima praia de Marbella.

Data: 15 a 17 de maio
Local: Palacio de Congressos de Marbella, Marbella – ES 
Web: https://jonthebeach.com/

10. Gartner Data & Analytics Summit

O Gartner Data & Analytics Summit procura trazer uma maior clareza a questões já tão debatidas como a transformação digital, a inteligência empresarial ou mesmo os dados. O objetivo passo por partilhar novas estratégias e por dissecar quais as melhores práticas para que possa fazer da sua empresa uma vencedora nesta economia digital.

Para além de poder contar com uma grande componente de networking, ainda terá a oportunidade de aprender, hands-on, qual o plano de ações com mais resultados, com base em pesquisa feitas pela Gartner.

Data: 19 e 20 de novembro
Local: Hotel Kap Europa, Frankfurt – DE
Web: https://www.gartner.com/en/conferences/emea/data-analytics-germany

Se quiser saber mais sobre como as nossas soluções de Big Data podem ajudar o seu negócio, entre em contacto connosco aqui.

Ana LamelasOs 10 melhores eventos internacionais de Big Data em 2019
read more

Building the Future: juntos ativámos Portugal!

A primeira edição do evento Building the Future: Ativar Portugal realizou-se no passado mês de janeiro (entre os dias 29 e 30), e foi organizado pela Microsoft, em conjunto com a agência imatch.

Mais de 3.000 participantes, 100 oradores, 60 sessões e 50 parceiros. Foram estes os números de um dos eventos tecnológicos mais aguardados, que acabaram por revelar que o investimento na transformação digital é, de facto, uma das principais prioridades para um número bastante significativo de empresas. A Xpand IT teve o privilégio de fazer parte deste enorme sucesso, e pode afirmar que com o Building the Future: juntos ativámos Portugal!

Para Paula Braz, Marketing Manager da Xpand IT, “O Building the Future foi um evento extremamente interessante, já que permitiu criar (ou re-criar) uma visão de um futuro não tão longínquo, quer através de experiências proporcionadas por todos os parceiros através de diferentes sessões – desde as mais técnicas, por exemplo, como a nossa “Cognitive Lab”, na qual se ofereceu a possibilidade de aprender a desenvolver um bot, até às mais conceituais, como foi o caso das talks de Gerd Leonhard (escritor e fundador da Futures Agency), ou de Jim Stolze (líder ativo da comunidade TEDx e co-fundador da Aigency)”.

Enquanto parceira Microsoft, a Xpand IT teve a oportunidade de promover alguns dos temas abordados no evento, quer através da experiência de inteligência artificial aplicada à gamificação que desenvolveu, o Sentiment Meter, quer pela demonstração do Retail Bot, na área do Intelligent Day, ou mesmo pelas sessões dinamizadas por Jorge Borralho, Project Manager,  e Sérgio Viana, Digital Xperience Lead, da Xpand IT.

Para Sérgio Viana, Digital Xperience Lead da Xpand IT, “Abraçar a tecnologia e potenciá-la não só a favor do negócio, mas também das nossas capacidades humanas, é o caminho para construir soluções que marquem pela diferença. Não há que temer a inovação, mas sim utilizá-la com o propósito correto, alicerçada em valores éticos fundamentais e estruturais”.

Ana LamelasBuilding the Future: juntos ativámos Portugal!
read more

A Xpand IT na WSO2 Con 2018

A WSO2 Con, conferência oficial da tecnologia WSO2, aconteceu este ano em três locais a nível mundial: nos EUA (São Francisco) em julho; na Ásia (Colombo) em agosto; e na Europa (Londres) em novembro. Como parceiro certificado e revendedor WSO2, a Xpand IT marcou a sua presença no evento Europeu, entre os dias 13 e 15 de novembro, no hotel Hilton London Bankside.

A edição europeia da WSO2 Con de 2018 focou-se essencialmente na visão da WSO2 sobre Integração Ágil e contextos de negócio orientados às API’s, num mundo onde as necessidades de integração estão a crescer com a proliferação de sistemas e aplicações.

Os três dias de apresentações cobriram a visão estratégica da WSO2 sobre integração, as suas definições arquiteturais e aplicabilidade, capacidades técnicas e aplicações de negócios dos seus produtos, bem como casos de sucesso de implementações WSO2 apresentadas pelos próprios clientes. Os intervalos durante as manhãs, horas de almoço e tardes também serviram para criar um ambiente de networking entre parceiros e clientes.

Adicionalmente, estava disponível um “Oxygen Bar”, onde vários experts de todas as áreas tecnológicas da WSO2 se mostraram sempre disponíveis para qualquer esclarecimento adicional sobre os produtos e sobre a sua utilização.

Dia 1 – Transformação Digital

A manhã do primeiro dia foi preenchida com várias keynotes, sendo o primeiro apresentado pelo atual CEO da WSO2, Tyler Jewell. Nesta keynote foi apresentada a visão estratégica da WSO2 para os próximos anos, reforçando a tendência na integração e as razões que justificam, cada vez mais, uma abordagem de “API first” pelas organizações. Esta mesma visão foi corroborada por Massimo Pezzini, Vice-Presidente da Gartner, com um olhar sobre o HIP (Hybrid Integration Platform) como um facilitador digital para as organizações. Da parte da tarde, existiram sessões em três contextos diferenciados, cada um com o seu tópico: a sala vermelha com Integração e Arquitetura, a sala amarela com Stream Processing e Identity Management, e a sala verde com Open Banking e casos de sucesso.

Dia 2 – Agilidade na Integração

Tendo a Agilidade como tema, o segundo dia começou com duas keynotes muito interessantes por parte de Aria van Bannekum, fundador do Agile Manifesto, e também do CTO e Co-fundador da WSO2, Paul Fremantle. Da parte da tarde iniciaram-se novamente as três sessões paralelas: na sala vermelha o foco foi em API Management; na sala verde, casos de sucesso centrados no ecossistema de API’s; e na sala amarela demonstrações completas de produtos WSO2.

Dia 3 – Ballerina

O último dia da conferência foi integrado com o evento Ballerina Day 2018. Apesar de complementado com sessões exclusivas para debater assuntos relacionados com o novo programa de parceiros, este dia foi completamente focado em Ballerina, uma linguagem de programação open-source e cloud native, que tem sido desenvolvida para WSO2 ao longo dos últimos três anos. Esta linguagem de programação tem como objetivo endereçar a falha criada por produtos middleware “não-ágeis” e pelas atuais linguagens de programação, que são ainda demasiado complexas para lidar com cenários de integração. A Ballerina promete simplificar esta complexidade e promover a agilidade, oferecendo capacidades de middleware com o mínimo de código possível.

Está também orientada para ambientes na cloud e DevOps, por isso, permite a integração com Docker e Kubernetes.

Fique com algumas fotografias captadas durante o evento.

  • WSO2
  • WSO2
  • WSO2
  • WSO2
  • WSO2
  • WSO2

A Xpand IT tem o gosto de realizar o primeiro evento com o cunho da tecnologia WSO2 em Portugal, enquanto Certified Partner e Value-added Reseller no território nacional: o WSO2 Connect 2019Inscreva-se neste evento gratuito, e venha conhecer a plataforma que lhe permitirá colocar a sua empresa na liderança da transformação digital.

Ana LamelasA Xpand IT na WSO2 Con 2018
read more

Vantagens de implementar Big Data na sua empresa

Big Data não é uma ‘tendência’. É uma necessidade inerente à larga maioria das organizações de grande dimensão ou mesmo de pequenas e médias empresas, que já não conseguem retirar valor efetivo dos dados que produzem através de ferramentas de Business Intelligence mais ‘tradicionais’. Big Data tem um papel muito importante a impulsionar negócios e são muitas as empresas que já estão conscientes disso mesmo. Segundo a Forbes, o mercado mundial de Big Data (software e serviços) irá crescer de 42 Biliões de dólares em 2018 para 103 Biliões de dólares no ano de 2027.

Por isso, as vantagens de implementar Big Data na sua empresa são muitas e ter uma estratégia bem definida é meio caminho para que consiga tomar decisões sustentadas, que podem ditar o sucesso do seu negócio.

O que é Big Data

Entende-se por Big Data a capacidade de analisar e/ou processar grandes quantidades de dados, quer por via do seu volume, quer pela quantidade de “data points” gerados. O conceito de Big Data aparece quando as empresas se deparam com um volume tão grande e tão constante de dados, que as ferramentas mais convencionais de processamento e análise já não conseguem ser eficazes.

Os dados podem ser estruturados, semiestruturados ou não estruturados. Dados estruturados são, por exemplo, os dados provenientes da atividade de compra e venda de uma organização. São informações obtidas através de um formulário ou através de tabelas operacionais. Os dados não estruturados ou semi-estruturados são informações geradas sem ordem definida e provenientes de fontes tão diversas como redes sociais, logs de utilizadores em aplicações web ou mobile, partilha de opiniões ou partilha de ficheiros, por exemplo.

Segundo dados da Harvard Business Review, só cerca de 20% dos dados que chegam às empresas são estruturados, sendo os restantes 80% semiestruturados ou não estruturados. Para além disso, a percentagem de dados estruturados que é utilizada para apoiar tomadas de decisão e extrair insights é de menos de 50%, sendo que esta cai para apenas 1% quando falamos em dados não estruturados ou semi-estruturados.

Podemos caracterizar o conceito de Big Data através de 4 Vs:

  • Volume (quantidades massivas de dados são geradas e necessitam de ser armazenadas e processadas. De acordo com o site Statista, só em 2018 foram gerados 10.6 zettabytes, provenientes de cloud data centres a nível global);
  • Velocidade (a velocidade de geração, processamento e análise de dados pode ser mais importante do que o volume, já que informação real-time ou near-real time oferece uma grande agilidade às empresas que têm uma estratégia de Big Data bem implementada);
  • Variedade (os dados podem ser originados através de várias fontes, como bancos de dados comuns, redes sociais, páginas web, transações financeiras, e-mails, sensores (IoT), ficheiros de áudio, texto, vídeo, arquivos, fóruns, etc). Veracidade (no fundo, a veracidade permite definir se os dados gerados são confiáveis, através da sua fonte ou origem);

Valor (os dados gerados têm realmente valor para a empresa? É necessário avaliar se aqueles dados, de facto, irão gerar novas oportunidades, aumentar receitas ou otimizar custos, por exemplo).

Vantagens de implementar uma estratégia bem definida

Sabemos, então, que a implementação de uma estratégia de Big Data tornou-se numa necessidade para as grandes organizações, e que o foco da questão deixou de ser “utilizar ou não utilizar Big Data”, para passar a ser “como utilizar Big Data da forma mais eficiente”.

Sabemos, também, que Big Data abre portas para tomadas de decisão mais sustentadas, com base em análises extremamente complexas, e que permite retirar insights muito importantes para otimizar as informações recolhidas. Assim, a decisão de implementar uma estratégia de Big Data deve partir das equipas ligadas às áreas de negócio, e não dos departamentos de TI, que devem garantir a execução técnica do projeto, da forma mais eficiente.  No fundo, são essas equipas (as de negócio) que vão retirar valor dos dados recolhidos para a realização do seu trabalho diário e para a definição estratégica.

Mas quais são as verdadeiras vantagens da implementação de um projeto de Big Data? O que é que as empresas trarão como vantagem competitiva para o seu negócio? Identificámos três das principais vantagens de implementar Big Data na sua empresa:

Vantagem 1: Tomadas de decisão fundamentadas

Através das análises de dados realizadas por tecnologias de Big Data é possível encontrar padrões de compra ou de comportamento que apoiam tomadas de decisão por parte dos departamentos de negócio. Por exemplo, se a equipa de marketing tiver a informação de que determinada família compra o mesmo produto todos os meses, poderá despoletar fluxos de mailing digital ou físico (se for o caso) de descontos para esse produto, com o intuito de garantir a fidelização daqueles clientes.

Vantagem 2: Redução de custos

Os dados gerados para ou por uma empresa são armazenados, processados e analisados, levando à descoberta de importantes insights de negócio ou mesmo de lacunas e falhas. Ao trabalhar sobre dados previamente analisados e ao ter acesso a, por exemplo, tendências constantes de comportamento ou de compra, as empresas conseguem lançar campanhas mais eficazes, que atingem diretamente o target pretendido e que, por isso, podem apresentar um ROI maior. Desta forma, a otimização da aplicação de budget vai tornar as equipas mais eficientes – aumentando também a sua produtividade.

Vantagem 3: Possibilidade de prever situações futuras

Em Big Data, por norma, podem realizar-se três tipos de análises que se complementam entre si: Descriptive analytics (é o tipo de análise que descreve aquilo que acontece, muitas vezes em real-time. Recorrendo à agregação de dados e a data mining, é possível aceder a uma fotografia do passado e perceber qual a razão de determinado desvio ou alteração ou, então, apenas sumarizar um determinado aspeto); Predictive analytics (este é o tipo de análise que descreve aquilo que poderá ocorrer no futuro, recorrendo a modelos estatísticos e algoritmos, e oferecendo cenários de situações estatisticamente prováveis); Prescritive analytics (com base em otimização, algoritmos de simulação, machine learning e modelos computacionais, este é um tipo de análise bastante complexo, que pretende responder à questão “o que devemos fazer em determinada situação?”. No fundo, os cenários criados irão funcionar como prescrições de diferentes ações e dos seus resultados finais, permitindo à empresa optar pelo cenário que apresenta um menor grau de risco).

Exemplos de aplicação prática

Agora que sabe quais as vantagens de implementar Big Data na sua empresa e como definir objetivos específicos e mensuráveis, a questão que se coloca é, de facto, como tirar partido dos dados que a sua organização gera, dependendo do tipo de área em que atua.

Aqui ficam alguns exemplos de aplicação prática:

  • Dados provenientes de sensores em sistemas de transportes;
  • Análise de dados financeiros para evitar fraudes (deteção de utilização de um cartão de crédito por um user não habitual, por exemplo).
  • Análise de tráfego de rede;
  • Web analytics (em sites de e-commerce);
  • Monitorização de menções nas redes sociais, com o intuito de avaliar se os sentimentos são positivos ou negativos em relação à marca/empresa;
  • Recomendação de filmes, viagens, hotéis, produtos, com base nas pesquisas e compras dos indivíduos;
  • Informações sobre trânsito e previsões de horas mais problemáticas.
Ana LamelasVantagens de implementar Big Data na sua empresa
read more

Tableau & Jira: uma nova forma de olhar para os seus projetos

O Tableau é uma ferramenta de self-service BI que permite a identificação de insights valiosos e que oferece análises avançadas, visualizações e a capacidade de partilhar informação rapidamente. Como sabemos, com a era da transformação digital, e com toda a informação que rodeia as nossas vidas quotidianas, a necessidade de tomar decisões baseadas em factos aumenta – isto implica que se olhe para os dados e que se consiga analisar e tomar decisões com base nesses mesmos dados. As decisões tomadas pelas equipas operacionais não são diferentes, e numa equipa de service management (e também nas de correção de bugs) ter acesso aos números é o caminho para otimizar a performance das equipas e atingir melhores resultados.

Assim, a integração de Tableau e Jira é a nova forma de olhar para os seus projetos porque, embora a ferramenta Jira ofereça algumas opções para a construção de relatórios ou para verificar métricas essenciais, apenas com uma ferramenta como Tableau a sua equipa será capaz de cruzar dados de várias fontes, de criar dashboards realmente apelativos ou de proceder a análises mais avançadas. Este blog post pretende mostrar em detalhe como esta integração é realizada.

Tableau é uma ferramenta de visualização e divide-se em três módulos: Tableau Desktop (permite a conexão a todos os tipos de bases de dados e permite a criação de regras de negócio, nomeação de campos e um overview sobre todos os dados); Tableau Server (no qual podem ser publicadas views e partilhar informações com outros membros da equipa – dar e retirar acessos, escrever comentários e editar visualizações); e o Tableau Data Prep (uma ferramenta de ETL que ajuda os utilizadores a preparar e extrair os dados de diferentes bases de dados, a transformá-los e a extraí-los, poupando tempo).

O Jira, como um software de gestão de projetos, não é especializado na análise de dados nem na extração de insights. Como descrito acima, possui algumas características que permitem a criação de relatórios e a obtenção de alguma informação, tem widgets, mas se a sua equipa apresenta necessidades diferentes – por exemplo, se a sua equipa apresenta a necessidade de cruzar dados de diferentes bases de dados – irá precisar de uma ferramenta como Tableau (já que o Jira apenas consegue aceder aos seus próprios dados). Por exemplo, para cruzar dados do Jira com dados de uma aplicação de registo de tempo (timesheets), e para verificar se o tempo registado num local corresponde ao tempo registado no outro, o utilizador irá precisar do conector All-In-One de Tableau.

O All-In-One Tableau Connector (AIO) é uma aplicação para o Jira que implementa um Web Data Connector (WDC) para Tableau. Este WDC possibilita a ligação dos dados através de HTTP quando a fonte de dados não tem um conector nativo de Tableau. Os dados obtidos são colocados num extract, disponível tanto no Desktop como no Server.

Setup

Para que a aplicação se conecte ao Tableau através do WDC, é necessário colocar como whitelist o URL correspondente no Server. Garanta, apenas, que o sysadmin efetua este passo e saiba que múltiplas chaves vão ser geradas, sendo que o padrão URL e o comando têm de estar algures nesta linha:

tabadmin whitelist_webdataconnector -a  https://yourJIRAdomain/plugins/servlet/aio-tb/public/tableauconnect(.*)

Conexão aos dados

  1. Abra o Jira
    1. Obtenha o seu URL do All-In-One connector. Cada URL permite o acesso a um utilizador em específico, garantindo que só terá acesso aos seus projetos:
  1. No Tableau Desktop:
    1. Selecione o tipo de conexão WDC;
    2. Cole o URL e clique no enter;
    3. Defina o nome para esta conexão, talvez o nome do projeto e a JQL Query (para conseguir todos os issues de um projeto utilize: project = PROJECTID);
    4. Escolha os campos ou os assuntos dos campos que pretende recuperar e clique em continuar;
    5. Dependendo da sua seleção, o WDC disponibiliza vários marcadores que pode agora juntar como fonte de dados normal de Tableau;
    6. Comece a sua análise;
    7. Publique a análise se pretender partilhá-la.

O resultado

Pode agora explorar os dados do Jira, criar poderosos e apelativos dashboards, extrair os insights mais valiosos e aumentar a performance da sua equipa, com uma ferramenta fantástica chamada Tableau!

Ana LamelasTableau & Jira: uma nova forma de olhar para os seus projetos
read more

Sentiment Meter: a combinação perfeita entre Gamificação e Inteligência Artificial

Sentiment Meter é uma solução de inteligência artificial (IA) totalmente pensada, desenvolvida e desenhada pela Xpand IT, que junta dois componentes: a gamificação e a inteligência artificial. É um jogo de emoções no qual, após o preenchimento de um pequeno formulário, o software seleciona aleatoriamente uma emoção e o utilizador tem de a tentar expressar da melhor forma. Após a captura deste momento, o Sentiment Meter avalia o grau de excelência e atribui ao utilizador uma pontuação. De facto, este jogo revelou-se um verdadeiro sucesso e pode dizer-se que o Sentiment Meter é a combinação perfeita entra gamificação e inteligência artificial.

Este jogo surgiu da necessidade de criar algo que não só demonstrasse as capacidades da Xpand IT a nível técnico – enquadrado no nosso novo AI Solutions Center – como também que fosse capaz de divertir as pessoas junto dos nossos stands, ao longo dos inúmeros eventos nos quais participamos. IDC Directions 2018 e Web Summit foram as primeiras conferências para as quais transportámos o Sentiment Meter e podemos dizer que ninguém ficou indiferente. Aqui ficam algumas fotografias que ilustram estes momentos:

A tecnologia

A lógica é muito simples: o jogador roda a roleta de sentimentos, o computador seleciona um sentimento/expressão facial, e o jogador só tem de expressar através da sua cara aquela emoção. Finalmente, a interface atribui uma pontuação e o jogador ganha um prémio. Parece simples mas, na verdade, o que está por trás desta análise de sentimentos são algoritmos inteligentes da Microsoft: os Azure Cognitive Services. Neste caso, foi utilizada a Face API, que permite processar e reconhecer rostos, identificando que tipo de sentimento a pessoa em questão está a expressar. Este algoritmo é alimentado a cada utilização efetuada e através de imagens captadas um pouco por todo o mundo.

Toda a infraestrutura está alojada na cloud, em Azure, e foram também utilizadas algumas ferramentas Microsoft, como, por exemplo, o SignaIR, que gere a interação em tempo real entre o ecrã que apresenta o jogo e o tablet que comanda a ordem de quem joga. Para além disso, como base do projeto foi utilizada a framework open source .NET Core, que permite o desenvolvimento de aplicações web e cloud. Já o front end do projeto foi desenvolvido em web com HTML, CSS e JavaScript, recorrendo também a algumas extensões, tais como JQuery, Ajax e p5.js.

A equipa

Todo este projeto não teria sido possível sem o trabalho em conjunto, concretizado por elementos das equipas de Digital Xperience, UX/UI e Marketing, que conceberam e idealizaram esta solução: Francisco Correia, Senior Project Manager, e Ricardo Duarte, Developer, ambos da unidade de Digital Xperience; Marina Mendes, UX/UI Designer e todos os elementos que compõem a equipa de Marketing, que asseguram o seu bom funcionamento durante os eventos.

 Estes são os ecrãs de jogo:

O Sentiment Meter abre as portas para aquilo que é possível fazer no presente com recurso a inteligência artificial, e através de boas ideias, geradas em conversas!

Ricardo Duarte, Developer at Xpand IT

Com este projeto conseguimos mostrar que a integração de serviços de Inteligência Artificial tem a capacidade, já nos dias de hoje, de elevar a fasquia, tanto no campo da interatividade como das tomadas de decisão.

Francisco Correia, Senior Project Manager at Xpand IT

Conseguimos aproximar o utilizador da interface ao pensar em emoções e transportá-las para a tecnologia de uma forma divertida e descontraída.

Marina Mendes, UX/UI Designer at Xpand IT

O terceiro evento para o Sentiment Meter será o Building the Future, entre os dias 29 e 30 de janeiro. Este é um evento totalmente focado em temas como transformação digital, inteligência artificial, machine learning ou Big Data, e organizado pela Ativar Portugal, uma iniciativa da Microsoft pensada para potenciar a tecnologia como motor do crescimento económico em Portugal.

Não perca a oportunidade de experimentar o Sentiment Meter e de ficar com uma fotografia para recordar esta experiência de última geração!

Ana LamelasSentiment Meter: a combinação perfeita entre Gamificação e Inteligência Artificial
read more

2018 e as iniciativas na FCT – Wrap Up

Uma das principais características que define a Xpand IT é o facto de sermos extremamente “picky” com os nossos colaboradores. No entanto, sabemos reconhecer valor e talento onde ele realmente existe. Por isso mesmo, o ano 2018 marcou o início de uma relação com a Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa (FCT), que se quer que seja duradoura e bastante positiva!

A primeira iniciativa a acontecer foi a nossa participação na JOBFEST, entre os dias 10 e 12 de outubro. A JOBFEST é a Feira de Empregabilidade e Empreendedorismo e é totalmente organizada pela Associação de Estudantes da FCT. Este ano celebrou-se a sua 19ª edição, mas, para a Xpand IT, esta feira de emprego foi uma estreia. Para além de um stand divertido (com direito a jogos e brindes), a Xpand IT ainda organizou um workshop de Big Data, lecionado por Nuno Barreto, o nosso Big Data Lead, e Ricardo Cardante, Big Data Engineer.

Aqui ficam algumas fotografias:

400
400

Depois deste primeiro contacto, e tendo em conta o sucesso que demonstrou ser, a Xpand IT decidiu organizar outro workshop sobre Big Data, desta vez em parceria com o Núcleo de Informática da FCT. Vasco Lopes e Ricardo Gaspar – dois antigos alunos e atuais colaboradores da unidade de Big Data da Xpand IT – foram os dinamizadores e oradores desta iniciativa, que aconteceu no dia 28 de novembro e que, mais uma vez, se revelou um verdadeiro sucesso!

Finalmente, com o intuito de reforçar toda a relação construída com a instituição, a Xpand IT alargou o programa Missão Aproximar – Educação à Faculdade de Ciências e Tecnologia. A Missão Aproximar – Educação tem como objetivo apoiar estudantes de Engenharia Informática que demonstrem mérito académico e cuja situação social mereça essa atenção, tornando o seu percurso académico mais estável.

Assim, em parceria com o SASNOVA – Serviços de Ação Social da FCT, a Xpand IT compromete-se a atribuir uma bolsa de estudo a um estudante da licenciatura de Engenharia Informática para o ano letivo de 2018/2019, passando a ser três as instituições de ensino abrangidas por este programa – Instituto Superior Técnico, Instituto Politécnico de Viana do Castelo e, agora, a Faculdade de Ciências e Tecnologia.

Curiosos para espreitar os próximos passos das iniciativas FCT? Não percam todas as novidades aqui no Blog e nas nossas redes sociais.

Ana Lamelas2018 e as iniciativas na FCT – Wrap Up
read more

Engenharia Informática e de Computadores? Este Roadshow é para ti!

2019 está apenas a começar, mas os nossos planos já estão bem definidos. Queremos reforçar a presença nas melhores Faculdades de Engenharia do país porque encontrar novos talentos é uma prioridade para nós. Se és aluno de Engenharia Informática e de Computadores, este Roadshow é mesmo para ti!

Neste blogpost podes encontrar todas as Semanas Tecnológicas e Feiras nas quais estaremos presentes nos primeiros meses deste ano. De norte a sul do país, procura a tua Universidade e marca já as datas na tua agenda:

Talk A Bit – 26 de janeiro (Faculdade de Engenharia da Universidade do Porto, Porto)

A Talk A Bit é uma conferência inteiramente organizada por estudantes da Faculdade de Engenharia do Porto e, este ano, assinala a sua 7ª edição.

Com um crescimento significativo desde o ano 2013, a TAB contou com mais de 500 participantes no ano de 2018, esperando aumentar este número já em 2019.  Como temas principais, a Talk A Bit terá os tópicos que marcam o presente e o futuro da tecnologia, como Inteligência Artificial, Blockchain, Empreendedorismo ou as Smart Cities.

A Xpand IT irá estar presente enquanto patrocinador oficial e também orador, garantindo uma talk sobre Inteligência Artificial, por Sérgio Viana, Digital Xperience Lead da Xpand IT.

JORTEC – 1 de fevereiro (Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa, Almada)

As Jornadas Tecnológicas da FCT têm como principal objetivo mostrar as saídas profissionais e potencialidades de cada curso lecionado. Através de palestras e workshops, os alunos ficam a conhecer melhor o curso que frequentam, tendo ainda a possibilidade de entrar em contacto com empresas que atuam nas suas áreas de interesse, como engenharia do ambiente, eletrotécnica, química ou informática, por exemplo.

A Xpand IT irá estar presente na JORTEC pela primeira vez enquanto oradores, dinamizando uma talk de Big Data com Nuno Barreto e Ricardo Cardante.

SEI – 4 a 8 de fevereiro (Universidade do Minho, Braga)

A Semana da Engenharia Informática da Universidade do Minho é já uma participação clássica para a Xpand IT.

Este ano iremos estar presentes, uma vez mais, prontos para levar expertise e workshops interessantes a todos os alunos, nomeadamente um workshop de Business Intelligence – lecionados por alguns dos melhores profissionais a trabalhar na área – mas também para preparar momentos divertidos e oferecer alguns prémios! Fiquem atentos.

SINFO – 18 a 22 de fevereiro (Instituto Superior Técnico, Lisboa)

A SINFO é a maior conferência gratuita sobre tecnologia a acontecer em Portugal, e é inteiramente organizada por alunos do Instituto Superior Técnico. O objetivo da SINFO é aproximar os estudantes daquilo que de melhor se faz a nível mundial nas áreas da tecnologia e Engenharia Informática, dando-lhes também a oportunidade de comunicar com empresas que poderão ser os seus futuros empregadores.

Pelo 4º ano consecutivo, a Xpand IT marcará presença nesta semana informática, para partilhar conhecimento e esclarecer todas as dúvidas sobre a empresa que possam surgir. Iremos contribuir com um pitch sobre Inteligência Artificial, com Sérgio Viana! Podem contar com um stand animado e com brindes originais!

SET – 25 a 28 de fevereiro (Instituto Superior Técnico – Taguspark, Lisboa)

A Semana Empresarial e Tecnológica é uma iniciativa inserida no IST Career Weeks e acontece no Instituto Superior Técnico – Taguspark. O principal objetivo desta semana é mostrar aos estudantes quais as suas saídas profissionais e colocá-los em contacto direto com potenciais empregadores. Para além disso, a SET conta com prestigiados oradores nas mais diversas áreas da tecnologia.

A Xpand IT irá marcar presença nesta semana, oferecendo uma visão global sobre alguns dos projetos em que trabalha e mostrando um pouco daquilo que um futuro engenheiro informático poderá vir a desenvolver na sua vida profissional. Não esquecendo, claro, os jogos e os prémios do nosso stand!

 

Fiquem atentos às nossas redes sociais para saberem mais novidades em breve, e em primeira mão!

Ana LamelasEngenharia Informática e de Computadores? Este Roadshow é para ti!
read more