José Miranda

jmdm

Data Engineer - Xpand IT

Soluções de cloud analytics com Azure Synapse

ESTE ARTIGO EM 5 SEGUNDOS:
  • O Microsoft Azure Synapse veio mudar o jogo: as empresas podem agora ser mais ágeis ao centralizarem todos os seus dados num único espaço;
  • Neste artigo vamos focar-nos nas soluções SaaS para a implementação de uma solução Azure BI completa.

As soluções em cloud e, em particular, o Software as a Service (SaaS) trazem várias vantagens, como a facilidade de implementação e todos os recursos disponíveis, que permitem maior agilidade e acompanhar as mudanças no negócio.

Neste artigo vamos focar a atenção nas soluções SaaS para implementar uma solução completa de BI através do Microsoft Azure. Uma solução Azure SaaS significa que os seus utilizadores conseguem aceder a todo o seu trabalho através da internet por meio de um website ou de uma aplicação, em vez de instalar máquinas locais. Como? Tudo começa no mesmo lugar: fontes e bases de dados.

1. Armazenamento de dados com Azure Data Lake Storage (ADLS)

Depois de definir a origem dos seus dados, verá que alguns desses dados têm origem em bases de dados que já possui, em arquivos ou outras fontes de dados. Para isso, pode ter o Azure Data Lake Storage, que funciona como um sistema de ficheiros cloud onde pode guardar todos os tipos de objetos que possam ser necessários.

A sua integração com outras plataformas e linguagens de programação é amplamente acessível, dando a possibilidade de armazenar dados a partir de qualquer lado e, ao mesmo tempo, manter a segurança. Em resumo, o Azure Data Lake Storage permite que possa ter todas as suas fontes de dados integradas em apenas um lugar, armazenando-as juntas e criando assim o seu Data Lake.

2. Processar dados com Synapse

O Synapse é uma plataforma de dados & analytics all-in-one que combina ingestão de dados, Big Data, data warehousing e processos ETL na cloud. Com esta ferramenta pode procurar os seus dados do ADLS, limpá-los, tratá-los e armazená-los nas suas bases de dados ou data lakes o que agiliza todos os seus processos separados. Isto acontece porque o Synapse integra aplicações da Microsoft como o Azure Data Lake, Azure Data Factory, entre outros, tornando-o numa ferramenta altamente poderosa no que toca a modelos de trabalho. Porquê? Porque o Synapse torna o seu trabalho mais confortável, uma vez que não precisa de trabalhar em separado na aplicação de bases de dados (SQL Server), na ferramenta de ETL (SSIS) e na ferramenta de visualização (Power BI). Mesmo para controlo de versões e DevOps de projetos, o Synapse pode funcionar muito bem porque tem total integração com o Azure DevOps permitindo, assim, gerenciar todos os artefatos. Além disso, é possível ter um local onde pode monitorizar todos os seus dados do início ao fim. Mesmo assim, se quiser evoluir o seu processo para usar algoritmos de machine learning, pode integrar o Azure Machine Learning.

É indiscutível que uma ferramenta como o Azure Synapse traz imensos benefícios e a vantagem competitiva que os mesmos podem trazer para as empresas que querem elevar a sua data-journey é imensurável.

3. Visualização com Power BI

Ser capaz de analisar dados é crucial para as empresas no dia de hoje e, atualmente, existem ferramentas que lhe permitem criar gráficos e tabelas com toda a informação que precisa. Mas o que é o Power BI? Esta é a ferramenta que o permite criar relatórios ou construir dashboards com todos os dados que falámos nos pontos anteriores, fazendo, assim, com que possa tomar decisões com base em factos e não apenas intuições. Numa solução Azure, ainda tem que criar conteúdo no Power BI Desktop, mas tudo o resto pode ser feito na cloud, para que toda a manutenção e edição possa ser feita no espaço de trabalho do Power BI Service, que pode ser facilmente integrado com o Synapse Studio.

Basicamente, ao fazer esta integração num só espaço pode procurar e armazenar dados, processá-los e apresentá-los com recurso a relatórios e dashboards dinâmicos.

4. Catalogação de dados com Purview

O Purview é uma ferramenta de governação de dados que ajuda as empresas a governar e gerir os seus dados. Pode usar o Purview para catalogar a sua base de dados e gerir informação sensível ou colocar tags nesses mesmos dados de forma a agilizar o processo torná-lo automático.

Outra vantagem que pode ganhar é a possibilidade de ver toda a linhagem de dados e saber a sua origem e o seu destino, para que possa acompanhar todos os processos. Este tipo de vantagens são apenas algumas das quais pode usufruir através do Purview, mas há mais: tendo os dados todos catalogados, todos os utilizadores da sua empresa podem aceder ao catálogo para explorar e encontrar insights ou verificar dados confidenciais.

E adivinhe… o Purview pode ser integrado com o Synapse e a partir do mesmo pode chamar todos os recursos para trabalhar com tudo no mesmo lugar.

Pensamentos Finais

Os tempos estão a mudar, a cloud está a ganhar uma importância extrema, e, embora a oferta deste tipo de soluções seja vasta, apostar em cloud analytics com Azure Synapse veio mudar por completo o jogo. Com esta ferramenta, as empresas podem ser mais ágeis ao centralizar todo o seu trabalho de análise de dados num só lugar. Para os que precisam de abrir o seu gestor de bases de dados, a ferramenta de ETL e a ferramenta de visualização de dados, para quem precisa de ter as três coisas no mesmo sítio, entende que o Azure Synapse é a solução que integrará tudo numa única ferramenta permitindo que os seus projetos tenham menos erros, problemas de versão e e situações de incompatibilidade, entre outros. Tudo isto, e juntando a capacidade de catalogar e organizar dados, torna esta ferramenta ainda mais completa, garantindo uma governação de dados mais adequada.

A melhoria da competitividade das empresas que utilizam o Synapse é evidente. A sua empresa pode ter uma solução cloud de BI com diferentes tipos de ferramentas e todas elas funcionarem bem, no entanto, ao integrar todas as ferramentas num só lugar vai potencializar a gestão de todos os seus processos de BI, tornando o seu trabalho mais ágil e trazendo mais valor aos seus dados.

José MirandaSoluções de cloud analytics com Azure Synapse
read more

Lumada Data Catalog: a solução para a organização dos dados

ESTE ARTIGO EM 5 SEGUNDOS:
  • O que é o Lumada Data Catalog e como tirar partido desta ferramenta;
  • Como catalogar e organizar dados, controlar dados sensíveis, gerir dados redundantes e fazer toda a gestão de proprietátios e administradores nos seus catálogos de dados.

E se a forma de organizar dados pudesse ser melhorada? A informação recolhida a partir dos dados existentes nas empresas aumenta todos os dias, e de uma forma que precisa de ser tratada com grandes ferramentas e processamentos de dados. Contudo, à medida que o tempo passa e os dados armazenados aumentam, os riscos de se ter tudo desorganizado e de se perder a noção do que está a acontecer também aumentam. Isto pode levar horas a tentar descobrir o que se quer analisar ou a não estar em conformidade com os dados mais sensíveis. Na verdade, como se pode ser orientado pelos dados se não se consegue encontrar os… dados?

A informação está em todo o lado, podendo ser transformada em conhecimento acessível eficiente, organizando e categorizando por assunto. Isto acontece com livros, apresentações, códigos, qualquer outro tipo de informações e, agora, com dados. Ao catalogar a informação que se obtém do input das empresas, pode-se facilmente rotular e encontrar os dados que deseja trabalhar para prevenir os riscos que referimos anteriormente. Uma das ferramentas que tem o poder de o conseguir é o Lumada Data Catalog. Esta ferramenta da Hitachi permite catalogar os dados usando inteligência artificial e algoritmos de machine learning que etiquetam os dados e validam essas etiquetas com avaliações estatísticas, as quais podem ser confirmadas se estão certas ou erradas e, a partir daí, ensinar o algoritmo a funcionar com os dados. Mas o que se pode realmente fazer com esta ferramenta e que valor pode ser retirado dela? Vejamos os factos:

1. Organize e descubra dados rapidamente

Ter todos os dados catalogados é como ter um índice para os dados. Pode-se aceder e descobrir blocos de informação específicos ao utilizar etiquetas de funcionalidade. Como é que isto acontece? O Lumada Data Catalog usa um processo de IA que insere os dados no catálogo automaticamente, reduzindo a necessidade de manualmente descobrir e etiquetar dados porque, para grandes quantidades de informação, a descoberta manual já não é viável. Depois disso, podem ser aceites as etiquetas e adicionar novas, tais como as que se costumam utilizar ou os termos da empresa para classificar os dados e deixar o processo IA fazer o resto. Isto possibilita a capacidade de ter todos os dados inventariados e só é preciso pesquisar pelas etiquetas específicas.

2. Controle dados sensíveis

Enquanto identifica e etiqueta dados, o processo de IA do Lumada Data Catalog apanha automaticamente todos os dados sensíveis e dá-lhe as etiquetas adequadas. Se houver outros campos de dados que tenham de ser etiquetados como sensíveis, basta dar a mesma etiqueta a esses campos. Isto possibilita um conhecimento instantâneo e a capacidade de manter a conformidade com o regulamento da privacidade de dados das empresas.

3. Gestão de dados redundantes

É muito fácil existirem dados redundantes. Normalmente, a forma de saber que existem é quando um campo surge de diferentes sítios e não se sabe qual é que deve ser utilizado. Ter os dados organizados e catalogados possibilita que se reconheça a existência de dados redundantes e de onde vêm, o que ajuda a gerir rapidamente este tipo de inconveniência.

4. Proprietários e Administradores

Quando se tem um catálogo de dados é como ter uma biblioteca e, como tal, deve ter-se alguém a guardar tudo. É por isso que existem os proprietários e os administradores dos dados. Estes papéis mantêm e gerem o catálogo de dados e ajudam os utilizadores finais sempre que tenham uma dúvida ou necessidade de encontrar algo. Com estas pessoas, adquire-se um ponto de contacto para toda a gente nas empresas referente a qualquer assunto sobre dados.

Considerações finais

É evidente que ter um catálogo de dados pode aumentar realmente a forma como se trata e partilha dados pelas empresas. Para além disso, tratar dados sensíveis de forma adequada e ter pessoas especializadas a gerir os dados, com quem os utilizadores finais podem falar, e seguir processos, é a maneira certa de trabalhar enquanto uma empresa focada em dados. O Lumada Data Catalog pode melhorar este processo ainda mais ao utilizar tecnologias IA e machine learning que permitem organizar tudo automaticamente. Isto pode trazer insights e tomadas de decisão mais rápidas às empresas e potenciar capacidade das empresas de serem competitivas nos mercados de hoje em dia.

José MirandaLumada Data Catalog: a solução para a organização dos dados
read more

3 tendências de embedded analytics a seguir

Agora, mais do que nunca, o mundo reconhece o valor dos dados e as possibilidades infinitas que estes oferecem a quem toma decisões são enormes. Se a sua empresa oferece algum tipo de serviço, o mais provável é que recolha dados; e se não tem uma solução para geri-los, está a perder oportunidades. As oportunidades escondidas nos dados que as suas operações diárias geram podem ser enormes. Assim que percebe o poder que reside nisso, vai querer usá-los. Estamos a falar em criar ainda mais valor junto dos seus clientes com base nos seus próprios dados. Estamos a dizer justamente que pode monetizar o que os seus serviços estão a produzir, e que isso lhe está a escapar. Vamos ser diretos, portanto hoje vamos falar sobre estas possibilidades e como pode alcançá-las com Tableau. Vejamos quais as 3 tendências de embedded analytics a seguir agora:

1. Melhore os seus serviços com embedded analytics

Ter as bases para implementar a sua análise de dados onde quiser é realmente uma grande ajuda para alcançar o que os seus clientes visionaram. Pode incorporar o Tableau Server ou Tableau Online em soluções que forneça aos seus clientes. Isso significa que pode criar todos os relatórios que desejar no Tableau e, em seguida, integrá-los em todos os produtos, serviços, portais web ou apps que desejar. O poder que ganha ao personalizar a sua oferta é enorme, o que fará com que os seus clientes sintam que podem ter as suas próprias análises em vez de uma padronizada. Além disso, esta funcionalidade pode melhorar os seus serviços ou acrescentar-lhes uma camada extra, o chamado “produto estendido”, através do qual poderá aumentar o seu pacote de serviços de acordo com as necessidades e desejos dos clientes, ou o que acha que poderá ser melhor para eles. Dito isto, está claro que este serviço pode proporcionar-lhe uma grande agilidade na criação de soluções personalizadas para os clientes e, além disso, pode fazê-lo enquanto aproveita o melhor dos recursos do Tableau.

2. Monetização

Hoje em dia está na moda vangloriar os dados. O mercado entendeu o seu valor inerente e as empresas que tratam e monetizam informações são as que mais alavancam os seus negócios. E mesmo que ajude a tomar melhores decisões, ou mais bem informadas, assentes em factos e não em previsões, os dados podem até tornar-se num serviço ou produto e há muitas opções para tal. Depois de ter a sua solução de embedded analytics implementada, se a empresa trabalha com dados de clientes e pretende fornecer insights através de painéis, especialmente aqueles que constrói no Tableau, pode criar produtos ou serviços em torno deles para monetizar os insights e o valor que pode ser gerado através dessas análises. Além disso, pode providenciar soluções personalizadas ou padronizadas para cada cliente, sendo a solução personalizada a mais dispendiosa.

3. Construir vs. Comprar

Claro, pode criar as suas próprias soluções para isto tudo e pode até ser uma solução confiável; mas comprar geralmente é a melhor opção. Porquê? Ora, se optar por construir, começará do zero e desenvolverá a sua solução, que provavelmente será baseada num processo complexo a precisar de muita manutenção e atenção por parte das pessoas que poderiam simplesmente concentrar as atenções em fazer análises e relatórios. Isto significa que poderá demorar uma quantidade significativa de tempo para começar a agregar valor e, além disso, o conjunto de recursos disponíveis é sempre limitado pela sua capacidade de desenvolvimento.

A Tableau está no mercado desde 2003, portanto é óbvio que se investiu muito tempo em desenvolver e aperfeiçoar a capacidade de desenhar relatórios. Se decidir comprar, saiba de entrada que esse é o único custo que suportará para aceder a anos de conhecimento acumulado. Além disso, o esforço será muito menor, a configuração é mais rápida e não precisará de pessoas para desenvolver e manter a solução. Poderá então redirecionar as pessoas para se focarem em análises e relatórios. A implementação será muito mais fácil e criará relatórios que poderão facilmente ser editados no futuro através do Tableau.

Pensamentos Finais

As soluções de embedded analytics são um poderoso recurso que o Tableau oferece. Usar relatórios que podem ser facilmente construídos através do Tableau nas apps, produtos ou serviços, pode abrir um mundo novo de oportunidades onde todos ganham e o valor acaba por ser criado. Tudo isto faz parte da transformação digital e a Xpand IT está pronta para o ajudar nesta jornada. Verifique as nossas soluções do Tableau, entre em contacto connosco e vamos ajudá-lo a estabelecer uma estratégia para incorporar e ajudar na implementação de forma a que possa usar as suas análises de dados nos lugares certos, para as pessoas certas e da forma certa.

José Miranda3 tendências de embedded analytics a seguir
read more

Business Intelligence, o aliado dos decisores de negócio

Quando falamos de tomada de decisão descobrimos um curso de ação onde seleções são feitas dentro de um grupo de cenários possíveis para atingir um objetivo ou solução. Qualquer empresa é o caminho que escolhe e, enquanto não há uma forma de prever completamente o futuro, processos que ajudem a tomar decisões acertadas podem ter um grande impacto. A verdade é que, por trás de uma decisão de uma empresa, estão pessoas que têm de fazer escolhas usando a informação que têm disponível no momento. Isto quer dizer que para construir uma boa estratégia, as empresas necessitam de informação interna e externa fidedignas para saberem com o que estão a lidar e onde intervir. Imagine a escolha entre papel ou digital? Refazer a marca do seu produto ou mudar o posicionamento? Aumentar a percentagem da margem ou focar-se mais na diminuição de custos? Diversificar a oferta ou criar um produto alargado? Empresas são feitas de decisões assim como a sua também o é, e, sem boa informação, como pode um decisor de negócio saber que escolheu a opção correta? Como pode um executivo, um diretor de departamento ou até mesmo um gerente de turno – pessoas cujas decisões têm impacto – decidir o melhor? A nossa resposta é, Business Intelligence. Nós explicamos:

Transparência de dados

Através dos seus sistemas e ferramentas automatizados, Business Intelligence (BI) pode ajudar os decisores de negócio a mitigar erros humanos ou geração de informação errada. Com dados transparentes e concisos, as suas decisões podem ser suportadas por premissas sólidas. Muitas ferramentas de BI dão a capacidade de certificar dados o que potencia a credibilidade para a tomada de decisão.

Prever tendências

Recolher dados que monitorizam os processos das empresas é útil para construir previsões aplicando análises. Estes podem ajudá-lo a decidir recursos, estratégias ou investimentos ao dar-lhe informação de mercado como a procura esperada ou o comportamento dos consumidores.

Performance histórica no tempo

Com uma solução de BI bem implementada, a sua empresa pode ter intuições instantâneas sobre o histórico de performance. Num mundo altamente competitivo, decidir rápido e apropriadamente é uma vantagem competitiva para qualquer empresa. Mitigar perdas ou resolver com sucesso um problema é algo que BI pode ajudar a potenciar quando oferece informação precisa, na qual pode confiar para implementar soluções concretas.

Agora que sabemos algumas características sobre o impacto de BI, vamos falar de quatro exemplos de como pode ajudar a sua empresa a atingir os seus objetivos.

1. Vendas e Marketing

Com BI, as organizações podem explorar tendências de vendas ou de compra por parte dos clientes analisando os seus comportamentos, escolhas e preferências. Ao comparar essas tendências com o seu buyer persona, conseguirá reajustar as suas estratégias de venda, posicionar o seu produto, reformular a marca, modular promoções ou campanhas e maximizar as suas estratégias de angariação de clientes para manter a performance de bons key performance indicators (KPI’s), assim como alavancar os menos positivos.

2. Inventário

Os benefícios de BI na gestão da cadeia de abastecimento são bem conhecidos. A supervisão que é alcançada com uma solução de BI pode ajudá-lo a decidir evitar excesso de stocks e custos exorbitantes de itens parados. A gestão de itens que estão em stock por muito tempo e pouco controlados é outra força que pode capitalizar. Além disso, ao analisar o padrão de ordens de um produto, terá a capacidade de construir novas estratégias para esse produto e alterar preços para atingir a melhor margem de lucro.

3. Finanças

Finanças é um dos temas mais importantes de uma organização. BI dá-lhe a habilidade de analisar relatórios financeiros eficientemente. É possível ver os números de entradas e saídas correntes e compará-los com performances passadas, ou com benchmarking, de forma a decidir estratégias financeiras com base num status financeiro preciso, onde KPI’s podem ser facilmente analisados.

4. Executivos

Quando uma solução de BI e uma forte cultura data-driven são implementados, os executivos de uma empresa podem confiar na informação que BI lhes dá. Assim, todos os KPI’s, previsões, relatórios financeiros e fatos estatísticos gerados em visualizações e dashboards, podem alavancar as decisões sobre o futuro da sua empresa para atingir crescimento, sucesso ou até ultrapassar uma crise. Além disso, com esta informação, poderá tomar decisões bem informadas e agir de forma a melhorar a performance no geral.

Pensamentos finais

Decisões são feitas todos os dias. Algumas boas, outras más, mas todas constroem uma empresa. Somos o que escolhemos, empresas são o que escolhem, mas numa escala maior sendo suportadas pelo espectro de escolhas individuais. Sabemos como BI é importante para essas decisões e os benefícios de ter uma cultura data-driven. A nossa solução Data Innovation Journey, explica quais os passos que terá de tomar para que seja fácil de entender e pode contar sempre connosco, Xpand IT, no caminho para a sua empresa atingir o melhor. Acreditamos veemente no potencial de BI para ser o aliado certo da sua tomada de decisão, porque, no final, é tudo sobre dados.

José MirandaBusiness Intelligence, o aliado dos decisores de negócio
read more

Será a minha empresa Data-Driven? Como saber em que estado está o Analytics

Esta é a questão de um milhão de euros e, na verdade, para algumas empresas pode significar ainda mais. Na procura pelo caminho para tornar a sua empresa data-driven pode tomar-se conhecimento do poder dos dados para seguir decisões certas em cada momento no tempo. Como perceber que está a seguir esse caminho? Existem muitos indicadores e informações que ajudam nessa avaliação. Saber em que etapa a sua empresa está, pode ajudar a entender o que é necessário para ganhar o título de data-driven. Isto leva a saber o que é preciso fazer para atingir esse objetivo dentro de vários fatores: quanto esforço é necessário, que recursos têm de ser gastos, ou até que competências poderão estar em falta. No fim, a ideia é implementar eficientemente este processo e tornar a sua empresa mais competitiva.

1. Quanto sabe sobre os seus dados e quem precisa deles?

Para tirar partido de analytics é importante que saiba como os dados serão introduzidos e quais estão disponíveis. Como são esses dados armazenados para as áreas principais de informação que precisa de alcançar, estão em ficheiros como excel ou texto, ou estão em bases de dados? Como são essas fontes acedidas hoje? Se conseguir responder a estas questões terá um bom entendimento dos dados que estão disponíveis.

Outro aspeto é saber para quem esses dados serão relevantes, quem serão os utilizadores finais e em que contexto eles irão aceder aos dados. Por exemplo, se um dos objetivos é ter acesso móvel a conteúdo ou a dados que estão armazenados na cloud, terá de saber se a sua empresa está munida desses recursos.

2. Quão empenhada está a sua equipa para tornar-se numa empresa data-driven?

Quando uma empresa quer seguir o caminho de data-driven, as pessoas que nela trabalham devem estar orientadas para tal. Cada disruptor deve ter patrocinadores, normalmente executivos, que estão abertos à mudança que entendem e acreditam nos benefícios de um projeto como este. Este patrocinador interno, será responsável por assegurar que os processos de negócio incluirão a análise de dados e atuará como um facilitador.

3. A empresa tem todas as capacidades necessárias?

Implementar uma plataforma de analytics requer diferentes áreas de especialidade, o que pode alcançar a engenharia de dados, visualização ou até o setup de infraestruturas. Além disso os utilizadores irão necessitar de treino e, realizar workshops regularmente pode ajudar a atingir a adoção. Comece por ver se a sua empresa tem um departamento de analytics e que competências estão disponíveis. Implementar um caminho data-driven sem competências específicas será muito difícil e longo de alcançar. Pode até comprometer o processo inteiro se não antecipar as necessidades dos utilizadores ou não ter qualidade suficiente nos dados e minar a confiança na capacidade de análise dos mesmos. Isso é algo muito difícil de recuperar.

4. Como será tudo governado e seguro?

Por último, mas não menos importante, depois de analisar para onde a cultura da empresa está direcionada, depois de avaliar os dados disponíveis e depois de definir todos os intervenientes, tem de investigar como a segurança é feita e como são governados os conteúdos. A informação está dividida por departamentos ou está toda no mesmo local para ser acedida por todos os utilizadores? O que poderá qualquer pessoa com uma função específica ver quando acede a conteúdos? Verá informação específica ou toda? Estes são alguns exemplos de perguntas que deve fazer. Hoje em dia, as ferramentas de BI (Business Intelligence) moderno como Power BI e Tableau, têm recursos e funcionalidades que satisfazem essas questões o que torna este trabalho mais fácil. Com estas ferramentas, conseguirá dar liberdade aos utilizadores para fazerem o que quiserem, ver conteúdo, editar, etc., mas tudo controlado por aquilo que decidir que eles podem fazer ou não. Em muitos casos, especialmente para empresas grandes, os dados são acedidos para criar dashboards e conteúdo que deve ser posteriormente partilhado por pessoas específicas na empresa. Sem um bom modelo de governança será muito difícil ter um processo simplificado onde conteúdos são rapidamente acedidos, atualizados e se necessário partilhados de forma segura.

Pensamentos Finais

Às vezes é difícil avaliar em que etapa a sua empresa está, mas por isso é que hoje demos alguns conselhos. O termo data-driven está a tornar-se cada vez mais popular e comum no mundo dos negócios, mas muitas empresas não sabem em que ponto estão e o que devem fazer. Os passos a fazer dependerão muito do contexto da sua empresa e em que ponto ela está atualmente. Nós queremos saber onde está, o que tem e o que precisa de fazer, por isso é que a Xpand IT tem o DIaaS (Data Innovation as a Service). Este serviço pode ajudar a desenhar e implementar uma iniciativa sustentável para perseguir e atingir uma cultura de empresa data-driven, tendo como certeza que a sua empresa tem todas as capacidades necessárias disponíveis e que alguém com altos níveis de experiência antecipe as necessidades da mesma. No fim, a ideia é promover o sucesso num aspeto tão importante da transformação digital da sua empresa.

José MirandaSerá a minha empresa Data-Driven? Como saber em que estado está o Analytics
read more

E o vencedor é… BI moderno!

Porque o Business Intelligence moderno é tão importante para uma organização tornar-se mais competitiva?

O BI moderno traz a flexibilidade necessária para construir uma cultura data-driven onde se pode decidir com factos e não apenas com suposições. Ao invés de depender somente de EDW’s (Enterprise Data Warehouse) como o BI tradicional, ele traz um conjunto de novas ferramentas de visualização interativa que direcionaram muitas tarefas do departamento de IT para os utilizadores de negócio. O BI deixou de ser apenas um projeto; o objetivo é uma empresa data-driven onde o BI é o elo de ligação entre qualquer input de dados com o utilizador final através de ETL (Extract, Transform & Load) e as ferramentas de visualização. O que queremos, é mostrar por que razão o BI moderno oferece valor para as empresas e vamos fazê-lo na trilogia seguinte.

1. Aceder a dados

Ligar a dados tornou-se muito mais fácil. Hoje em dia, é possível ligar-se a qualquer tipo de BD (base de dados), conjunto de ficheiros, como PDF ou excel, a API’s ou a dados provenientes da web usando Web Data Connectors, etc. É possivel realizar estas ligações a partir de uma ferramenta de BI como o Tableau Desktop ou Power BI, que permitem conexões diretas a essas fontes de dados. Pensemos sobre isto, muitas empresas confiam no excel como output da informação dos seus departamentos. Imaginemos um exemplo de relatórios mensais sobre vendas. Como se pode comparar, facilmente, o desempenho das vendas de 2008 com as de 2018? Abre-se os ficheiros de excel todos? Como se pode construir um mapa de vendas vs região por ano? E detalhar por mês? Felizmente, essas ferramentas de BI moderno podem oferecer isso. Tendo-se a capacidade para ligar rapidamente a um ficheiro excel, ou vários (por joins ou relationships) ao Tableau ou ao Power BI, adquire-se uma verdadeira melhoria na eficiência de análise porque em poucos minutos, pode-se limpar, normalizar e usar todos esses dados para construir relatórios e dashboards dinâmicos.

É necessário ter em conta que às vezes os dados não estão livres de erros pelo que é preciso montar um processo de limpeza, o que é relativamente simples de fazer nessas ferramentas com alguns cliques. No entanto, na existência de ficheiros muito complexos que necessitem de cálculos complicados, ou se o intuito for juntar muitas fontes de dados distintas, será necessária uma ferramenta de ETL como o Pentaho, o Tableau Prep ou o SSIS (SQL Server Integration Services) e uma BD para onde o ETL enviará os dados de todas as fontes.

2. Construir Visualizações

Ligar aos dados tem opções novas e é algo muito mais rápido de se fazer, mas o que é mais interessante é a construção de visualizações. Mais vale esquecer aqueles gráficos, tabelas e mapas velhos e estáticos. Hoje em dia, as soluções de BI oferecem a possibilidade de construir qualquer tipo de gráfico para mostrar informação da forma que se quiser. Apenas num gráfico, em poucos minutos, pode-se criar uma visualização por ano com a possibilidade de detalhar até aos dias ou detalhar hierarquias, mostrando apenas o lucro por grupos de produtos e depois detalhar até se ver o lucro por cada produto, por exemplo. Rapidamente se consegue incorporar filtros nas visualizações de forma a tornar a sua análise mais precisa. É possível construir parâmetros que habilitam os utilizadores a ver diferentes KPI’s (Key Performance Indicators) por grupos de produtos, o que quer dizer que na mesma visualização, pode-se explorar o lucro por número de vendas ou a margem por produto. Todavia, é muito fácil ter acesso a raw data construindo tabelas que apresentem a informação que se pretende.

Apesar destas funcionalidades agradáveis, há uma muito importante. A possibilidade de explorar e analisar os dados subjacentes. Escolhendo um grupo ou clicando num ponto específico de um gráfico, rapidamente se pode visualizar a informação que contribui para a construção dos valores. Com isto nunca se anda às cegas e ainda melhor, é possível exportar esses dados para um ficheiro. Usando esta funcionalidade com as visualizações, qualquer utilizador pode explorar e analisar, estando apto a encontrar tendências ou outliers para tirar conclusões interessantes.

No fim, vai estar capacitado para criar dashboards super dinâmicos cheios de filtros ou parâmetros que podem ser aplicados a todos os gráficos, tabelas e mapas. Com os dashboards podem-se criar “snapshots” para contar uma história e comunicar os dados de uma forma muito mais fácil e consistente.

Isto ainda se torna melhor porque depois de construir as visualizações, estas podem ser partilhadas com todas as pessoas da empresa sendo possível escolher quem vê o quê.

3. Governance

Se as visualizações são algo de outro mundo, partilhar conteúdo de uma forma tão simples com toda a organização ainda é melhor. Ferramentas como o Tableau ou o Power BI oferecem a possibilidade de ter todo o conteúdo centralizado num só local, dividido por projetos ou departamentos. Estamos a falar de fontes de dados e dashboards onde se podem criar grupos de utilizadores e decidir as permissões deles. Imaginemos a construção de um dashboard para o Marketing que é publicado num serviço online. Na plataforma, existem utilizadores de todos os departamentos, mas apenas os utilizadores do Marketing devem ver o dashboard. Para se atingir isto, cria-se o grupo Marketing, adiciona-se todos os utilizadores do Marketing e dá-se permissões para que eles possam ver o conteúdo enquanto que para outros grupos, Finanças por exemplo, negam-se essas permissões.

Esses serviços são online, tendo como base um servidor físico ou cloud com um alto nível de segurança. Para aceder podem utilizar-se diretorias de login como o Active Directory ou criar uma localmente. É relativamente simples embutir visualizações em páginas web que serão atualizadas cada vez que os dados subjacentes mudam. Criar horários ou alertas é algo bastante útil, horários para atualizar fontes de dados e alertas para saber quando um KPI ultrapassa um certo limite. Apesar disto, é fácil monitorizar tudo: quem acedeu o quê, desempenho, espaço livre e usado, tarefas, etc.

A melhor parte de tudo isto é o facto de o pessoal de IT continuar a ser uma peça importante para gerir os acessos aos dados, mas com as permissões certas, qualquer utilizador ganha poder para ver, customizar, criar ou editar dashboards e relatórios ou analisar dados em muito pouco tempo.

Pensamentos finais

Como dissemos, BI não é mais um simples projeto. BI é um ser vivo nas empresas. Imaginemos uma empresa como uma cidade em que por cima passa uma autoestrada de dados fluindo livremente entre cada canto dessa cidade. A escalabilidade torna-se bastante eficiente na medida em que os vários departamentos podem evoluir para uma cultura digital em muito pouco tempo ou velhas estruturas digitais de BI podem evoluir para soluções mais recentes, o que seria ainda mais rápido de se fazer.

O valor que se retira da monitorização, da tomada de decisões, da rápida análise de informação ou da partilha de intuições entre pessoas e departamentos, é um de muitos pontos positivos que BI pode oferecer, isto sem esquecer a autonomia que os utilizadores têm para fazer tudo isto.

Com certeza o BI moderno é um vencedor que apanhou a velocidade do nosso mundo competitivo em constante mudança e ganhou o seu lugar ao lado do tecido empresarial. Por isso é que o Xpand IT DIaaS (Data Innovation as a Service) se tornou real. Definindo uma estratégia, implementando, mantendo e dando suporte a uma solução robusta, ajudando as empresas a construir essa autoestrada, podemos auxiliá-las a assumirem-se como competitivas e data-driven, e claro, como vencedoras, porque quando estas triunfam, nós triunfamos.

José MirandaE o vencedor é… BI moderno!
read more

Green Deal: 5 razões para que a sua empresa seja Data-Driven

Verdade seja dita, mais tarde ou mais cedo todas as indústrias terão de cumprir diretivas ecológicas, sejam elas vindas da Comissão Europeia ou de outro organismo com poder de influência. De facto, como muitos sabem, em Dezembro de 2019, a Comissão publicou “O Pacto Ecológico Europeu” (The European Green Deal). Este acordo tem o propósito de mudar a forma como a União Europeia (UE) e todos os seus cidadãos estimam o clima e o ambiente.

Não é difícil entender que as empresas europeias terão de ser as grandes pioneiras e empresas data-driven serão as que terão menos dificuldades para adotar essas diretivas. Portanto, para que a sua empresa se mantenha competitiva e absorva rapidamente as mudanças que se avizinham em matérias de produção ou processos diários operacionais, deve dar uma oportunidade a um modelo data-driven.

Porquê? Porque será capaz de analisar e agir sabendo exatamente o que está a acontecer nas operações dia-a-dia ao invés de fazer apenas suposições. Terá dados organizados em infraestruturas digitais aliadas a soluções de Business Intelligence, Data Science e Big Data.

Para que possa entender melhor, analisaremos cinco pontos, mas primeiro temos de alertar que o acordo tem muita informação e aqui apenas focamos em assuntos que importam para este artigo. No entanto, aconselhamos a gestores estratégicos a leitura do Green Deal.

1 – Energia Limpa e Eficiente

Para sermos simples e diretos, segundo o acordo, 75% das emissões de gases com efeitos de estufa na UE provêm da produção e consumo de energia em todos os sectores económicos, portanto, de forma a reduzir esses números, o sector de energia deve ser amplamente baseado em energias renováveis e ter uma estrutura interligada com total integração e digitalização.

Como empresa data-driven saberá precisamente quais os tipos de consumos e respetivos montantes. Por exemplo, será capaz de perceber se usa recursos renováveis ou não, quanta eletricidade é gasta, quanta água é usada ou qual a quantidade de aquecimento e ar condicionado que é desperdiçada. Avaliando o consumo das operações diárias e entendendo se são eficientes e baixas em recursos, melhores estratégias poderão ser construídas.

2 – Economia circular e limpa

Apenas 12% dos materiais usados pela indústria da UE são reciclados e a extração de materiais novos triplicou entre 1970 e 2017. Continua a aumentar e representa um risco global. Por causa disto, de forma a alcançar os objetivos do Pacto Ecológico Europeu, a Comissão quer que as empresas adotem a transformação ecológica e digital e sejam mais independentes da extração de novos materiais, que são convertidos em produtos e posteriormente descartados como resíduos ou emissões.

De facto, o acordo revela que a prioridade da Comissão é reduzir o uso de materiais novos e promover a sua reutilização deixando a reciclagem para terceiro plano.

Com empresas data-driven será possível monitorizar linhas de produção e retirar dados para analisar a quantidade de recursos usados para produzir um item ou medida (toneladas por exemplo), que materiais estão a ser usados e qual a quantidade de resíduos gerada.

Com esta informação, poderá redireccionar linhas de produção para propósitos ecológicos, fazendo com que estas usem materiais mais eficientes e produzam menos resíduos ou otimizando a reciclagem. Além disso, tendo uma visão digital, poderá tornar-se num modelo a seguir na sua indústria ao desenvolver modelos de eficiência ou inovando lógicas de produção que sejam disruptivas.

3 – Construção e renovação de edifícios

A taxa anual de renovação de edifícios na UE, segundo o pacto, ronda os 0.4% e os 12%. A Comissão afirma que esta taxa deve duplicar de forma a atingir os objetivos climáticos. Por outro lado, milhões de consumidores lutam para manter as suas casas aquecidas. Para resolver isto, a Comissão vai motivar a renovação de edifícios privados e públicos, vai apertar a legislação de eficiência energética dos edifícios e para seguir a lógica da economia circular e aumentar a digitalização do parque imobiliário, a Comissão vai rever o Regulamento Produtos de Construção.

Como empresa data-driven vai ter ferramentas de análise de dados para entender que tipos de materiais estão a ser usados em cada projeto e usar materiais melhores, se necessário, para diminuir os consumos dos edifícios. Tendo uma visão mais próxima de como constrói e tendo dados sobre a eficácia de cada material usado, facilmente cumprirá com as mudanças que possam surgir na legislação de eficiência energética. Saberá como organizar stocks eficientemente de forma a reduzir lixo ou resíduos.

Como empresa ligada à construção poderá desenhar soluções para os proprietários das casas ou dos edifícios que retirem dados sobre os seus consumos ou sobre a eficiência energética. Também poderá construir casas inteligentes que climatizam eficientemente fazendo uso de janelas inteligentes ou sistemas de equilíbrio de temperatura com purificação e circulação de ar ou casas com jardins verticais para renovação de ar, isolamento acústico e diminuição da humidade. Isto aplica-se tanto para nova construção como para renovação de edifícios.

4 – Mobilidade Sustentável

Segundo o acordo, para atingir os objetivos climáticos, as emissões de transporte devem diminuir 90% e por transporte entenda-se todos os tipos (desde carros a aviões ou barcos, etc.). Para abordar este desafio, a Comissão criará uma estratégia que ataque todas as fontes de emissões.

Como empresa data-driven terá controlo da sua frota com dispositivos que fornecem informação suficiente sobre os consumos e as emissões de cada veículo. Com esses dados poderá redesenhar rotas para reduzir quilometragem e emissões ou repensar estratégias e mudar a frota se necessário (de combustível para elétrica por exemplo).

Se for um fabricante de transportes será capaz de obter dados de consumos, emissões e eficiência dos seus motores e outras partes dos seus produtos que poderão dizer com precisão o que não está a ser eficiente. Saberá a performance dos produtos e o que fazer para reduzir emissões, mesmo que isso signifique menos potência.

O mesmo se aplica se for um fabricante de baterias. Terá dados sobre as suas performances e materiais para produzir uma bateria. Isto poderá dar a possibilidade de estender a vida das mesmas ou ter linhas de produção eficientes com baixas emissões, o que pode compensar a mudança de frotas de combustível para frotas elétricas.

5 – Sistema de produção de comida saudável e eco-friendly

Produzir comida polui o ar, água e solo e, segundo o acordo, afeta as alterações climáticas, contribui para a degradação da biodiversidade e consome demasiados recursos naturais quando tanta comida é desperdiçada. Hoje em dia existem novas tecnologias, descobertas e consciência pública que representam novas oportunidades para os produtores e valor para os acionistas. Para mudar a forma como a produção de comida polui o nosso planeta, a Comissão vai apresentar a estratégia “Do Prado ao Prato”. Não obstante, a proposta da Comissão define que “pelo menos, 40% do orçamento global da PAC (Política Agrícola Comum) e, pelo menos, 30% do Fundo Europeu dos Assuntos Marítimos e das Pescas deverão contribuir para a ação climática”.

Como empresa data-driven saberá exatamente a quantidade de água usada para as plantações, quanta água e erva os pastos necessitam e a quantidade de químicos pesticidas, fertilizantes e antibióticos usados, assim como outros fatos também importantes. Isto dá a possibilidade de construir novas formas de operar com consumos baixos de recursos e menos químicos na comida.

Como o futuro terá de ser diferente, poderá ser apenas uma questão de tempo até a sua empresa ser forçada a mudar de estratégia e encontrar formas de produzir produtos limpos e sustentáveis. Dados provenientes dos pastos, quintas, plantações, estufas, aquacultura, cativeiros, etc. aliados a dados originados das escolhas e necessidades dos clientes, serão um dos seus melhores amigos para atingir os objetivos do Pacto Ecológico Europeu.

Considerações finais

Estamos a falar de uma transformação massiva nos próximos 30 anos. Não é assim tanto tempo e empresas avessas à mudança viverão tempos difíceis. Empresas sustentáveis e ambientais serão mais valiosas nos anos vindouros. Não podemos esquecer que as próximas gerações são as que estão a crescer mais despertas para causas ambientais e de desigualdade. Essas serão as que forçarão as suas empresas e pais a mudar os seus costumes. Essas serão os futuros consumidores e aqueles que devemos ouvir. A Europa sabe que o futuro passa por paradigmas ambientais e quer tornar-se a pioneira desses padrões, não apenas por razões competitivas e económicas, mas porque é necessário.

Uma boa maneira de saber para onde vamos é sabermos de onde viemos, portanto, uma forma de dizer para onde a sua empresa deve caminhar é analisando os seus dados diários e ter conhecimento sobre o que ela está a fazer. Precisará de estar muito bem informado estrategicamente e ser capaz de retirar informação valiosa que ajude a construir essas estratégias e políticas. Uma boa forma de ser uma empresa data-driven com sucesso, é ter um parceiro especialista em dados com serviços de Business Intelligence, Data Science e Big Data como nós, Xpand IT, que temos uma solução DIaaS (Data Innovation as a Service) para guiá-lo na aventura de se tornar numa organização data-driven. Esta solução evolui com o tempo e vai desde os passos iniciais de construir uma estratégia ou implementar o setup, até à fase de implementação com componentes de analytics e data science e posteriormente serviços de manutenção, suporte e formação.

Em verdade isto pode levar a um aglomerado de processos automatizados que muitas vezes resultam em custos mais baixos e resultados positivos porque está a ser mais eficiente, mas desta vez a causa é mais nobre, desta vez a causa está ligada às alterações climáticas e nós estamos aqui para travar essa batalha consigo.

José MirandaGreen Deal: 5 razões para que a sua empresa seja Data-Driven
read more