José Miranda

  1. home
  2. blog
  3. José Miranda

jmdm

Data Engineer - Xpand IT

Como migrar o SQL Server Integration Services

Como migrar o SQL Server Integration Services

by José Miranda
2023-12-05
4 min
ESTE ARTIGO EM 5 SEGUNDOS:
  • Aprenda a migrar o SQL Server Integration Services, respeitando as boas práticas;
  • Descubra as vantagens, tais como a escalabilidade, a integração com inúmeras ferramentas, e a integração com serviços PaaS;
  • Saiba como mitigar potenciais problemas, tais como a complexidade inicial, os custos associados à núvem ou o facto de não tirar o máximo partido dos módulos da cloud.

Todos sabemos que nem tudo é para sempre. O SSIS (SQL Server Integration Services) foi e é uma ferramenta utilizada por muitas pessoas e empresas mas, como qualquer tecnologia, tem de evoluir. Essa evolução aconteceu gradualmente com o aparecimento das tecnologias na nuvem e, especialmente, do Azure. Atualmente, é possível ter todas as capacidades do SSIS no Azure Data Factory, aliadas a muitas outras ferramentas. As empresas que têm soluções construídas com SSIS devem considerar a possibilidade de evoluir para o Azure e expandir a sua governação e análise de dados. Isto pode ser conseguido com algum trabalho porque é possível migrar as soluções criadas com o SSIS para o Azure.

1. Preparação

Certifique-se de que tem tudo pronto para efetuar esta migração. Aqui está uma lista dos passos necessários:

a. Garanta que tem toda a infraestrutura do Azure criada antes de começar a fazer a migração e uma instância do SSIS. Isto deve-se ao facto de o Azure ter muitas permissões que devem ser definidas para garantir a segurança e o acesso aos dados apenas às pessoas autorizadas.

b. Instale as funcionalidades do pacote SSIS no Azure para evitar erros ou bugs durante a ligação a projetos SSIS no Azure.

c. Crie uma nova instância do ADF (Azure Data Factory) e configure o SSIS para que possa criar os pipelines para executar os seus projetos.

d. Altere todas as ligações dos seus projetos SSIS de bases locais para a base de dados do Azure e altere todos os passos do SSIS para os passos do Azure.

e. Configure um Azure-SSIS Integration Runtime para executar todos os projetos SSIS convertidos para a nuvem.

f. Antes de fazer a migração, analise todos os projetos SSIS e verifique as respetivas necessidades e dependências. Execute os projetos e veja se estão realmente em processo de leitura e escrita. Por vezes, podem indicar que correram com sucesso, mas não estão a fazer nada.

g. Implemente todos os projetos para que possam ser armazenados no Catálogo SSIS e valide se tudo está a funcionar corretamente.

2. Vantagens

Como já sabe, a utilização do Azure oferece uma grande escalabilidade aos projetos e à forma como são geridos os dados e, como tal, tem vantagens:

a. Escalabilidade: O Azure oferece a possibilidade de definir recursos de computação de acordo com as necessidades.

b. Integração com muitas ferramentas: É sempre possível utilizar outras ferramentas e recursos consoante as necessidades, como o Azure Blob Storage, o Azure Data Lake, etc.

c. Integração com serviços PaaS: O Azure pode ser integrado noutras plataformas, como o Azure Machine Learning ou o Azure DataBricks, onde pode criar pipelines de dados mais avançados.

3. Desvantagens

O Azure tem muitas vantagens, mas também apresenta algumas questões, como:

a. Complexidade inicial: A migração de projetos SSIS pode ser complexa e demorar algum tempo, dependendo do número de projetos e das respetivas dependências.

b. Custos associados à nuvem: Como se trata de migrar projetos do local para a nuvem, o processo continua a ter custos, que se não forem bem geridos podem ser elevados.

c. Não tira o máximo partido dos módulos de nuvem: As migrações diretas não conseguem captar todos os benefícios, pelo que deve considerar uma reengenharia de processos que aproveite o ADF ou mesmo o Azure Synapse. No caso, poderá até ser capaz de otimizar ainda mais os custos.

Esta é uma solução rápida e fantástica para migrar de uma arquitetura no local para uma solução na nuvem. No entanto, sabemos que se quisesse migrar os pipelines de dados para o Azure utilizando outra ferramenta, também haveria uma solução, mais trabalhosa e com maior investimento, mas com um grande aumento de inovação e agilidade, uma vez que estaria a evoluir a sua stack de tecnologias e a reduzir os custos no final. Ou seja, pode fazer a reengenharia dos seus processos noutra ferramenta, como o Microsoft Fabric, Synapse, o DataBricks ou o Azure Data Factory, ao mesmo tempo que tira partido de todas as capacidades do Azure. Isto significa que as lógicas seriam semelhantes, mas os componentes seriam diferentes. De facto, ao utilizar diferentes componentes do DataBricks ou do Azure Data Factory e ao tornar alguns deles mais eficientes, as lógicas mudariam para pipelines mais pequenos e mais rápidos, o que resultaria em menos tempo de processamento, recursos e custos.

Pensamentos Finais

A utilização do Azure requer algum esforço, mas também carreta valor superior, uma vez que pode ter todos os seus projetos SSIS na nuvem, a funcionar corretamente, bem organizados e armazenados e todos os seus dados protegidos com as camadas certas de segurança e permissões. Isto significa que pode deixar de gerir a sua implementação no local, poupando tempo e dinheiro. No final, é algo que aumentará a agilidade dos seus projetos de dados e que o fará evoluir para soluções na nuvem, onde poderá expandir os recursos e as ferramentas de que necessita para melhorar a qualidade dos seus projetos e dados. Pode até ser o ponto de partida para uma reengenharia de processos completa, utilizando tecnologias como o Microsoft Fabric, que lhe permitirão tirar partido de todos os benefícios da análise na nuvem. A nossa equipa de especialistas pode ajudar a passar por este processo, definindo qual é a melhor estratégia para o seu contexto específico e, em seguida, implementar a migração para a nuvem.

José MirandaComo migrar o SQL Server Integration Services
read more
DataOps e processamento de dados não automatizados

DataOps e processamento de dados não automatizados

by José Miranda
2023-11-01
3 min
ESTE ARTIGO EM 5 SEGUNDOS:
  • DataOps representa um conjunto de práticas, frameworks, padrões de arquitetura e normas culturais cujo objetivo é ajudar a mitigar os obstáculos que impedem a gestão de dados com qualidade e eficiência.
  • O DataOps pode trazer benefícios significativos ligados aos seus 3 princípios principais: Agile, DevOps e Lean Manufacturing.

1. Agile

Para garantir a colaboração e a inovação de uma empresa, especialmente no que diz respeito aos dados, o DataOps utiliza o Agile Development, para que as equipas possam trabalhar em conjunto com os utilizadores numa base de sprint e reformular recorrentemente as prioridades, se necessário, para alcançar a evolução dos requisitos e o feedback contínuo dos utilizadores. Esta é uma boa prática para responder aos requisitos de dados, porque as necessidades empresariais podem mudar frequentemente e esta metodologia ajuda todas as equipas a fazer evoluir a solução de forma constante, especialmente quando se trata de DataOps. A forma como uma solução analítica será implementada e o tempo que demorará, depende, certamente, da forma como as tarefas são organizadas, da validação contínua dos resultados, mitigação de erros e discussões de requisitos.

2. DevOps

Como bem sabemos, o DevOps está ligado ao ciclo de vida de construção para o desenvolvimento de software. Este termo pode ser facilmente associado a DataOps, mas a metodologia DevOps é apenas um dos seus componentes. As soluções de análise de dados utilizam sempre um conjunto de tecnologias, e essas ferramentas são utilizadas por diferentes equipas na mesma solução, o que torna provável a existência de produtos de dados segregados, mas também de alguns componentes comuns que precisam de ser sincronizados. É por isso que é necessário “versionar” o código dessas soluções e, além disso, estes projetos precisam de seguir uma estrutura onde são feitas diferentes abordagens. Há um lugar onde são desenvolvidos os pipelines de dados, modelos de dados, dashboards, etc., há outro onde é testada a qualidade dos mesmos e outro, a que se chama Produção, onde é oferecida a solução aos utilizadores de negócio para que estes possam trabalhar. Ao seguir estas boas práticas, é possível reduzir os erros e melhorar a qualidade geral da solução.

3. Lean Manufacturing

Como falámos de desenvolvimento e implementação de analytics, há uma parte que está em falta, a orquestração e gestão dos pipelines de dados. É necessário ver estes pipelines como linhas de produção e, como sabemos, todas as empresas do mundo devem monitorizar cuidadosamente as suas linhas de produção, especialmente a qualidade das mesmas, a mitigação de defeitos e os tempos de eficiência. Quando falamos de pipelines de dados, referimo-nos ao lado real das operações de análise de dados. Isto significa que precisamos de monitorizar cada passo desses pipelines de dados e fazer vários tipos de testes para garantir a qualidade e a transparência dos dados. Quando se dispõe de um sistema bem concebido em torno dos pipelines de dados, cada conjunto de dados será rigorosamente verificado e, se algo estiver errado, a equipa de analytics será alertada ou notificada antes de os utilizadores de negócio sofrerem o impacto.

Pensamentos Finais

O valor dos dados está a aumentar e grande parte dele provém da diversidade dos dados capturados e das possibilidades de correlação. Neste contexto, as soluções de analytics estão a tornar-se cada vez mais complexas, mas também mais valiosas. Este pode ser o seu caso e, mesmo que ainda não tenha chegado a esse ponto, precisa de garantir que a sua solução é à prova de futuro, pelo que utilizará metodologias DataOps para alcançar a excelência e obter o máximo valor dos seus dados. Como mencionado anteriormente, os pipelines de dados são como linhas de produção, pelo que é fundamental garantir que são bem monitorizados e organizados. É uma questão de mentalidade e, quanto mais cedo der prioridade a DataOps, mais cedo a sua jornada de dados se tornará realidade.

José MirandaDataOps e processamento de dados não automatizados
read more
Assessment de Analytics: como analisar a viabilidade de um projeto

Assessment de Analytics: como analisar a viabilidade de um projeto

by José Miranda
2022-12-20
3 min
ESTE ARTIGO EM 5 SEGUNDOS:
  • Conheça a importância de realizar um assessment de analytics antes de implementar uma solução no seu negócio;
  • Um assessment de analytics tem vários benefícios como, a poupança de tempo e dinheiro, a descoberta de desafios e soluções, entre outros.

Porque deve fazer um assessment de analytics?

Fazer o melhor de uma iniciativa de analytics pode, por vezes, ser um grande desafio. Muito se fala sobre a ação, mas é a fase de Discovery que potenciará o sucesso. Estabelecer uma estratégia não é assim tão simples, mas tem muitos benefícios que nem todos conseguem compreender no início. A fase Discovery é a primeira fase na qual definimos a estratégia de dados, as boas práticas e os procedimentos para diminuir riscos, tempo e custos associados a uma iniciativa transformacional como um projeto de dados. Para o conseguir, deve ser feito um assessment para se compreender o que será necessário, o que pode ser definido e o que pode ser feito. Mas quais são os principais benefícios disto?

Benefícios de um assessment de analytics

1. Uma solução personalizada

É durante o assessment que são definidas as tecnologias e a arquitetura necessárias. Isto é válido quer se encontre no ponto de partida ou a evoluir a partir de uma solução de analytics já existente. As soluções de analytics podem ser criadas de muitas maneiras, dependendo dos objetivos específicos. Por exemplo, são apenas para uso interno ou também para comunicar informações com os stakeholders externos? Existe um use case quase em tempo real ou será batch? Nesta fase, as decisões são tomadas de uma perspetiva de alto nível e em vez de uma solução geral, é possível personalizar a forma como as coisas serão feitas usando as ferramentas certas de acordo com as necessidades e os problemas. É também neste processo que serão definidos as frameworks necessárias, utilizadas para acelerar a implementação e execução do projeto, garantindo padrões de qualidade.

2. Poupar tempo e dinheiro

A verdade é que estas decisões acabam por ter de ser tomadas de qualquer maneira, mas o problema é o seguinte: se não forem feitas a tempo, não serão feitas de forma adequada e o esforço será muito maior. Isto porque o projeto será iniciado sem as diretrizes certas e assim que estas forem definidas, tudo o que já estiver implementado terá de ser revisto. Ao trabalhar desta forma, a taxa de fracasso bem como a probabilidade de algo cair no esquecimento é enorme. As suas equipas estarão a trabalhar numa base de resolução de problemas diários e, portanto, estarão bastante ocupadas e menos concentradas em estabelecer as melhores práticas. No final, parecerá que o problema não tem fim à vista.

Assim, basicamente, se um projeto for iniciado sem o planeamento adequado, a eficiência será muito menor e isso poderá comprometer o sucesso da solução de analytics. Será necessário gastar tempo e dinheiro desnecessários em processos de reengenharia e devido à falta de foco no estabelecimento de uma estratégia, poderá ser estabelecida uma solução que não satisfaça eficazmente as necessidades do projeto. A ideia do Assessment é prevenir precisamente este tipo de situações.

3. Conhecimento mútuo

Uma solução de analytics envolve sempre diferentes partes interessadas, muito provavelmente incluindo múltiplos departamentos empresariais, TI, gestão e especialistas em analytics. Um assessment de analytics abre a possibilidade de ligar todas as partes intervenientes. No processo, fica-se a saber qual é a perspetiva de cada um e define-se a melhor estratégia e etapas para que, no final, seja possível obter uma solução de analytics que vá ao encontro das expectativas. A ideia é construir uma relação de confiança onde, logo desde o início, as pessoas possam trabalhar em conjunto com um objetivo comum.

Conclusão

O assessment de analytics não é apenas um questionário, é um diálogo que permitirá encontrar a melhor abordagem de acordo com os objetivos. Os benefícios desta etapa irão impedir a tomada de más decisões e a perda de tempo na definição de estratégias ou processos durante a implementação ou a execução. Além disso, ao adiar um pouco a implementação, será possível, mais tarde, iniciar rapidamente e sem problemas o projeto, com processos definidos, riscos monitorizados e soluções já preparadas para mitigar os problemas que podem advir desses riscos. No final, tudo será muito mais eficaz e mais importante, será possível estabelecer uma solução de analytics robusta que permitirá obter mais valor a partir dos dados.

José MirandaAssessment de Analytics: como analisar a viabilidade de um projeto
read more
7 passos para implementar uma estratégia de BI

7 passos para implementar uma estratégia de BI

by José Miranda
2022-09-21
4 min
ESTE ARTIGO EM 5 SEGUNDOS:
  • Existem 7 passos para implementar uma estratégia de BI na sua empresa: Visão, Sponsor, Escolha de ferramentas e arquitetura, Talento, Cultura, Governação e Segurança e Evolução.

Hoje em dia o mercado é extremamente competitivo, o que significa que ter uma boa estratégia de BI é o primeiro passo para alcançar resultados e mitigar falhas ou rumos errados que podem levar a perdas de posicionamento ou competitividade.

Estabelecer uma estratégia de BI é crucial, especialmente quando vai ser implementado pela primeira vez. Existem alguns desafios e obstáculos durante o processo, bem como algumas variáveis que deve ter em mente para evitar que falhe durante a implementação desta solução. Não é fácil concretizar uma implementação perfeita, mas não é impossível, e estamos aqui para mostrar como. Basta seguir os passos abaixo e temos a certeza de que o desempenho será excelente:

1. Visão

Em primeiro lugar, sugerimos que identifique em que estado se encontra a sua empresa. Como está a tratar os dados e de onde provêm, que processos e ferramentas estão a ser utilizados, e quais os recursos humanos disponíveis com experiência em dados.
Em seguida, estabeleça as suas prioridades, objetivos, e metas que irão trazer valor à sua empresa e ajudar a alcançar um melhor desempenho. Pense em construir um roadmap de BI com ações futuras, marcos, resultados, e KPI’s ao longo de um período de tempo: isto pode ajudá-lo a identificar o que é importante e os prazos para a sua realização.

2. Sponsor

A adoção de uma estratégia de BI exigirá recursos e gestão da mudança, e para isso terá de encontrar um sponsor dentro da sua empresa, sendo uma escolha crucial. Primeiro, porque irá financiar a mudança que pretende implementar, e segundo, porque precisa de alguém dentro da sua empresa para confiar no seu trabalho e apoiar o projeto. Certifique-se de que envolve frequentemente o sponsor do projeto, para que ele continue a confiar no seu trabalho e veja os resultados.

3. Escolha de ferramentas e arquitetura

Existem ótimas ferramentas de BI no mercado. Contudo, cada uma tem as suas vantagens e desvantagens. A escolha de uma ferramenta não muito bem adaptada fá-lo-á perder dinheiro e tempo. Identifique quais serão os principais padrões do seu projeto de BI. Como e onde irá recolher os dados, que tipo de tratamento estes necessitarão, e onde os irá armazenar após a sua limpeza, se irá necessitar de mais análises tabulares ou análises de gráficos, onde quer que os utilizadores finais acedam aos dados e análises.

Estas são algumas das perguntas às quais deve responder primeiro e, só depois, procurar por ferramentas, pedindo demonstrações para que possa ver a sua utilidade e se realmente se adequam ao que pretende fazer. Além disso, deve assegurar-se de que tem a arquitetura certa para todas as ferramentas que precisa de utilizar. Se em máquinas locais ou na cloud, qual o seu desempenho e interligação, que ferramenta fará o quê e como se vão interligar visando um fluxo suave e sem grandes dificuldades, e outras questões que poderá colocar. Uma forma de conhecer as melhores ferramentas do mercado é seguir o Magic Quadrant of Gartner, que é publicado todos os anos.

4. Reunir talento

Uma das etapas mais desafiantes será esta. Estabelecer cargos e encontrar pessoas para preencher essas vagas, especialmente numa empresa que ainda não é orientada por dados será algo desafiante. Pode contratar pessoas com conhecimentos de dados, mas que não saibam nada sobre a empresa, ou pode tirar partido das que já tem e simplesmente treiná-las. Talvez no final seja uma mistura dos dois.

A implementação de uma solução de BI requer diferentes competências e especialização, pelo que combinar os recursos internos com um parceiro é provavelmente uma boa opção.

5. Promover cultura

Se no ponto anterior vimos que seria desafiante reunir talento, este será igualmente difícil. Se uma empresa não é movida por dados, ou as pessoas não compreendem que as coisas têm de mudar e que precisam de perceber como funcionam os dados, então o seu projeto fracassará. Ninguém será motivado a utilizar ferramentas de BI, porque não obterá nada deles, não compreenderão a finalidade e o valor de tais ferramentas, algo que os fará boicotar a mudança que está a tentar implementar. Assegure, desde o início, a si próprio, aos seus sponsors, e a todas as partes interessadas, que todos sejam treinados, e forneça literacia de dados e competências digitais a todos na sua empresa. Democratize os dados, deixe os utilizadores responderem às suas próprias perguntas e fazer análises por si próprios. Não lhes diga o valor dos dados, deixe-os experimentar e ver o futuro, faça-os seguir e querer mais.

6. Governação e Segurança

Os dados são bastante valiosos, mas também são privados. Deve garantir que os seus dados estão protegidos e apenas acessíveis a quem é autorizado. Atribua cargos de administradores de dados ou de conteúdos para verificar se todos os dados estão bem armazenados e governados. Construa políticas e procedimentos para diferentes cenários, garantindo que está preparado para qualquer fuga e proteção de dados. Pode alargar isto às suas ferramentas, ver como estão a funcionar durante a sua vida útil, se estão atualizadas ou se há melhorias a efetuar.

7. Evolua

Acredite sempre que não há um fim para o que está a fazer. As plataformas de dados estão em contínua evolução e deve fazer o mesmo: no futuro, pode expandir a sua solução de BI para utilizar ferramentas com capacidades de Machine Learning ou Inteligência Artificial. Nunca se esqueça de que nada é eterno, por isso mantenha-se sempre a par das tendências dos dados. Além disso, inicialmente, não deverá implementar uma solução de BI para a sua empresa toda, será para um departamento ou para um problema específico. Assim, após ser bem-sucedido, poderá escalar o BI para outros departamentos ou outros problemas em que se possa enquadrar, para que um dia, possa chamar à sua empresa – uma empresa orientada por dados.

Considerações finais

Como vimos, a implementação de uma solução BI terá os seus desafios, mas sabemos que será uma grande mudança para a sua empresa. Vai precisar de muita perseverança, paciência e capacidade de gerir conflitos e expectativas para que, no final, o resultado possa ser pontual e trazer valor a todos. Para que, no final, possa dizer que implementou uma estratégia de BI. E é por isso que nós, Xpand IT, o podemos ajudar com o nosso serviço de data journey. Além disso, temos equipas altamente especializadas neste tipo de soluções que podem aconselhá-lo desde o início e trazer todo o know-how necessário.

José Miranda7 passos para implementar uma estratégia de BI
read more
Será a minha empresa Data-Driven? Como avaliar o estado do Analytics

Será a minha empresa Data-Driven? Como avaliar o estado do Analytics

by José Miranda
2022-06-27
4 min

Esta é a questão de um milhão de euros e, na verdade, para algumas empresas pode significar ainda mais. Na procura pelo caminho para tornar a sua empresa data-driven pode tomar-se conhecimento do poder dos dados para seguir decisões certas em cada momento no tempo. Como perceber que está a seguir esse caminho? Existem muitos indicadores e informações que ajudam nessa avaliação. Saber em que etapa a sua empresa está, pode ajudar a entender o que é necessário para ganhar o título de data-driven. Isto leva a saber o que é preciso fazer para atingir esse objetivo dentro de vários fatores: quanto esforço é necessário, que recursos têm de ser gastos, ou até que competências poderão estar em falta. No fim, a ideia é implementar eficientemente este processo e tornar a sua empresa mais competitiva.

1. O que sabe sobre os seus dados e quem precisa deles?

Para tirar partido de analytics é importante que saiba como os dados serão introduzidos e quais estão disponíveis. Como são armazenados os dados para as principais áreas de informação com que precisa de colaborar? São armazenados em ficheiros como Excel ou texto ou estão contidos em bases de dados? Como são essas fontes acedidas atualmente? Se conseguir responder a estas perguntas, tem um bom conhecimento dos dados disponíveis.

Outro aspeto é saber para quem esses dados serão relevantes, quem serão os seus utilizadores finais e em que contextos terão acesso a esses dados. Por exemplo, se um dos seus objetivos for obter acesso móvel a conteúdos ou dados armazenados na nuvem, precisa de saber se a sua empresa tem estes recursos. Deve saber que tecnologias estão a ser usadas atualmente e liste as tecnologias que pode precisar para apoiar todo o processo.

2. Quão empenhada está a sua empresa em tornar-se data-driven?

Quando uma empresa pretende seguir um caminho para se tornar data-driven, os seus funcionários também devem estar orientados para tal. Cada disruptor deve ter patrocinadores, normalmente executivos, que estão abertos à mudança, e que entendem e acreditam nos benefícios do projeto. Estes patrocinadores internos serão responsáveis por assegurar que os processos de negócio incluirão, frequentemente, a análise de dados e atuarão como facilitadores. Assegure-se de que os seus líderes estão prontos e têm as competências necessárias para abraçar a transformação. Encontre data champions, aqueles que podem trabalhar com ferramentas de dados e partilhar conhecimentos com outros utilizadores finais.

Não vale a pena investir num novo processo como este se não assumir o compromisso de mudar os outros e incutir-lhes uma mentalidade digital e de dados. Se pretender tornar a sua empresa data-driven, deve espalhar os ideais, mas não procure fazê-lo sem ajuda, acredite nas capacidades de todos.

3. A empresa tem todas as capacidades necessárias?

Implementar uma plataforma de analytics requer diferentes áreas de especialidade, desde a engenharia de dados, visualização ou até a configuração de infraestruturas. Além disso, os utilizadores necessitarão de formação e a realização de workshops regulares pode ajudar a promover a adoção.

Comece por verificar a proficiência dos seus utilizadores finais e se a empresa possui um departamento de analytics ou se existem data champions e que competências estão disponíveis. Implementar um caminho data-driven sem competências específicas será muito difícil e poderá levar muito tempo. Pode até comprometer todo o processo se não antecipar as necessidades dos utilizadores ou simplesmente não tiver dados de qualidade suficiente e minar a confiança na capacidade de análise dos mesmos.

Isso é algo muito difícil de recuperar, todos devem sentir que é fácil interagir com a plataforma e, para tal, devem receber formação e ter uma infraestrutura extremamente moderna onde possam aceder facilmente a estas novas funcionalidades sem problemas.

4. Como pode ser tudo governado e regulado?

Por último, mas não menos importante, depois de analisar para onde a cultura da empresa está direcionada, depois de avaliar os dados disponíveis e de definir todos os intervenientes, é necessário investigar de que forma a segurança é feita e como são governados os conteúdos. A informação está dividida por departamentos ou está centralizada num determinado local para ser acedida por todos os utilizadores? O que poderá qualquer pessoa com uma função específica ver? Verá informação específica ou poderá aceder a todo o conteúdo? Estes são alguns exemplos de perguntas que deve fazer.

Hoje em dia, as ferramentas modernas low-code de BI (Business Intelligence), como Microsoft Power BI e Tableau, têm recursos e funcionalidades que satisfazem essas questões, tornando este trabalho mais fácil. Estas ferramentas permitem-lhe dar liberdade aos utilizadores para fazerem o que quiserem, quer seja ver conteúdo, editar, etc., mas tudo controlado por aquilo que decidir que eles podem ou não fazer. Em muitos casos, especialmente para empresas grandes, os dados são acedidos para criar dashboards e conteúdo que deve ser posteriormente partilhado por pessoas com funções específicas na empresa. Sem um bom modelo de governança é muito difícil ter um processo simplificado onde conteúdos são rapidamente acedidos, atualizados e, se necessário, partilhados de forma segura.

Pensamentos Finais

Por vezes, é difícil avaliar em que etapa se encontra a sua empresa. Por isso mesmo, fornecemos hoje alguns conselhos e conhecimento. O termo data-driven está a tornar-se cada vez mais popular e comum no mundo dos negócios, mas muitas empresas não sabem em que ponto estão e o que devem fazer. Os passos a tomar dependerão muito do contexto da sua empresa e em que ponto se encontra atualmente. Queremos saber onde está, o que tem e o que precisa de fazer.

Por esse motivo, a Xpand IT criou o conceito de Data Journey, que detalha os passos necessários para o sucesso. Podemos ajudar a avaliar, conceber e implementar uma iniciativa sustentável para procurar e alcançar uma cultura e uma empresa data-driven, assegurando que tem todas as competências necessárias disponíveis e alguém com um elevado nível de especialização para avaliar as suas necessidades. O objetivo e o resultado final é promover o sucesso de um dos aspetos mais importantes da transformação digital da sua empresa.

José MirandaSerá a minha empresa Data-Driven? Como avaliar o estado do Analytics
read more
Soluções de cloud analytics com Azure Synapse

Soluções de cloud analytics com Azure Synapse

by José Miranda
2022-02-22
4 min
ESTE ARTIGO EM 5 SEGUNDOS:
  • O Microsoft Azure Synapse veio mudar o jogo: as empresas podem agora ser mais ágeis ao centralizarem todos os seus dados num único espaço;
  • Neste artigo vamos focar-nos nas soluções SaaS para a implementação de uma solução Azure BI completa.

As soluções em cloud e, em particular, o Software as a Service (SaaS) trazem várias vantagens, como a facilidade de implementação e todos os recursos disponíveis, que permitem maior agilidade e acompanhar as mudanças no negócio.

Neste artigo vamos focar a atenção nas soluções SaaS para implementar uma solução completa de BI através do Microsoft Azure. Uma solução Azure SaaS significa que os seus utilizadores conseguem aceder a todo o seu trabalho através da internet por meio de um website ou de uma aplicação, em vez de instalar máquinas locais. Como? Tudo começa no mesmo lugar: fontes e bases de dados.

1. Armazenamento de dados com Azure Data Lake Storage (ADLS)

Depois de definir a origem dos seus dados, verá que alguns desses dados têm origem em bases de dados que já possui, em arquivos ou outras fontes de dados. Para isso, pode ter o Azure Data Lake Storage, que funciona como um sistema de ficheiros cloud onde pode guardar todos os tipos de objetos que possam ser necessários.

A sua integração com outras plataformas e linguagens de programação é amplamente acessível, dando a possibilidade de armazenar dados a partir de qualquer lado e, ao mesmo tempo, manter a segurança. Em resumo, o Azure Data Lake Storage permite que possa ter todas as suas fontes de dados integradas em apenas um lugar, armazenando-as juntas e criando assim o seu Data Lake.

2. Processar dados com Synapse

O Synapse é uma plataforma de dados & analytics all-in-one que combina ingestão de dados, Big Data, data warehousing e processos ETL na cloud. Com esta ferramenta pode procurar os seus dados do ADLS, limpá-los, tratá-los e armazená-los nas suas bases de dados ou data lakes o que agiliza todos os seus processos separados. Isto acontece porque o Synapse integra aplicações da Microsoft como o Azure Data Lake, Azure Data Factory, entre outros, tornando-o numa ferramenta altamente poderosa no que toca a modelos de trabalho. Porquê? Porque o Synapse torna o seu trabalho mais confortável, uma vez que não precisa de trabalhar em separado na aplicação de bases de dados (SQL Server), na ferramenta de ETL (SSIS) e na ferramenta de visualização (Power BI). Mesmo para controlo de versões e DevOps de projetos, o Synapse pode funcionar muito bem porque tem total integração com o Azure DevOps permitindo, assim, gerenciar todos os artefatos. Além disso, é possível ter um local onde pode monitorizar todos os seus dados do início ao fim. Mesmo assim, se quiser evoluir o seu processo para usar algoritmos de machine learning, pode integrar o Azure Machine Learning.

É indiscutível que uma ferramenta como o Azure Synapse traz imensos benefícios e a vantagem competitiva que os mesmos podem trazer para as empresas que querem elevar a sua data-journey é imensurável.

3. Visualização com Power BI

Ser capaz de analisar dados é crucial para as empresas no dia de hoje e, atualmente, existem ferramentas que lhe permitem criar gráficos e tabelas com toda a informação que precisa. Mas o que é o Power BI? Esta é a ferramenta que o permite criar relatórios ou construir dashboards com todos os dados que falámos nos pontos anteriores, fazendo, assim, com que possa tomar decisões com base em factos e não apenas intuições. Numa solução Azure, ainda tem que criar conteúdo no Power BI Desktop, mas tudo o resto pode ser feito na cloud, para que toda a manutenção e edição possa ser feita no espaço de trabalho do Power BI Service, que pode ser facilmente integrado com o Synapse Studio.

Basicamente, ao fazer esta integração num só espaço pode procurar e armazenar dados, processá-los e apresentá-los com recurso a relatórios e dashboards dinâmicos.

4. Catalogação de dados com Purview

O Purview é uma ferramenta de governação de dados que ajuda as empresas a governar e gerir os seus dados. Pode usar o Purview para catalogar a sua base de dados e gerir informação sensível ou colocar tags nesses mesmos dados de forma a agilizar o processo torná-lo automático.

Outra vantagem que pode ganhar é a possibilidade de ver toda a linhagem de dados e saber a sua origem e o seu destino, para que possa acompanhar todos os processos. Este tipo de vantagens são apenas algumas das quais pode usufruir através do Purview, mas há mais: tendo os dados todos catalogados, todos os utilizadores da sua empresa podem aceder ao catálogo para explorar e encontrar insights ou verificar dados confidenciais.

E adivinhe… o Purview pode ser integrado com o Synapse e a partir do mesmo pode chamar todos os recursos para trabalhar com tudo no mesmo lugar.

Pensamentos Finais

Os tempos estão a mudar, a cloud está a ganhar uma importância extrema, e, embora a oferta deste tipo de soluções seja vasta, apostar em cloud analytics com Azure Synapse veio mudar por completo o jogo. Com esta ferramenta, as empresas podem ser mais ágeis ao centralizar todo o seu trabalho de análise de dados num só lugar. Para os que precisam de abrir o seu gestor de bases de dados, a ferramenta de ETL e a ferramenta de visualização de dados, para quem precisa de ter as três coisas no mesmo sítio, entende que o Azure Synapse é a solução que integrará tudo numa única ferramenta permitindo que os seus projetos tenham menos erros, problemas de versão e e situações de incompatibilidade, entre outros. Tudo isto, e juntando a capacidade de catalogar e organizar dados, torna esta ferramenta ainda mais completa, garantindo uma governação de dados mais adequada.

A melhoria da competitividade das empresas que utilizam o Synapse é evidente. A sua empresa pode ter uma solução cloud de BI com diferentes tipos de ferramentas e todas elas funcionarem bem, no entanto, ao integrar todas as ferramentas num só lugar vai potencializar a gestão de todos os seus processos de BI, tornando o seu trabalho mais ágil e trazendo mais valor aos seus dados.

José MirandaSoluções de cloud analytics com Azure Synapse
read more
Lumada Data Catalog: a solução para a organização dos dados

Lumada Data Catalog: a solução para a organização dos dados

by José Miranda
2021-11-04
3 min
ESTE ARTIGO EM 5 SEGUNDOS:
  • O que é o Lumada Data Catalog e como tirar partido desta ferramenta;
  • Como catalogar e organizar dados, controlar dados sensíveis, gerir dados redundantes e fazer toda a gestão de proprietátios e administradores nos seus catálogos de dados.

E se a forma de organizar dados pudesse ser melhorada? A informação recolhida a partir dos dados existentes nas empresas aumenta todos os dias, e de uma forma que precisa de ser tratada com grandes ferramentas e processamentos de dados. Contudo, à medida que o tempo passa e os dados armazenados aumentam, os riscos de se ter tudo desorganizado e de se perder a noção do que está a acontecer também aumentam. Isto pode levar horas a tentar descobrir o que se quer analisar ou a não estar em conformidade com os dados mais sensíveis. Na verdade, como se pode ser orientado pelos dados se não se consegue encontrar os… dados?

A informação está em todo o lado, podendo ser transformada em conhecimento acessível eficiente, organizando e categorizando por assunto. Isto acontece com livros, apresentações, códigos, qualquer outro tipo de informações e, agora, com dados. Ao catalogar a informação que se obtém do input das empresas, pode-se facilmente rotular e encontrar os dados que deseja trabalhar para prevenir os riscos que referimos anteriormente. Uma das ferramentas que tem o poder de o conseguir é o Lumada Data Catalog. Esta ferramenta da Hitachi permite catalogar os dados usando inteligência artificial e algoritmos de machine learning que etiquetam os dados e validam essas etiquetas com avaliações estatísticas, as quais podem ser confirmadas se estão certas ou erradas e, a partir daí, ensinar o algoritmo a funcionar com os dados. Mas o que se pode realmente fazer com esta ferramenta e que valor pode ser retirado dela? Vejamos os factos:

1. Organize e descubra dados rapidamente

Ter todos os dados catalogados é como ter um índice para os dados. Pode-se aceder e descobrir blocos de informação específicos ao utilizar etiquetas de funcionalidade. Como é que isto acontece? O Lumada Data Catalog usa um processo de IA que insere os dados no catálogo automaticamente, reduzindo a necessidade de manualmente descobrir e etiquetar dados porque, para grandes quantidades de informação, a descoberta manual já não é viável. Depois disso, podem ser aceites as etiquetas e adicionar novas, tais como as que se costumam utilizar ou os termos da empresa para classificar os dados e deixar o processo IA fazer o resto. Isto possibilita a capacidade de ter todos os dados inventariados e só é preciso pesquisar pelas etiquetas específicas.

2. Controle dados sensíveis

Enquanto identifica e etiqueta dados, o processo de IA do Lumada Data Catalog apanha automaticamente todos os dados sensíveis e dá-lhe as etiquetas adequadas. Se houver outros campos de dados que tenham de ser etiquetados como sensíveis, basta dar a mesma etiqueta a esses campos. Isto possibilita um conhecimento instantâneo e a capacidade de manter a conformidade com o regulamento da privacidade de dados das empresas.

3. Gestão de dados redundantes

É muito fácil existirem dados redundantes. Normalmente, a forma de saber que existem é quando um campo surge de diferentes sítios e não se sabe qual é que deve ser utilizado. Ter os dados organizados e catalogados possibilita que se reconheça a existência de dados redundantes e de onde vêm, o que ajuda a gerir rapidamente este tipo de inconveniência.

4. Proprietários e Administradores

Quando se tem um catálogo de dados é como ter uma biblioteca e, como tal, deve ter-se alguém a guardar tudo. É por isso que existem os proprietários e os administradores dos dados. Estes papéis mantêm e gerem o catálogo de dados e ajudam os utilizadores finais sempre que tenham uma dúvida ou necessidade de encontrar algo. Com estas pessoas, adquire-se um ponto de contacto para toda a gente nas empresas referente a qualquer assunto sobre dados.

Considerações finais

É evidente que ter um catálogo de dados pode aumentar realmente a forma como se trata e partilha dados pelas empresas. Para além disso, tratar dados sensíveis de forma adequada e ter pessoas especializadas a gerir os dados, com quem os utilizadores finais podem falar, e seguir processos, é a maneira certa de trabalhar enquanto uma empresa focada em dados. O Lumada Data Catalog pode melhorar este processo ainda mais ao utilizar tecnologias IA e machine learning que permitem organizar tudo automaticamente. Isto pode trazer insights e tomadas de decisão mais rápidas às empresas e potenciar capacidade das empresas de serem competitivas nos mercados de hoje em dia.

José MirandaLumada Data Catalog: a solução para a organização dos dados
read more
3 tendências de embedded analytics a seguir

3 tendências de embedded analytics a seguir

by José Miranda
2021-09-08
3 min

Agora, mais do que nunca, o mundo reconhece o valor dos dados e as possibilidades infinitas que estes oferecem a quem toma decisões são enormes. Se a sua empresa oferece algum tipo de serviço, o mais provável é que recolha dados; e se não tem uma solução para geri-los, está a perder oportunidades. As oportunidades escondidas nos dados que as suas operações diárias geram podem ser enormes. Assim que percebe o poder que reside nisso, vai querer usá-los. Estamos a falar em criar ainda mais valor junto dos seus clientes com base nos seus próprios dados. Estamos a dizer justamente que pode monetizar o que os seus serviços estão a produzir, e que isso lhe está a escapar. Vamos ser diretos, portanto hoje vamos falar sobre estas possibilidades e como pode alcançá-las com Tableau. Vejamos quais as 3 tendências de embedded analytics a seguir agora:

1. Melhore os seus serviços com embedded analytics

Ter as bases para implementar a sua análise de dados onde quiser é realmente uma grande ajuda para alcançar o que os seus clientes visionaram. Pode incorporar o Tableau Server ou Tableau Online em soluções que forneça aos seus clientes. Isso significa que pode criar todos os relatórios que desejar no Tableau e, em seguida, integrá-los em todos os produtos, serviços, portais web ou apps que desejar. O poder que ganha ao personalizar a sua oferta é enorme, o que fará com que os seus clientes sintam que podem ter as suas próprias análises em vez de uma padronizada. Além disso, esta funcionalidade pode melhorar os seus serviços ou acrescentar-lhes uma camada extra, o chamado “produto estendido”, através do qual poderá aumentar o seu pacote de serviços de acordo com as necessidades e desejos dos clientes, ou o que acha que poderá ser melhor para eles. Dito isto, está claro que este serviço pode proporcionar-lhe uma grande agilidade na criação de soluções personalizadas para os clientes e, além disso, pode fazê-lo enquanto aproveita o melhor dos recursos do Tableau.

2. Monetização

Hoje em dia está na moda vangloriar os dados. O mercado entendeu o seu valor inerente e as empresas que tratam e monetizam informações são as que mais alavancam os seus negócios. E mesmo que ajude a tomar melhores decisões, ou mais bem informadas, assentes em factos e não em previsões, os dados podem até tornar-se num serviço ou produto e há muitas opções para tal. Depois de ter a sua solução de embedded analytics implementada, se a empresa trabalha com dados de clientes e pretende fornecer insights através de painéis, especialmente aqueles que constrói no Tableau, pode criar produtos ou serviços em torno deles para monetizar os insights e o valor que pode ser gerado através dessas análises. Além disso, pode providenciar soluções personalizadas ou padronizadas para cada cliente, sendo a solução personalizada a mais dispendiosa.

3. Construir vs. Comprar

Claro, pode criar as suas próprias soluções para isto tudo e pode até ser uma solução confiável; mas comprar geralmente é a melhor opção. Porquê? Ora, se optar por construir, começará do zero e desenvolverá a sua solução, que provavelmente será baseada num processo complexo a precisar de muita manutenção e atenção por parte das pessoas que poderiam simplesmente concentrar as atenções em fazer análises e relatórios. Isto significa que poderá demorar uma quantidade significativa de tempo para começar a agregar valor e, além disso, o conjunto de recursos disponíveis é sempre limitado pela sua capacidade de desenvolvimento.

A Tableau está no mercado desde 2003, portanto é óbvio que se investiu muito tempo em desenvolver e aperfeiçoar a capacidade de desenhar relatórios. Se decidir comprar, saiba de entrada que esse é o único custo que suportará para aceder a anos de conhecimento acumulado. Além disso, o esforço será muito menor, a configuração é mais rápida e não precisará de pessoas para desenvolver e manter a solução. Poderá então redirecionar as pessoas para se focarem em análises e relatórios. A implementação será muito mais fácil e criará relatórios que poderão facilmente ser editados no futuro através do Tableau.

Pensamentos Finais

As soluções de embedded analytics são um poderoso recurso que o Tableau oferece. Usar relatórios que podem ser facilmente construídos através do Tableau nas apps, produtos ou serviços, pode abrir um mundo novo de oportunidades onde todos ganham e o valor acaba por ser criado. Tudo isto faz parte da transformação digital e a Xpand IT está pronta para o ajudar nesta jornada. Verifique as nossas soluções do Tableau, entre em contacto connosco e vamos ajudá-lo a estabelecer uma estratégia para incorporar e ajudar na implementação de forma a que possa usar as suas análises de dados nos lugares certos, para as pessoas certas e da forma certa.

José Miranda3 tendências de embedded analytics a seguir
read more
Business Intelligence, o aliado dos decisores de negócio

Business Intelligence, o aliado dos decisores de negócio

by José Miranda
2021-03-18
3 min

Quando falamos de tomada de decisão descobrimos um curso de ação onde seleções são feitas dentro de um grupo de cenários possíveis para atingir um objetivo ou solução. Qualquer empresa é o caminho que escolhe e, enquanto não há uma forma de prever completamente o futuro, processos que ajudem a tomar decisões acertadas podem ter um grande impacto. A verdade é que, por trás de uma decisão de uma empresa, estão pessoas que têm de fazer escolhas usando a informação que têm disponível no momento. Isto quer dizer que para construir uma boa estratégia, as empresas necessitam de informação interna e externa fidedignas para saberem com o que estão a lidar e onde intervir. Imagine a escolha entre papel ou digital? Refazer a marca do seu produto ou mudar o posicionamento? Aumentar a percentagem da margem ou focar-se mais na diminuição de custos? Diversificar a oferta ou criar um produto alargado? Empresas são feitas de decisões assim como a sua também o é, e, sem boa informação, como pode um decisor de negócio saber que escolheu a opção correta? Como pode um executivo, um diretor de departamento ou até mesmo um gerente de turno – pessoas cujas decisões têm impacto – decidir o melhor? A nossa resposta é, Business Intelligence. Nós explicamos:

Transparência de dados

Através dos seus sistemas e ferramentas automatizados, Business Intelligence (BI) pode ajudar os decisores de negócio a mitigar erros humanos ou geração de informação errada. Com dados transparentes e concisos, as suas decisões podem ser suportadas por premissas sólidas. Muitas ferramentas de BI dão a capacidade de certificar dados o que potencia a credibilidade para a tomada de decisão.

Prever tendências

Recolher dados que monitorizam os processos das empresas é útil para construir previsões aplicando análises. Estes podem ajudá-lo a decidir recursos, estratégias ou investimentos ao dar-lhe informação de mercado como a procura esperada ou o comportamento dos consumidores.

Performance histórica no tempo

Com uma solução de BI bem implementada, a sua empresa pode ter intuições instantâneas sobre o histórico de performance. Num mundo altamente competitivo, decidir rápido e apropriadamente é uma vantagem competitiva para qualquer empresa. Mitigar perdas ou resolver com sucesso um problema é algo que BI pode ajudar a potenciar quando oferece informação precisa, na qual pode confiar para implementar soluções concretas.

Agora que sabemos algumas características sobre o impacto de BI, vamos falar de quatro exemplos de como pode ajudar a sua empresa a atingir os seus objetivos.

1. Vendas e Marketing

Com BI, as organizações podem explorar tendências de vendas ou de compra por parte dos clientes analisando os seus comportamentos, escolhas e preferências. Ao comparar essas tendências com o seu buyer persona, conseguirá reajustar as suas estratégias de venda, posicionar o seu produto, reformular a marca, modular promoções ou campanhas e maximizar as suas estratégias de angariação de clientes para manter a performance de bons key performance indicators (KPI’s), assim como alavancar os menos positivos.

2. Inventário

Os benefícios de BI na gestão da cadeia de abastecimento são bem conhecidos. A supervisão que é alcançada com uma solução de BI pode ajudá-lo a decidir evitar excesso de stocks e custos exorbitantes de itens parados. A gestão de itens que estão em stock por muito tempo e pouco controlados é outra força que pode capitalizar. Além disso, ao analisar o padrão de ordens de um produto, terá a capacidade de construir novas estratégias para esse produto e alterar preços para atingir a melhor margem de lucro.

3. Finanças

Finanças é um dos temas mais importantes de uma organização. BI dá-lhe a habilidade de analisar relatórios financeiros eficientemente. É possível ver os números de entradas e saídas correntes e compará-los com performances passadas, ou com benchmarking, de forma a decidir estratégias financeiras com base num status financeiro preciso, onde KPI’s podem ser facilmente analisados.

4. Executivos

Quando uma solução de BI e uma forte cultura data-driven são implementados, os executivos de uma empresa podem confiar na informação que BI lhes dá. Assim, todos os KPI’s, previsões, relatórios financeiros e fatos estatísticos gerados em visualizações e dashboards, podem alavancar as decisões sobre o futuro da sua empresa para atingir crescimento, sucesso ou até ultrapassar uma crise. Além disso, com esta informação, poderá tomar decisões bem informadas e agir de forma a melhorar a performance no geral.

Pensamentos finais

Decisões são feitas todos os dias. Algumas boas, outras más, mas todas constroem uma empresa. Somos o que escolhemos, empresas são o que escolhem, mas numa escala maior sendo suportadas pelo espectro de escolhas individuais. Sabemos como BI é importante para essas decisões e os benefícios de ter uma cultura data-driven. A nossa solução Data Innovation Journey, explica quais os passos que terá de tomar para que seja fácil de entender e pode contar sempre connosco, Xpand IT, no caminho para a sua empresa atingir o melhor. Acreditamos veemente no potencial de BI para ser o aliado certo da sua tomada de decisão, porque, no final, é tudo sobre dados.

José MirandaBusiness Intelligence, o aliado dos decisores de negócio
read more
E o vencedor é… BI moderno!

E o vencedor é… BI moderno!

by José Miranda
2020-11-09
5 min

Porque o Business Intelligence moderno é tão importante para uma organização tornar-se mais competitiva?

O BI moderno traz a flexibilidade necessária para construir uma cultura data-driven onde se pode decidir com factos e não apenas com suposições. Ao invés de depender somente de EDW’s (Enterprise Data Warehouse) como o BI tradicional, ele traz um conjunto de novas ferramentas de visualização interativa que direcionaram muitas tarefas do departamento de IT para os utilizadores de negócio. O BI deixou de ser apenas um projeto; o objetivo é uma empresa data-driven onde o BI é o elo de ligação entre qualquer input de dados com o utilizador final através de ETL (Extract, Transform & Load) e as ferramentas de visualização. O que queremos, é mostrar por que razão o BI moderno oferece valor para as empresas e vamos fazê-lo na trilogia seguinte.

1. Aceder a dados

Ligar a dados tornou-se muito mais fácil. Hoje em dia, é possível ligar-se a qualquer tipo de BD (base de dados), conjunto de ficheiros, como PDF ou excel, a API’s ou a dados provenientes da web usando Web Data Connectors, etc. É possivel realizar estas ligações a partir de uma ferramenta de BI como o Tableau Desktop ou Power BI, que permitem conexões diretas a essas fontes de dados. Pensemos sobre isto, muitas empresas confiam no excel como output da informação dos seus departamentos. Imaginemos um exemplo de relatórios mensais sobre vendas. Como se pode comparar, facilmente, o desempenho das vendas de 2008 com as de 2018? Abre-se os ficheiros de excel todos? Como se pode construir um mapa de vendas vs região por ano? E detalhar por mês? Felizmente, essas ferramentas de BI moderno podem oferecer isso. Tendo-se a capacidade para ligar rapidamente a um ficheiro excel, ou vários (por joins ou relationships) ao Tableau ou ao Power BI, adquire-se uma verdadeira melhoria na eficiência de análise porque em poucos minutos, pode-se limpar, normalizar e usar todos esses dados para construir relatórios e dashboards dinâmicos.

É necessário ter em conta que às vezes os dados não estão livres de erros pelo que é preciso montar um processo de limpeza, o que é relativamente simples de fazer nessas ferramentas com alguns cliques. No entanto, na existência de ficheiros muito complexos que necessitem de cálculos complicados, ou se o intuito for juntar muitas fontes de dados distintas, será necessária uma ferramenta de ETL como o Pentaho, o Tableau Prep ou o SSIS (SQL Server Integration Services) e uma BD para onde o ETL enviará os dados de todas as fontes.

2. Construir Visualizações

Ligar aos dados tem opções novas e é algo muito mais rápido de se fazer, mas o que é mais interessante é a construção de visualizações. Mais vale esquecer aqueles gráficos, tabelas e mapas velhos e estáticos. Hoje em dia, as soluções de BI oferecem a possibilidade de construir qualquer tipo de gráfico para mostrar informação da forma que se quiser. Apenas num gráfico, em poucos minutos, pode-se criar uma visualização por ano com a possibilidade de detalhar até aos dias ou detalhar hierarquias, mostrando apenas o lucro por grupos de produtos e depois detalhar até se ver o lucro por cada produto, por exemplo. Rapidamente se consegue incorporar filtros nas visualizações de forma a tornar a sua análise mais precisa. É possível construir parâmetros que habilitam os utilizadores a ver diferentes KPI’s (Key Performance Indicators) por grupos de produtos, o que quer dizer que na mesma visualização, pode-se explorar o lucro por número de vendas ou a margem por produto. Todavia, é muito fácil ter acesso a raw data construindo tabelas que apresentem a informação que se pretende.

Apesar destas funcionalidades agradáveis, há uma muito importante. A possibilidade de explorar e analisar os dados subjacentes. Escolhendo um grupo ou clicando num ponto específico de um gráfico, rapidamente se pode visualizar a informação que contribui para a construção dos valores. Com isto nunca se anda às cegas e ainda melhor, é possível exportar esses dados para um ficheiro. Usando esta funcionalidade com as visualizações, qualquer utilizador pode explorar e analisar, estando apto a encontrar tendências ou outliers para tirar conclusões interessantes.

No fim, vai estar capacitado para criar dashboards super dinâmicos cheios de filtros ou parâmetros que podem ser aplicados a todos os gráficos, tabelas e mapas. Com os dashboards podem-se criar “snapshots” para contar uma história e comunicar os dados de uma forma muito mais fácil e consistente.

Isto ainda se torna melhor porque depois de construir as visualizações, estas podem ser partilhadas com todas as pessoas da empresa sendo possível escolher quem vê o quê.

3. Governance

Se as visualizações são algo de outro mundo, partilhar conteúdo de uma forma tão simples com toda a organização ainda é melhor. Ferramentas como o Tableau ou o Power BI oferecem a possibilidade de ter todo o conteúdo centralizado num só local, dividido por projetos ou departamentos. Estamos a falar de fontes de dados e dashboards onde se podem criar grupos de utilizadores e decidir as permissões deles. Imaginemos a construção de um dashboard para o Marketing que é publicado num serviço online. Na plataforma, existem utilizadores de todos os departamentos, mas apenas os utilizadores do Marketing devem ver o dashboard. Para se atingir isto, cria-se o grupo Marketing, adiciona-se todos os utilizadores do Marketing e dá-se permissões para que eles possam ver o conteúdo enquanto que para outros grupos, Finanças por exemplo, negam-se essas permissões.

Esses serviços são online, tendo como base um servidor físico ou cloud com um alto nível de segurança. Para aceder podem utilizar-se diretorias de login como o Active Directory ou criar uma localmente. É relativamente simples embutir visualizações em páginas web que serão atualizadas cada vez que os dados subjacentes mudam. Criar horários ou alertas é algo bastante útil, horários para atualizar fontes de dados e alertas para saber quando um KPI ultrapassa um certo limite. Apesar disto, é fácil monitorizar tudo: quem acedeu o quê, desempenho, espaço livre e usado, tarefas, etc.

A melhor parte de tudo isto é o facto de o pessoal de IT continuar a ser uma peça importante para gerir os acessos aos dados, mas com as permissões certas, qualquer utilizador ganha poder para ver, customizar, criar ou editar dashboards e relatórios ou analisar dados em muito pouco tempo.

Pensamentos finais

Como dissemos, BI não é mais um simples projeto. BI é um ser vivo nas empresas. Imaginemos uma empresa como uma cidade em que por cima passa uma autoestrada de dados fluindo livremente entre cada canto dessa cidade. A escalabilidade torna-se bastante eficiente na medida em que os vários departamentos podem evoluir para uma cultura digital em muito pouco tempo ou velhas estruturas digitais de BI podem evoluir para soluções mais recentes, o que seria ainda mais rápido de se fazer.

O valor que se retira da monitorização, da tomada de decisões, da rápida análise de informação ou da partilha de intuições entre pessoas e departamentos, é um de muitos pontos positivos que BI pode oferecer, isto sem esquecer a autonomia que os utilizadores têm para fazer tudo isto.

Com certeza o BI moderno é um vencedor que apanhou a velocidade do nosso mundo competitivo em constante mudança e ganhou o seu lugar ao lado do tecido empresarial. Por isso é que o Xpand IT DIaaS (Data Innovation as a Service) se tornou real. Definindo uma estratégia, implementando, mantendo e dando suporte a uma solução robusta, ajudando as empresas a construir essa autoestrada, podemos auxiliá-las a assumirem-se como competitivas e data-driven, e claro, como vencedoras, porque quando estas triunfam, nós triunfamos.

José MirandaE o vencedor é… BI moderno!
read more

Search

Popular Posts