Data governance com Microsoft Fabric

Não é difícil perceber que o Microsoft Fabric veio para ficar no mundo da análise de dados. O Microsoft Fabric é uma solução que agrega um vasto conjunto de ferramentas de dados e capacidades, e surge como uma grande ajuda para aqueles que trabalham constantemente com dados e precisam de geri-los da melhor forma. Por isso, hoje vamos explicar-lhe como funciona a data governance com Microsoft Fabric. Este é um assunto importante no mundo dos dados, pois sem ele toda uma estrutura de dados pode desmoronar. Mas afinal, o que é governança?

Data governance é o processo de garantir que os dados sejam seguros, privados, precisos, acessíveis e utilizáveis.

Dentro dessa definição, o Fabric oferece muitas capacidades para executar tais ações. Vamos tentar agrupá-las e explicar-lhe de que forma podem trazer valor para si.

Existe uma estrutura no Fabric para ajudar a gerir o data estate, mas os principais recursos, como a capacidade, são definidos no Azure Portal, onde se adicionam recursos a um tenant específico.

Também há um portal de administração dentro do Fabric onde os administradores podem controlar as configurações gerais, como domains, workspaces, capacidades e onde os utilizadores interagem com o Microsoft Fabric. Falando sobre domains e workspaces, com eles, pode-se controlar e definir quem tem acesso a determinados itens e informações. Este é um tipo de abordagem de data mesh onde temos um tenant para uma organização, e dentro dele podemos ter múltiplos workspaces. E onde estão os domains?

Como Administrador do Fabric, tem-se acesso ao portal de administração para configurar os diferentes domains, que são basicamente um agrupamento lógico de workspaces sob um tópico, nome de departamento ou qualquer outro agrupamento. Imaginemos que uma empresa tem departamentos Hub e non-Hub. Vai ser necessário criar workspaces para esses departamentos e domains para Hub e non-Hub, e atribuir os respectivos departamentos (workspaces) a cada domain. Permissões e roles podem ser atribuídos a cada tipo de utilizador em cada camada.

Além disso, há outra funcionalidade notável chamada metadata scanning, que ajuda a conectar-se a ferramentas de catalogação externas usando APIs de scanner. Estas APIs extraem metadados dos itens do Fabric para que se possa catalogá-los e reportá-los.

Um dos aspetos positivos do Fabric que o ajuda na descoberta de dados é o hub de dados OneLake, que facilita a exploração e interação com os itens de dados. Esta ferramenta fornece informações sobre cada item e possui opções de filtragem que ajudam a encontrar dados relevantes.
Outra coisa é a possibilidade de aprovar conteúdo. Esta é uma forma de certificar itens de dados para que se possa promovê-los aos utilizadores e quando eles pesquisarem, encontrarem itens confiáveis e de alta qualidade.

Seguindo a mesma lógica, temos o data lineage e impact analysis. Esta é uma capacidade do Fabric que permite entender visualmente o fluxo dos dados desde as fontes até ao destino e as suas relações. Além disso, para cada item na visão de linhagem, pode-se ver quais serão afetados se alguma alteração for feita, avisar outros utilizadores que essa mudança pode impactar os seus itens de trabalho. Por exemplo, se se alterar uma coluna num semantic model, pode ser enviado um alerta aos utilizadores do Power BI informando-os sobre a alteração no item que estão a utilizar.

Manter a segurança e a privacidade dos dados é por vezes complexo, mas o Fabric possui muitos recursos para isso. Além disso, ele escala bem com o Microsoft Purview, tendo até algumas capacidades do Purview dentro do Fabric.

Uma das coisas é categorizar dados para garantir requisitos de segurança e privacidade dos dados. Pode usar-se as capacidades integradas do Fabric, ou categorias do Purview Information Protection para categorizar os dados sensíveis automaticamente ou manualmente. Com o Purview, pode-se manter essa categorização mesmo se os dados forem exportados do Fabric, usando métodos de exportação suportados.

Outra coisa é controlar a atividade do utilizador, como acessos, logins ou ações em diferentes ferramentas como Power BI, Spark, Data Factory, etc. Isso pode ser feito internamente com o Fabric, habilitando o Azure Log Analytics e tendo um role de Log de Auditoria para aceder aos logs ou usando outro recurso do Purview chamado Purview Audit.

Há muitas coisas que podem ser feitas no Fabric para prevenir problemas de segurança, mas uma delas é organizar bem os workspaces e roles. O Fabric permite conceder permissões para workspaces e para os seus itens especificamente. Além disso, há maneiras e recursos para criar RLS (row-level security) e fazer com que cada utilizador veja os dados que são adequados para aquele utilizador específico ou grupo de utilizadores. É simplesmente uma questão de ver qual a estrutura de utilizadores e grupos que a empresa terá e aproveitar todos esses recursos.

Saber o que está a acontecer e como o Fabric está a comportar-se é importante. As informações valiosas que se pode extrair dos recursos de monitorização podem ajudar a gerir o tenant de forma eficiente e reduzir custos desnecessários.

Um desses recursos é o Monitoring Hub, onde utilizadores como engenheiros e developers podem ver atividades do Fabric de maneira centralizada e, se quiserem, historicamente. Usando isso, pode-se monitorizar coisas como workflows, pipelines de dados, fluxos de dados, data lakes, notebooks e outros. Acima disso está o Admin Monitoring, um recurso criado especialmente para administradores realizarem tarefas como auditorias e testes de uso.

Um recurso complementar é a App Capacity Metrics, que pode utilizar para avaliar como o Fabric está a comportar-se em termos de uso e consumo de recursos. Normalmente, este recurso é para roles de administrador.

Por fim, há o Purview Hub. Basicamente é uma página no Fabric que ajuda os administradores a ver relatórios com insights dos seus itens, especialmente quando se fala de dados sensíveis e aprovados. É também uma forma de se conectar a capacidades mais avançadas, como as que falámos noutros tópicos.

Porquê usar o Purview quando o Fabric tem as suas próprias capacidades?

Porque o Purview tem alguns recursos e capacidades adicionais, usá-lo juntamente com o Fabric para governar dados aumentaria a forma como se cataloga, como se faz a linhagem, categorias, aprovações e protege os dados.

Com o passar do tempo, alavancar a data governance está a tornar-se uma tendência. As soluções de dados estão a tornar-se sólidas e reais, e com isso, as estruturas de dados estão a ficar maiores e mais complexas. Uma solução de dados pode aumentar exponencialmente de tamanho num piscar de olhos, e governar dados ainda é a melhor maneira de prevenir problemas de segurança ou qualidade de dados. Enquanto o Fabric está a ganhar o seu espaço no mundo, é importante considerar a sua capacidade de lidar com dados e necessidades complexas.

Na Xpand IT, vemos o Microsoft Fabric como uma ferramenta robusta que pode alavancar qualquer empresa no seu caminho para uma excelente cultura data-driven, permitindo uma solução completa não só com cargas de trabalho analíticas, mas um pacote completo com ferramentas de governance de dados. É por isso que estamos a especializar-nos mais nas suas funcionalidades e capacidades, para que possamos ajudar todos os nossos clientes na sua data journey.