Tin Kranželić

tikr

Data Analytics Engineer

Was ist Microsoft Fabric und wie kann es Ihr gesamtes Unternehmen beeinflussen?

DIESER ARTIKEL IN 5 SEKUNDEN:
  • Das Zeitalter, in dem wir heute leben, ist das Zeitalter, in dem die künstliche Intelligenz stark an Fahrt aufgenommen hat. Sie wird mehr und mehr zu einem unverzichtbaren Bestandteil des täglichen Lebens und der Arbeit.
  • Prominentestes Beispiel dafür ist das inzwischen schon allzu berühmte Sprachmodell Chat-GPT von OpenAI.
  • Aus diesem Grund und weil die Datenanalytik in das Zeitalter der KI eintaucht, kündigte Microsoft im Mai 2023 ein neues Produkt namens Microsoft Fabric an, das sofort das große Interesse und die Aufmerksamkeit der Analytik- und Daten-Community auf sich zog.

Im Wesentlichen ist Microsoft Fabric eine Suite integrierter individueller Analysetools und -dienste, die zusammenarbeiten, um ein einheitliches End-to-End-Analyseerlebnis zu bieten. Es handelt sich um ein SaaS-Produkt (Software as a Service), was bedeutet, dass den Benutzern nur minimale administrative Verantwortung auferlegt wird, so dass sie sich nicht zu sehr um die Bereitstellung von Ressourcen, die zugrunde liegende Infrastruktur usw. kümmern müssen. Stattdessen können sie innerhalb weniger Minuten einen echten Geschäftswert aus ihren Unternehmensdaten ziehen.

Der große Vorteil und die Neuheit, die Fabric mit sich bringt, ist das Konzept der Kapazität. Bislang führte die Kombination verschiedener Analysetools und -dienste mehrerer Anbieter häufig zu einer suboptimalen Ressourcennutzung, was wiederum zu einer Verschwendung von Ressourcen und letztlich zu unnötigen Kosten für die Nutzer führte. Vor diesem Hintergrund hat die Einführung von Kapazitäten als ein einziger Rechenpool für alle Dienste, die Fabric anbietet, das Potenzial, die Ressourcennutzung erheblich zu steigern und die Kosten zu senken.

Darüber hinaus führte Fabric die Kapazitätskonzepte „Bursting“ und „Smoothing“ ein, die, ohne zu sehr ins Detail zu gehen, es den Benutzern im Wesentlichen ermöglichen, noch mehr Ressourcen zu nutzen, als sie besitzen, wenn sie die Arbeit schneller erledigen müssen.

Fabric Komponeten

Wie bereits erwähnt, ist Fabric die vollständige Analyseerfahrung. Das bedeutet, dass es alle Analyseanforderungen abdeckt, die ein Unternehmen durchlaufen kann. Die wichtigsten Erfahrungen, die das Fabric-Ökosystem ausmachen, sind die folgenden:

  • Synapse Data Warehouse
  • Synapse Datentechnik
  • Synapse Datenwissenschaft
  • Synapse-Echtzeit-Analytik
  • Datenfabrik
  • Power BI
  • Datenaktivator

Bei allen handelt es sich um bereits etablierte und bekannte Dienste, mit Ausnahme von Data Activator. Dabei handelt es sich um ein No-Code-Erlebnis, das die Möglichkeit bietet, Ihre Unternehmensdaten in Echtzeit zu erkennen und zu überwachen, so dass entsprechende Aktionen ausgelöst werden können, wenn bestimmte Datenmuster erkannt werden.

Das Herzstück von Microsoft Fabric ist der einheitliche logische Data Lake für die Speicherung aller Unternehmensdaten. Er basiert auf Azure Data Lake Gen2 und wird OneLake genannt. Er ist das Gegenstück zu OneDrive von Microsoft 365.

OneLake bringt eine Reihe von Vorteilen mit sich. Alle in OneLake gespeicherten Daten sind für alle Analyseprogramme, die die aufgelisteten Erfahrungen nutzen, leicht zugänglich.

OneLake ist auch ein Multi-Cloud-Data-Lake, der Daten von verschiedenen Cloud-Anbietern, wie Amazon oder Google, einbeziehen kann. All das macht OneLake zu einer wirklich leistungsstarken Neuheit, die uns von Microsoft präsentiert wird.

Framework

Unser Framework wurde speziell entwickelt, um Ihre Projekte zu beschleunigen und den Zeit- und Arbeitsaufwand für den Aufbau einer Lösung von Grund auf auf Fabric zu reduzieren und eine Datengrundlage zu schaffen, die von Anfang an die besten Verfahren nutzt. Mit diesem Framework können Sie über eine Lösung verfügen, die alle Ihre Informationen sammelt, verarbeitet und so organisiert, dass Ihre Berichte vollständig ausgerichtet sind und die Datenqualität gewährleistet ist. Auf einer höheren Ebene ist der gesamte Prozess in mehrere Phasen unterteilt:

Phase der Datenbeladung

Die Daten werden aus einer Vielzahl verschiedener Datenquellen extrahiert und in das Fabric Data Warehouse gemäß der festgelegten Ladelogik geladen – full load oder incremental load. Neu geladene Daten können dann die Vorteile der optimierten Infrastruktur von Microsoft Fabric nutzen.

Verarbeitungsphase

Die in der vorangegangenen Phase aufgenommenen Rohdaten werden transformiert und angereichert, um den Geschäftsanforderungen gerecht zu werden und Dimensions- und Faktentabellen zu erstellen, die das Datenmodell bilden, das später für Berichtszwecke in Power BI verwendet werden kann, um bessere Geschäftsentscheidungen zu treffen.

DevOps-Phase

Versionskontrolle und Continuous Integration (CI) können mit Azure DevOps und Continuous Delivery (CD) mit den Deployment-Pipelines von Power BI in Übereinstimmung mit einer Reihe von Best Practices der modernen Softwareentwicklung integriert werden.

Phase der Überwachung

Die Überwachung an diesem Punkt kann über einen Monitoring Hub und die Microsoft Fabric Capacity Metrics App erfolgen, die Telemetriedaten aus allen Fabric-Workload-Erfahrungen in einem einzigen Satz schlüsselfertiger Analysen vereint, um die Leistung von Workloads und ihre Nutzung im Vergleich zur erworbenen Kapazität zu überwachen. Es ist auch möglich, den Fabric-Arbeitsbereich mit dem Azure Log Analytics-Arbeitsbereich zu verbinden, was die Verfolgung von Protokollmetriken und die mögliche Erstellung Ihrer eigenen benutzerdefinierten Visualisierungen ermöglicht, um die Leistung Ihrer Workloads zu verfolgen.

Zusätzliche Vorteile und derzeitige Einschränkungen

Es lohnt sich, einige weitere Vorteile von Fabric zu erwähnen, aber auch einige seiner derzeitigen Einschränkungen.

Eine der Neuerungen, die von den Nutzern sehr gut aufgenommen wurde, ist sicherlich der Direct Lake-Verbindungsmodus in Power BI, der alle Vorteile der bestehenden Modi bietet, wie z. B. Geschwindigkeit im Fall des Importmodus und aktuelle Daten im Fall des Direct Query-Modus, aber ohne deren Schwächen, wie z. B. die Datenduplizierung im Importmodus.

Ein weiterer großer Vorteil ist die Automatisierung verschiedener Wartungsaufgaben, die bei anderen Analyseplattformen manuell durchgeführt werden mussten.  Die häufige Arbeit mit Daten hat das Potenzial, viele neue Dateien zu erzeugen, und wenn man sich nicht darum kümmert, kann das schnell zu Leistungsproblemen führen. Zum Glück für die Benutzer müssen sie keine zusätzlichen Mechanismen entwickeln, um sich darum zu kümmern, aber es gibt eingebaute Funktionen und Fähigkeiten von Fabric, die genau das erreichen können.

Darüber hinaus entlastet die zentrale Verwaltung und Kontrolle aller Datenartefakte des Unternehmens die Benutzer von der Sorge um Sicherheit und Compliance.

Ein nicht zu vernachlässigender Vorteil ist schließlich der KI-Copilot, der es professionellen Entwicklern ermöglicht, einfache bis komplexe Datenflüsse und Pipelines mithilfe natürlicher Sprache zu erstellen.

Andererseits gibt es immer noch bestimmte Funktionen, die entweder fehlen oder darauf warten, in das Fabric-Angebot aufgenommen zu werden.

Was die Fabric-Überwachung betrifft, so ist für die Zukunft geplant, eine schreibgeschützte Datenbank mit detaillierten Diagnoseprotokollen anzubieten, die die Überwachungsmöglichkeiten weiter verbessern und die Gesamtauslastung Ihrer gesamten Arbeitslast steigern wird.

Nicht alle Fabric-Elemente unterstützen derzeit die Versionskontrolle und/oder die Bereitstellung über Bereitstellungspipelines. Ein Beispiel für ein solches Element ist ein Datenpipeline-Element oder ein Data Warehouse-Element, das derzeit nicht bereitgestellt werden kann. In Anbetracht der Tatsache, dass Fabric noch nicht lange auf dem Markt ist, ist zu erwarten, dass diese Einschränkungen innerhalb kurzer Zeit überwunden werden.

Für alle derzeitigen Synapse-Nutzer, die sich fragen, ob sie problemlos zu Fabric migrieren können, sei noch erwähnt, dass es derzeit keine einfache Lift-and-Shift-Migrationsoption für ganze Workloads gibt.

Letzter Gedanke

Zusammenfassend lässt sich sagen, dass Microsoft Fabric einige neuartige Konzepte mitbringt, die das Potenzial haben, die Entwicklung der Analyseindustrie maßgeblich zu beeinflussen. In diesem Sinne versucht Microsoft, seine führende Position in der Welt der Unternehmensdatenanalyse zu festigen. Die Idee ist, alle Anforderungen an die Unternehmensanalyse auf einfachere, schnellere, effizientere und kostengünstigere Weise zu erfüllen. Microsoft Fabric scheint auf jeden Fall ein Schritt in die richtige Richtung zu sein.

Tin KranželićWas ist Microsoft Fabric und wie kann es Ihr gesamtes Unternehmen beeinflussen?
read more