José Miranda

In der heutigen datengesteuerten Welt suchen Unternehmen ständig nach innovativen Lösungen, um ihre Daten-Workflows zu optimieren und wertvolle Erkenntnisse zu gewinnen. Hier kommt dbt ins Spiel – eine revolutionäre Technologie, die unter Datenexperten immer beliebter wird, weil sie die Art und Weise, wie Unternehmen ihre Daten verwalten und nutzen, verändern kann.

dbt stellt einen Paradigmenwechsel in der Art und Weise dar, wie Unternehmen die Datentransformation angehen, und bietet eine moderne, kollaborative und effiziente Lösung für die Verwaltung von Datenpipelines. Unabhängig davon, ob Sie sich für eine Cloud-Lösung mit einer verwalteten Plattform entscheiden oder dbt in einer On-Premises-Lösung für eine bessere Kontrolle einsetzen, kann dbt zweifellos den Wert Ihres Unternehmens steigern und die datengesteuerte Entscheidungsfindung beschleunigen.

dbt, kurz für data build tool, ist ein Open-Source-Befehlszeilentool, mit dem Datenanalysten und -ingenieure die Daten in ihren Warenhäusern effektiver umwandeln können. Es konzentriert sich hauptsächlich auf das T (Transformation) des ETL- oder ELT-Prozesses und ist für die Bearbeitung von Daten nach dem Laden vorgesehen. Das Hauptmerkmal dieses Tools ist die Kombination von Jinja-Vorlagen mit SQL und wiederverwendbaren Modellen.

Das Tool bietet außerdem mehrere Funktionen, die die Arbeit mit Daten erleichtern. Zu diesen Funktionen gehören die Verwaltung von Abhängigkeiten zwischen Datenmodellen, die Durchführung von Tests zur Sicherstellung der Datenintegrität und die Verfolgung des Verlaufs von Daten, um zu verstehen, wie sie im Laufe der Zeit verändert wurden.

1. Einfachheit, Modularität und wiederverwendbarer Code: Mit seinem SQL-basierten Ansatz vereinfacht dbt den Datentransformationsprozess und macht ihn für Benutzer mit unterschiedlichen technischen Kenntnissen zugänglich. Darüber hinaus fördert dbt die Modularisierung und ermöglicht es den Benutzern, komplexe Transformationen in kleinere, wiederverwendbare Komponenten zu zerlegen, was die Wartbarkeit und Skalierbarkeit verbessert.

Beispiel für ein einfaches dbt-Modell

dbt ermöglicht Ihnen die Verwendung von Makros zur Wiederverwendung von Code

2. Benutzerfreundliche UI: Die einfache, intuitive Benutzeroberfläche ermöglicht es Teams, gemeinsam zu arbeiten, indem sie Versionskontrollsysteme wie Git nutzen, um Änderungen an ihrem Datenumwandlungscode zu verfolgen. Außerdem wird automatisch eine Dokumentation für Ihre Datenmodelle erstellt. Diese Dokumentation enthält Text- und Grafikinformationen über die Datenquellen, Transformationen und alle mit dem Modell verbundenen Tests.

dbt Cloud UI Dokumentationsseite. Quelle.

3. Testen: dbt enthält ein Test-Framework, mit dem Sie Tests für Ihre Datenmodelle definieren und durchführen können. Dies stellt die Integrität und Qualität Ihrer Daten sicher und hilft, Probleme frühzeitig in der Pipeline zu erkennen.

Beispiel für die Implementierung generischer Tests in .yml-Dateien

4. Automatisierung und Integration mit Datenquellen: Mit dbt können Anwender ihre Datentransformations-Workflows automatisieren, was den manuellen Aufwand reduziert und die Zeit bis zur Einsichtnahme beschleunigt. Außerdem lässt sich dbt nahtlos in verschiedene Datenquellen und -lager integrieren, darunter Snowflake, BigQuery, Redshift und andere, so dass die Benutzer ihre bestehende Infrastruktur nutzen können.

5. Unterstützung durch die Gemeinschaft: dbt verfügt über eine lebendige Gemeinschaft von Benutzern und Mitwirkenden, die aktiv Best Practices austauschen, zur Entwicklung zusätzlicher Pakete beitragen und über Foren und Slack-Kanäle Unterstützung leisten.

Wenn Sie sich entschieden haben, dass dbt das Richtige für Ihr Unternehmen ist, müssen Sie im nächsten Schritt festlegen, wie Sie auf dbt zugreifen wollen. Die beiden gängigsten Methoden sind eine kostenlose Version namens dbt Core, die Sie lokal implementieren können, und eine kostenpflichtige Version namens dbt Cloud, mit der Sie eine vollständige Cloud-Lösung nutzen können. Es ist wichtig, die Unterschiede zu verstehen, um das richtige Tool für Ihre spezifischen Datenumwandlungsanforderungen zu wählen. Während Sie mit dbt Core Ihre Lösung lokal haben, müssen Sie verschiedene Funktionen mit anderen Tools abgleichen. Mit dbt Cloud haben Sie alle Funktionen und Möglichkeiten zentralisiert.

dbt CloudUI. Quelle.

dbt-Kern in der IDE. Schriftart.

Es ist wichtig zu erkennen, dass dbt nur ein Teil einer gut definierten Datenstrategie ist. Eine optimale Datennutzung ist eine Herausforderung, die mit der Zusammenstellung eines Teams mit den richtigen Fähigkeiten, der Auswahl geeigneter Tools und der Festlegung relevanter Kennzahlen einhergeht. Selbst mit diesen Ressourcen kann es für Unternehmen schwierig sein, Daten effektiv zu nutzen.

Bei der Empfehlung von dbt ist es wichtig zu betonen, wie wichtig eine solide Basisinfrastruktur mit qualifizierten Teams, geeigneten Tools und effizienten Prozessen für den Datenerfolg ist. Und wenn Sie nicht wissen, wo Sie anfangen sollen und wie Sie eine leistungsfähige Grundlage für den Datenerfolg schaffen können, können wir Ihnen helfen.

Sind Sie bereit, das volle Potenzial Ihrer Daten zu erschließen? Starten Sie Ihre dbt-Reise noch heute!

Es ist offensichtlich, dass Microsoft Fabric in der Welt der Datenanalyse auf dem Vormarsch ist. Fabric ist eine Microsoft-Lösung, die eine breite Palette von Datenwerkzeugen und -funktionen vereint und eine große Hilfe für alle darstellt, die ständig mit Daten arbeiten und diese verwalten müssen. Deshalb werden wir heute erklären, wie Governance in Fabric funktioniert. Das ist ein wichtiges Thema in der Welt der Daten, denn ohne Governance kann eine ganze Datenstruktur zusammenbrechen. Doch was ist Governance überhaupt?

Data Governance ist der Prozess, der sicherstellt, dass Daten sicher, privat, genau, zugänglich und nutzbar sind.

Im Rahmen dieser Definition bietet Fabric eine Vielzahl von Möglichkeiten, dies zu erreichen. Wir werden versuchen, sie zusammenzufassen und zu erklären, wie sie für Sie nützlich sein können.

Es gibt eine Struktur in Fabric, die bei der Verwaltung des Datenbestands hilft, aber die wichtigsten Ressourcen, wie z. B. Kapazitäten, werden im Azure Portal definiert, wo Ressourcen einem bestimmten Tenant hinzugefügt werden.

Es gibt auch ein Administrationsportal innerhalb von Fabric, über das Administratoren allgemeine Einstellungen wie Domains und Workspaces, Kapazitäten und die Interaktion der Benutzer mit Fabric verwalten können. Apropos Domains und Workspaces: Mit ihnen lässt sich steuern und festlegen, wer Zugriff auf bestimmte Elemente und Informationen hat. Dies ist eine Art Data Mesh-Ansatz, bei dem Sie einen Tenant für eine Organisation haben und innerhalb dieses Tenants mehrere Workspaces einrichten können. Aber wo sind die Domains?

Als Fabric-Administrator haben Sie Zugriff auf das Verwaltungsportal, um die verschiedenen Domains zu konfigurieren, die im Wesentlichen eine logische Gruppierung von Arbeitsbereichen unter einem Thema, einem Abteilungsnamen oder einer anderen Gruppierung sind. Angenommen, ein Unternehmen hat Hub- und Nicht-Hub-Abteilungen. Es müssen Arbeitsbereiche für diese Abteilungen und Domains für Hub und Nicht-Hub erstellt und die jeweiligen Abteilungen (Arbeitsbereiche) jeder Domain zugeordnet werden. Jedem Benutzertyp auf jeder Ebene können Berechtigungen und Rollen zugewiesen werden.

Eine weitere nützliche Funktion ist das sogenannte Metadaten-Scanning, das die Verbindung zu externen Katalogisierungswerkzeugen über Scanner-APIs unterstützt. Diese APIs extrahieren Metadaten aus Fabric-Elementen, sodass Sie diese katalogisieren und Berichte darüber erstellen können.

Eine der großen Stärken von Fabric ist die OneLake-Datendrehscheibe, die das Auffinden und die Interaktion mit Datenelementen erleichtert. Dieses Tool bietet Informationen zu jedem Element und Filteroptionen, um relevante Daten zu finden.

Ein weiteres Feature ist die Möglichkeit, Inhalte zu genehmigen. Auf diese Weise können Sie Datenelemente zertifizieren, sodass Sie diese den Nutzern anbieten können und diese bei ihrer Suche zuverlässige und qualitativ hochwertige Elemente finden.

In derselben Logik haben wir die Datensequenz und die Auswirkungsanalyse. Dabei handelt es sich um eine Funktion von Fabric, mit der Sie den Datenfluss von der Quelle bis zum Ziel und deren Beziehungen visuell verfolgen können. Darüber hinaus können Sie für jedes Element in der Lineage-Ansicht sehen, welche Elemente von Änderungen betroffen sind, und andere Benutzer warnen, dass eine Änderung Auswirkungen auf ihre Arbeitsobjekte haben könnte. Wenn Sie beispielsweise eine Spalte in einem semantischen Modell ändern, können Sie eine Warnung an Power BI-Benutzer senden, um sie über die Änderung des von ihnen verwendeten Elements zu informieren.

Die Aufrechterhaltung der Datensicherheit und des Datenschutzes ist manchmal komplex, aber Fabric bietet viele Funktionen für diesen Bereich. Darüber hinaus lässt es sich gut mit Microsoft Purview skalieren und bietet sogar einige Purview-Funktionen innerhalb von Fabric.

Eine dieser Funktionen ist die Kategorisierung von Daten, um die Anforderungen an Datensicherheit und Datenschutz zu erfüllen. Sie können die in Fabric integrierten Funktionen oder die Purview Information Protection-Kategorien verwenden, um sensible Daten automatisch oder manuell zu kategorisieren. Mit Purview können Sie diese Kategorisierung auch dann beibehalten, wenn die Daten mit den unterstützten Exportmethoden aus Fabric exportiert werden.

Ein weiterer Punkt ist die Überwachung der Benutzeraktivitäten wie Zugriffe, Anmeldungen oder Aktionen in verschiedenen Tools wie Power BI, Spark, Data Factory usw. Dies kann intern mit Fabric durch Aktivieren von Azure Log Analytics und Einrichten einer Audit-Log-Rolle für den Zugriff auf die Protokolle oder durch Verwenden einer anderen Purview-Funktion namens Purview Audit erfolgen.

Es gibt viele Dinge, die Sie in Fabric tun können, um Sicherheitsprobleme zu vermeiden, aber eine davon ist, Arbeitsbereiche und Rollen gut zu organisieren. Fabric ermöglicht es Ihnen, Berechtigungen speziell für Arbeitsbereiche und deren Elemente zu vergeben. Darüber hinaus gibt es Möglichkeiten und Ressourcen, um RLS (Row-Level-Security) zu erstellen und sicherzustellen, dass jeder Benutzer nur die Daten sieht, die für den jeweiligen Benutzer oder die jeweilige Benutzergruppe relevant sind. Man muss nur wissen, welche Benutzer- und Gruppenstruktur das Unternehmen haben wird, und all diese Funktionen nutzen.

Es ist wichtig zu wissen, was passiert und wie sich Fabric verhält. Die wertvollen Informationen, die Sie aus Monitoring-Ressourcen extrahieren können, helfen Ihnen, Ihren Tenant effizient zu verwalten und unnötige Kosten zu reduzieren.

Eine solche Ressource ist der Monitoring Hub, in dem Benutzer wie Techniker und Entwickler die Fabric-Aktivitäten zentral und auf Wunsch auch historisch einsehen können. Überwacht werden können Workflows, Datenpipelines, Datenströme, Data Lakes, Notebooks und vieles mehr. Darüber hinaus gibt es Admin Monitoring, eine Funktion, die speziell für Administratoren entwickelt wurde, um Aufgaben wie Audits und Nutzungstests durchzuführen.

Eine zusätzliche Funktion sind die App Capacity Metrics, mit denen Sie die Leistung von Fabric in Bezug auf Ressourcenauslastung und -verbrauch bewerten können. Diese Funktion ist in der Regel für Administratorrollen vorgesehen.

Schließlich gibt es noch den Purview Hub. Dabei handelt es sich im Wesentlichen um eine Seite in Fabric, die Administratoren dabei hilft, Berichte mit Einblicken in ihre Elemente zu sehen, insbesondere wenn es sich um sensible und genehmigte Daten handelt. Es ist auch eine Möglichkeit, sich mit erweiterten Funktionen zu verbinden, wie wir sie in anderen Themen besprochen haben.

Warum Purview verwenden, wenn Fabric über eigene Funktionen verfügt?

Da Purview über einige zusätzliche Funktionen und Möglichkeiten verfügt, können Sie die Art und Weise, wie Sie Daten katalogisieren, kategorisieren, genehmigen und schützen, verbessern, indem Sie Purview zusammen mit Fabric für das Datenmanagement verwenden.

Data Governance wird mit der Zeit immer mehr zum Trend. Datenlösungen werden immer robuster und realistischer, und damit werden auch die Datenstrukturen immer größer und komplexer. Eine Datenlösung kann im Handumdrehen exponentiell wachsen, und Data Governance ist immer noch der beste Weg, um Sicherheits- oder Datenqualitätsprobleme zu vermeiden.

Da Fabric immer mehr in der Welt Fuß fasst, ist es wichtig, seine Fähigkeit, mit komplexen Daten und Anforderungen umzugehen, in Betracht zu ziehen.

Wir bei Xpand IT sehen Microsoft Fabric als ein robustes Tool, das jedes Unternehmen auf dem Weg zu einer datengetriebenen Kultur unterstützen kann, indem es eine Komplettlösung nicht nur mit analytischen Workloads, sondern auch mit Data-Governance-Tools bietet. Aus diesem Grund spezialisieren wir uns zunehmend auf die Funktionen und Möglichkeiten von Fabric, um alle unsere Kunden auf ihrer Datenreise zu unterstützen.