Das neue Update von SQL Server bringt einige Neuerungen mit in die Welt der Datenbankentwicklung. In der kommenden SQL Server 2022 Version gibt es erstmals eine starke Konnektivität zu Cloud Diensten, wie beispielsweise Azure Cloud. Wir stellen Ihnen heute den Azure Synapse Analysedienst – vorher SQL DW – etwas näher vor.
Damals noch unter dem Namen “SQL DW” hat der Data Warehouse Dienst einige Iterationen im Hause Azure durchlaufen, sodass er Ende 2019 in Azure Synapse Analytics umbenannt wurde. Dieser Dienst dient hauptsächlich zu unbegrenzten Analysezwecken, der Datenintegration und Data Warehousing auf Unternehmensniveau, kombiniert mit Big-Data. Damit liefert Azure Ihnen eine flexible und individuell anpassbare Datenabfrage für Business-Intelligence und Machine-Learning Anwendungen an. Wichtig zu wissen an diesem Punkt: Für diesen Analysedienst ist kein dedizierter Server notwendig.
Leistungen
Produkte
Blog
Wir
Kontakt
AGB
Impressum
26.11.2021
Einführung in Azure Synapse Analytics
Kategorien: azure cloud synapse
Autor: Anna Mussenbrock
Lesezeit: 8 min
Tags: azure, Synapse, t-sql
Das neue Update von SQL Server bringt einige Neuerungen mit in die Welt der Datenbankentwicklung. In der kommenden SQL Server 2022 Version gibt es erstmals eine starke Konnektivität zu Cloud Diensten, wie beispielsweise Azure Cloud. Wir stellen Ihnen heute den Azure Synapse Analysedienst – vorher SQL DW – etwas näher vor.
Was ist Azure Synapse Analytics?
Damals noch unter dem Namen “SQL DW” hat der Data Warehouse Dienst einige Iterationen im Hause Azure durchlaufen, sodass er Ende 2019 in Azure Synapse Analytics umbenannt wurde. Dieser Dienst dient hauptsächlich zu unbegrenzten Analysezwecken, der Datenintegration und Data Warehousing auf Unternehmensniveau, kombiniert mit Big-Data. Damit liefert Azure Ihnen eine flexible und individuell anpassbare Datenabfrage für Business-Intelligence und Machine-Learning Anwendungen an. Wichtig zu wissen an diesem Punkt: Für diesen Analysedienst ist kein dedizierter Server notwendig.
Azure Synapse Analytics umfasst eine High-Level Architektur mit OLTP- und OLAP-Anwendungen. Online Transaction Procession Workloads (OLTP) beinhalten Transaktionsdaten, die mit einer hohen Anzahl von Lese- & Schreibvorgängen gespickt sind. Dabei lässt sich ein Muster der Datenzugriffe erkennen. Viele skalare und tabellarische Datensätze sind dort zu finden. Weiterhin lässt sich erkennen, dass die Datenaufnahme in der Regel durch Benutzertransaktionen durchgeführt wird. OLAP-Anwendungen (Online Analytical Processing) hingegen speichern und verarbeiten diese Datenmengen aus verschiedenen Quellen. Anschließend werden aus diesen Datensätzen Ad-Hoc Berichte und analytische Anwendungsfälle erstellt. Die Anwendung Azure Data Lake Storage bildet das Fundament zur Big-Data Speicherung und die Visualisierungsebene übernimmt Power BI.
Komponenten
Funktionen
Azure Synapse Studio ist ein webbasiertes SaaS-Tool, das als Verwaltungs- & Steuerungsplattform fungiert und mit dem Entwickler innerhalb einer Konsole alle integrierten Dienste verwenden können. In der analytischen Lösungsentwicklung mit Synapse startet man in der Regel mit einer Erstellung eines Arbeitsbereichs inklusive Zugriff auf verschiedene Synapse Funktionen. Diese Funktionen umfassen zum Beispiel den Datenimport mithilfe verschiedener Mechanismen oder Datenpipelines, sowie das Erstellen von Datenflüssen, die Datensuche und die Datenanalyse mit Spark-Jobs oder SQL-Skripten. Für die Visualisierung der Daten für Reporting- & Dashboarding Zwecke ist die Integration von Power BI verantwortlich. Azure Synapse Studio bietet mithilfe einer CI/CD Integration weitere Funktionen zum Erstellen von Artefakten, Code-Debugging und Leitungsoptimierung.
Der Synapse SQL Pool bietet die herkömmlichen Data Warehousing Funktionen, die Sie vermutlich auch noch aus SQL DW kennen. Merkmal des Dienstes ist, dass der Instanz eine feste Kapazität von DWU-Einheiten für die Datenverarbeitung zugewiesen wird. Der Datenimport funktioniert mithilfe verschiedenen Mechanismen, wie z.B. SSIS, Polybase, Azure Data Factory uvm. Synapse speichert die Daten in einem Spaltenformat und ermöglicht Abfragefunktionen, die OLAP-Workloads begünstigen. Weiterhin werden Datenstreaming , wie auch KI-Funktionen von Synapse unterstützt. Grundsätzlich ist der Synapse SQL Pool als Teil einer Azure SQL-Server Instanz zu verstehen und kann z.B. gleichermaßen mit SSMS genutzt werden. Wie auch bereits erwähnt, ist die Verwendung eines Servers in Kombination mit Azure Synapse nicht zwingend notwendig. Azure verwaltet an dieser Stelle die Infrastrukturkapazität eigenständig, um entsprechende Anforderungen der Workloads zu erfüllen. So gestaltet sich auch die Preisgestaltung von Synapse, denn diese richtet sich nach der Anzahl der verarbeiteten Datenmengen, anstatt nach der Anzahl der verwendeten Instanzen.
Wie bereits erwähnt, werden in Azure Synapse zwei Analyselaufzeiten wie Spark und SQL verwendet. Diese sind dafür verantwortlich, dass das Laden von Daten, Datenverarbeitung, Datenvorbereitung, ETLs und andere Aufgaben, die mit dem Data Warehousing zusammenhängen, ausgeführt werden. Data Bricks wird zwar ebenfalls von Azure Synapse bereitgestellt und verfügt über vergleichbare Funktionen wie Spark. Der Vorteil der Nutzung von Spark ist jedoch, dass keine zusätzlichen Cluster zur Datenverarbeitung verwaltet werden müssen. Daten werden automatisiert skaliert und unterstützen weitere Funktionen wie z.B. .NET oder SparkML-Algorithmen, Delta Lake, Azure ML-Integration und Notebooks im Jupyter-Stil. Weiterhin ist eine multilinguale Unterstützung für Sprachen wie C#, Pyspark, Scala, Spark SQL und Java gegeben.
Abgesehen von den ganzen Funktionen, die wir Ihnen in den oberen Absätzen bereits beschrieben haben, ist ein weiterer sehr wichtiger Aspekt, eine Reihe von Sicherheitsfunktionen, die in Synapse enthalten sind. Diese erfüllen bereits fast 30 branchenführende Konformitäten wie ISO, SOC, FedRAMP, DISA, HIPAA, FIPS usw. Sie unterstützen die Azure AD-Authentifizierung, SQL-basierte Authentifizierung sowie die Multifaktor Authentifizierung. Weiterhin wird die Datenverschlüsselung im Ruhe- & Aktivzustand aktiviert, sowie die Datenklassifizierung für sensible Daten. Die Sicherheit ist auf Zeilenebenen, Spaltenebene sowie auf Objektebene zusammen mit einer dynamischen Datenmaskierug geboten. Darüberhinaus unterstützen diese Sicherheitsfunktionen auch auf Netzwerkebene mit virtuellen Netzwerken und Firewalls.
Aufbauend auf die Einführung in Azure Synapse Analytics, zeigen wir Ihnen nachfolgend, wie Sie dieses Tool verwenden und auf Basis dessen, ein individuelles Workspace erstellen können. Ein Azure Synapse Workspace dient als zentrale Konsole für den Zugriff auf eine Vielzahl an Tools und Features im Zusammenhang mit Azure Analytics. Nach der Implementierung von Azure Synapse Analytics steht als erster Schritt die Konfiguration eines geeigneten Arbeitsbereichs an.
Vorgehen:
Mit dieser Anleitung sollte die Konfiguration eines Azure Synapse Workspace spielend leicht von Statten gehen. Der Assistent leitet Sie durch die einzelnen Teilschritte. Sie müssen lediglich für ein aktives Administratoren Konto in Azure Data Lake verfügen.
Alles in Allem ist Azure Synapse ein vollumfassendes Datentool, welches eine integrierte Plattform zur Datenverwaltung- und Verarbeitung bietet, sowie diverse Aufgaben und Prozesse von Analyseworkloads abdeckt. Mit der Erstellung eines Azure Synapse Workspace zeigen wir Ihnen den ersten wichtigen Schritt in der Arbeit mit Azure Synapse Analytics. Das ganze Tool ist modular zusammenstellbar und bietet damit unheimlich viel Flexibilität.
Die Mainzer Datenfabrik ist bestens ausgebildet in Sachen Azure und den dazugehörigen Diensten und Komponenten. Wenn auch Sie mehr über die Möglichkeiten mit Azure erfahren wollen, kontaktieren Sie uns gerne über unser Kontaktformular und vereinbaren Sie ein unverbindliches Beratungsgespräch.
Kontaktieren Sie uns gerne über das
Kontaktformular und vereinbaren ein unverbindliches
Beratungsgespräch mit unseren Berater:innen zur
Bedarfsevaluierung. Gemeinsam optimieren wir Ihre
Umgebung und steigern Ihre Performance!
Wir freuen uns auf Ihre Kontaktaufnahme!