Moderne Betriebsabläufe brauchen ein hohes Tempo - auch, was die Datenanalyse und Berichterstattung angeht. In diesem Artikel berichten wir von den Verbesserungen, die sich mit Azure Synapse Link für SQL erreichen lassen.
Üblicherweise werden Daten zur analytischen Verarbeitung aus operationalen Datenspeichern geholt. Dafür verwenden wir die dafür erstellten ETL(Extract, Transform, Load)-Prozesse. Solche Prozesse sind oft langwierig in der Ausführung, nehmen viele Ressourcen in Anspruch und laufen nur zeitweise im Gruppenmodus. Auch wenn diese Latenz und Beanspruchung für einige Situationen akzeptabel sein kann, haben mehr und mehr Firmen ein Bedürfnis, Analyse über ihre Betriebsdaten beinahe in Echtzeit auszuführen - und das können traditionelle ETL-Systeme nicht unterstützen.
Azure Synapse Link für SQL bietet eine automatische Extrahierung von Daten aus Quellsystemen, ohne das dafür ETL-Prozesse erstellt werden müssen. Hier sind einige Vorzüge von Azure Synapse Link für SQL zusammengestellt:
- Low code/No code-Lösung: Mit Azure Synapse Link für SQL muss man keine Prozesse erstellen, um die Daten zu extrahieren und in ein Analysesystem zu laden. Man wählt einfach die Tabellen aus, die man kopieren will, legt fest, wie man sie im Ziel (Azure Synapse Analytics dedizierter SQL-Pool) speichern möchte und Azure Synapse Link für SQL kümmert sich um den Rest.
- Minimaler Eingriff in Quellsysteme: Der Eingriff ins Quellsystem beim Extrahieren von Daten soll minimal sein. Herkömmliche ETL-Prozesse führen Anfragen auf den Quelltabellen aus, was teuer sein kann. Azure Synapse Link für SQL bedient sich der neuen Änderungsfeed-Funktion von SQL Server 2022 und Azure SQL Datenbank, um Daten herauszulesen, ohne dass spezielle Anfragen nötig sind.
- Fast-Echtzeit-Datenbewegung: Die Daten werden kontinuierlich von den Quellsystemen zur Azure Synapse Analyseumgebung verschoben. Man kann auf “Planmodus” umschalten, wenn man keine Echtzeit-Bewegung braucht.
Wie funktioniert es?
Azure Synapse Link für SQL funktioniert mithilfe der neuen Änderungsfeed-Funktion, die zu SQL Server 2022 und Azure SQL Datenbank hinzugefügt wurde. Diese Funktion überwacht die Änderungen an Tabellen, während sie vorgenommen werden ohne zusätzlichen Overhead, den man bei einer CDC(change data capture)-Lösung hätte.
Wenn eine Transaktion auf einer Tabelle vervollständigt wird, die von Azure Synapse Link für SQL kopiert wird, dann wird diese Transaktion in eine Landezone” geschrieben. Dies ist ein Gen2 ADLS(Azure Data Lake Storage)-Speicherkonto. Danach übernimmt ein Ingestion-Service die Daten und lädt sie in einen dedizierten Azure Synapse Analytics SQL-Pool. Hier können Nutzer:innen Anfragen auf den Daten vornehmen wie bei jedem anderen dedizierten SQL-Pool.
In welchen Situationen ist es am besten anzuwenden?
Hier einige Beispielsituationen, in denen man von Azure Synapse Link für SQL profitiert:
- Datenbankkonsolidierung: Mit Azure Synapse Link für SQL kann man Daten aus verschiedenen Quellen in einem dedizierten SQL-Pool für die Analyse zusammenbringen. Egal ob es um mehrere Kundendatenbanken geht oder der Betrieb durch Übernahme gewachsen ist - Azure Synapse Link für SQL kann alle Daten in einer Analyseplattform vereinen.
- Vor-Ort/Cloud-Hybridanwendungen: Da Azure Synapse Link für SQL sowohl Azure SQL Database und SQL Server 2022 unterstützt, kann man Daten in ein gemeinsames analytisches System bringen - egal, woher sie kommen.
- Fast-Echtzeit-Erweiterung: Wenn Nutzer:innen ein ETL-System anwenden, das die meisten Anforderungen erfüllt, aber einige Tabellen haben, in denen Daten nahezu in Echtzeit ankommen sollen, kann man Azure Synapse Link für SQL nutzen. Diese Tabellen werden aus den Quellsystemen in den dedizierten Azure Synapse Analytics SQL-Pool übertragen, zusammen mit den Daten, die im nächtlichen ETL-System verarbeitet werden und dann auf allen Daten Bericht- und Analyseaufgaben auszuführen.
Fazit
Azure Synapse Link für SQL bietet die Möglichkeit, Daten aus verschiedenen Quellen automatisch zusammenzutragen, nahezu in Echtzeit zu analysieren und Analyseberichte zu liefern. So beschleunigt und automatisiert es viele betriebliche Prozesse.
Wenn Sie mehr über Azure und dessen Möglichkeiten erfahren möchten, stehen Ihnen unsere Expert:innen mit Rat und Tat zur Seite. Kontaktieren Sie uns dafür gerne über unser Kontaktformular.