Kunde: Telekommunikation
Technologien im Einsatz:

• Azure
• SQL Managed Instance
• Azure Data Factory
• SSIS

Ausgangssituation und Painpoints des Kunden

Der Aufbau der aktuell genutzten Schnittstelle stammt aus einer On Prem gehosteten Umgebung mit den Kernelementen SQL Server und SQL Server Integration Services (SSIS). Die Anbindung des Haupt-CRM-Systems des Kunden, ein Salesforce System, wurde mit Hilfe einer Drittanbieter-Software in Verbindung mit den SSIS umgesetzt. Die gesamte Plattform wurde dann per Lift and Shift Ansatz nach Azure migriert, wobei die vorhandene Schnittstelle innerhalb einer SSIS Integration Runtime in der Azure Data Factory betrieben wurde.
Die Laufzeit der Schnittstelle nach der Azure Migration beträgt ca. 3-4h für die tägliche Delta Beladung sowie über 12h für einen Full Load am Wochenende. Dies resultiert in einer hohen Uptime der SSIS Integration Runtime und damit einhergehend hohen Kosten. Zu den Kosten für den Betrieb der Schnittstelle kommen darüber hinaus noch Lizenzkosten für die notwendige Drittanbieter-Software.

Welchen Nutzen verspricht sich Der Kunde von der neuen Lösung?
Durch ein Redesign der Schnittstelle werden die folgenden drei Hauptprobleme gelöst:

1. Kostenreduzierung
2. Laufzeitverbesserung
3. Effizienzsteigerung bei Betrieb / Weiterentwicklung

Welchen Aufwand sieht der Kunde für die neue Lösung?
Der Aufwand beläuft sich auf die Auslastung von 2 Mitarbeitern über einen Zeitraum von etwa 1,5 - 2 Monaten. Darin enthalten sind die Planung, Entwicklung, Test, Dokumentation und Inbetriebnahme der neuen Schnittstelle inkl. eines Parallelbetriebes der alten Schnittstelle als Vergleichsmöglichkeit bzw. Fallback-Lösung.

Welche strategischen Ziele verfolgt der Kunde mit dem Vorhaben?
Neben den offensichtlichen Zielen wie Kostenreduzierung und Laufzeitverbesserungen sollen durch das Redesign der Schnittstelle der Betrieb sowie die Weiterentwicklung so weit vereinfacht werden, dass diese Aufgaben zum größten Teil an ein fachseitiges Team übergeben werden kann, um das eigene IT-Team an dieser Stelle zu entlasten. Zudem fungiert das Redesign dieser Schnittstelle gleichzeitig als erster Proof of Concept dieser Art, um das hierbei erlernte Wissen auf weitere Use Cases anwenden zu können.

Warum hat sich der Kunde für uns entschieden?
Durch eine bereits bestehende, langjährige Partnerschaft und gute Zusammenarbeit wurden unsere Entwickler mit dieser Aufgabe betreut.

Umsetzung des Vorhabens

Welche Architektur haben wir für die neue Lösung gewählt?
Einsatz von Cloud native Technologien:

• Ablösung der SSIS-Pakete / Integration Runtime durch Azure Data Factory (ADF) Pipelines
• Ersatz der Drittanbieter-Software durch den Built-in ADF Salesforce Connector
• Metadaten gestützte Pipeline-Orchestrierung an Stelle von separaten SSIS-Paketen für jedes zu übertragene Objekt

Welche technischen Herausforderungen wurden gelöst?
Folgende Herausforderungen wurden mit dem Redesign der Schnittstelle gelöst:

• Ablösung von mehr als 30 einzelnen SSIS-Paketen durch eine einzige generische Azure Data Factory Pipeline
• Ablösung einer Drittanbieter-Software durch Out-of-the-box-Tools
• Aufbau einer Metadaten gestützte Pipeline Orchestrierung mit der Möglichkeit, Anpassungen an der Schnittstelle vorzunehmen, ohne die Notwendigkeit Deployments durchzuführen.

Welche Projektmethode wurde angewendet?
Das Projektteam arbeitet in 2 wöchigen Sprints innerhalb der SCRUM Methode

Was waren die Herausforderungen im Projekt?
Die größte Herausforderung bestand darin, die über die Schnittstelle transportierten Daten in exakt der gleichen Form abzulegen wie bisher. Durch die neue Technologie gab es diverse Unterschiede bei der Handhabung von Zeichensätzen und Datentypen, was nach der darauf folgenden Transformation zu unterschiedlichen Ergebnissen im Reporting geführt hat.

Wie lange hat es gedauert die neue Lösung umzusetzen?
Von der Planung über die Umsetzung bis zur Aufnahme des Parallelbetriebes der neuen Schnittstelle dauerte es etwa 4 Wochen. Die danach gestartete Testphase, Datenanalyse und Fehlerbehebungen dauerten nochmals 4 Wochen, bis man sich zum finalen Schwenk entschieden und die alte Schnittstelle zurück gebaut hat.

Welche fachl. Prozesse sind von der Lösung betroffen?
Durch die Sicherstellung der Datenqualität bzw. dem Parallelbetrieb zwischen alter und neuer Schnittstelle wurde gewährleistet, dass es keinen spürbaren Impact für die fachlichen Endanwender der Reporting-Anwendung gab. So konnte ein Unternehmensumsatz von über 3 Milliarden Euro weiterhin ohne Unterbrechung gesteuert werden.

Nach der Fertigstellung

• Was kann der Kunde, was er vorher nicht konnte?
• Welchen Nutzen zieht der Kunde aus der Lösung?

Der Kunde kann folgenden Nutzen aus dem Redesign der Schnittstelle ziehen:

Durch die spürbare Laufzeitverbesserung von ca. 12h für eine vollständige Datenbeladung auf etwa 10-15 Minuten erfolgt diese Form der Datenbeladung nicht mehr nur am Wochenende, sondern an jedem Wochentag. Zudem besteht die Möglichkeit, mehrere Datenaktualisierungen innerhalb der Geschäftszeiten durchzuführen, was zuvor durch die hohe Laufzeit der Delta-Beladung nicht sinnvoll war.

Die Reduzierung der Laufzeit um ein Vielfaches sowie der Wegfall der notwendigen SSIS-Integration Runtime als separate virtuelle Maschine in Azure spiegelt sich in einer Kostenreduzierung von ca. 12.000€ pro Jahr wider. Zudem entfallen die jährlichen Lizenzkosten der Drittanbieter Software, welche sich ebenfalls auf 5.000€ im Jahr belaufen.

Durch die Metadaten gestützte Orchestrierung der Azure Data Factory Pipelines ist es dem Fachbereich möglich, selbstständig kleinere Änderungen an der Schnittstelle durchzuführen, ohne dabei auf das IT-Team angewiesen zu sein und ohne einen umfangreichen und bürokratischen Deployment-Prozess zu durchlaufen. Dies ermöglicht eine schnellere Reaktionsfähigkeit auf notwendige Änderungen an der Schnittstelle und damit eine besser aufgestellte Reportinglösung.