Projektname: Modernisierung / Redesign einer Schnittstelle mit Hilfe von Cloud native Technologien
Kunde: weltweit tätiges Unternehmen im Bereich Informations- & Kommunikationstechnologie
Technologien im Einsatz:

• Azure
• SQL Managed Instance
• Azure Data Factory
• SSIS

Ausgangssituation

Warum möchte der Kunde eine andere Lösung?
Der Aufbau der aktuell genutzten Schnittstelle stammt aus einer On Prem gehosteten Umgebung mit den Kernelementen SQL Server und SQL Server Integration Services (SSIS). Die Anbindung des Haupt-CRM-Systems des Kunden, ein Salesforce System, wurde mit Hilfe einer Drittanbieter-Software in Verbindung mit den SSIS umgesetzt. Die gesamte Plattform wurde dann per Lift and Shift Ansatz nach Azure migriert, wobei die vorhandene Schnittstelle innerhalb einer SSIS Integration Runtime in der Azure Data Factory betrieben wurde.
Die Laufzeit der Schnittstelle nach der Azure Migration beträgt ca. 3-4h für die tägliche Delta Beladung sowie über 12h für einen Full Load am Wochenende. Dies resultiert in einer hohen Uptime der SSIS Integration Runtime und damit einhergehend hohen Kosten. Zu den Kosten für den Betrieb der Schnittstelle kommen darüber hinaus noch Lizenzkosten für die notwendige Drittanbieter-Software.

Welchen Nutzen verspricht sich der Kunde von der neuen Lösung?

• Kostenreduzierung
• Laufzeitverbesserung
• Effizienzssteigerung bei Betrieb & Weiterentwicklung

Welchen Aufwand sieht der Kunde für die neue Lösung?
Der Aufwand beläuft sich auf die Auslastung von 2 Mitarbeitern über einen Zeitraum von etwa 1,5 - 2 Monaten. Darin enthalten sind die Planung, Entwicklung, Test, Dokumentation und Inbetriebnahme der neuen Schnittstelle inkl. eines Parallelbetriebes der alten Schnittstelle als Vergleichsmöglichkeit bzw. Fallback-Lösung.

Welche strategischen Ziele verfolgt der Kunde mit dem Vorhaben?
Neben den offensichtlichen Zielen wie Kostenreduzierung und Laufzeitverbesserungen sollen durch das Redesign der Schnittstelle der Betrieb sowie die Weiterentwicklung so weit vereinfacht werden, dass diese Aufgaben zum größten Teil an ein fachseitiges Team übergeben werden kann, um das eigene IT-Team an dieser Stelle zu entlasten. Zudem fungiert das Redesign dieser Schnittstelle gleichzeitig als erster Proof of Concept dieser Art, um das hierbei erlernte Wissen auf weitere Use Cases anwenden zu können.

Warum hat sich der Kunde für uns entschieden?
Durch eine bereits bestehende, langjährige Partnerschaft und gute Zusammenarbeit wurden unsere Entwickler mit dieser Aufgabe betreut.

Umsetzung des Vorhabens

Welche Architektur haben wir für die Lösung gewählt?
Einsatz von Cloud native Technologien:

• Ablösung der SSIS-Pakete / Integration Runtime durch Azure Data Factory (ADF) Pipelines
• Ersatz der Drittanbieter-Software durch den Built-in ADF Salesforce Connector
• Metadaten gestützte Pipeline-Orchestrierung an Stelle von separaten SSIS-Paketen für jedes zu übertragene Objekt

Welche technischen Herausforderungen wurden gelöst?

• Ablösung von mehr als 30 einzelnen SSIS-Paketen durch eine einzige generische Azure Data Factory Pipeline
• Ablösung einer Drittanbieter-Software durch Out-of-the-box-Tools
• Aufbau einer Metadaten gestützte Pipeline Orchestrierung mit der Möglichkeit, Anpassungen an der Schnittstelle vorzunehmen, ohne die Notwendigkeit Deployments durchzuführen.

Welche Projektmethode wurde angewendet?
Das Projektteam arbeitet in 2 wöchigen Sprints innerhalb der SCRUM Methode.

Was waren die Herausforderungen im Projekt?
Die größte Herausforderung bestand darin, die über die Schnittstelle transportierten Daten in exakt der gleichen Form abzulegen wie bisher. Durch die neue Technologie gab es diverse Unterschiede bei der Handhabung von Zeichensätzen und Datentypen, was nach der darauf folgenden Transformation zu unterschiedlichen Ergebnissen im Reporting geführt hat.

Wie lange hat die Umsetzung gedauert?
Von der Planung über die Umsetzung bis zur Aufnahme des Parallelbetriebes der neuen Schnittstelle dauerte es etwa 4 Wochen. Die danach gestartete Testphase, Datenanalyse und Fehlerbehebungen dauerten nochmals 4 Wochen, bis man sich zum finalen Schwenk entschieden und die alte Schnittstelle zurück gebaut hat.

Fertigstellung

Welchen Nutzen zieht der Kunde aus der Lösung??

• Durch die spürbare Laufzeitverbesserung von ca. 12h für eine vollständige Datenbeladung auf etwa 10-15 Minuten erfolgt diese Form der Datenbeladung nicht mehr nur am Wochenende, sondern an jedem Wochentag. Zudem besteht die Möglichkeit, mehrere Datenaktualisierungen innerhalb der Geschäftszeiten durchzuführen, was zuvor durch die hohe Laufzeit der Delta-Beladung nicht sinnvoll war.

• Die Reduzierung der Laufzeit um ein Vielfaches sowie der Wegfall der notwendigen SSIS-Integration Runtime als separate virtuelle Maschine in Azure spiegelt sich in einer Kostenreduzierung von ca. 12.000€ pro Jahr wider. Zudem entfallen die jährlichen Lizenzkosten der Drittanbieter Software, welche sich ebenfalls auf 5.000€ im Jahr belaufen.

• Durch die Metadaten gestützte Orchestrierung der Azure Data Factory Pipelines ist es dem Fachbereich möglich, selbstständig kleinere Änderungen an der Schnittstelle durchzuführen, ohne dabei auf das IT-Team angewiesen zu sein und ohne einen umfangreichen und bürokratischen Deployment-Prozess zu durchlaufen. Dies ermöglicht eine schnellere Reaktionsfähigkeit auf notwendige Änderungen an der Schnittstelle und damit eine besser aufgestellte Reportinglösung.