• Home
  • Blog
  • Vorteile einer modernen Datensynchronisation im Umfeld einer hybriden IT
von Peter M. Horbach

Vorteile einer modernen Datensynchronisation im Umfeld einer hybriden IT

Nahezu jedes, mit einer hybriden IT Infrastruktur ausgestattetes Unternehmen, muss sich mit dieser Problematik auseinandersetzen: Wie werden identische Daten auf unterschiedlichen Plattformen und Datenhaltungssystemen zeitnah synchron gehalten?

Notwendigkeit

Eine Datensynchronisation in Echtzeit ist in Situationen notwendig, in denen es wichtig ist, Änderungen an Daten sofort und in Echtzeit an alle relevanten Systeme und Benutzer weiter zu geben. Hier sind einige Beispiele, wann eine Echtzeit-Datensynchronisation erforderlich sein kann:

  • Finanztransaktionen: In der Finanzbranche müssen Transaktionen in Echtzeit synchronisiert werden, um sicherzustellen, dass alle Beteiligten über den aktuellen Status der Transaktion informiert sind.
  • E-Commerce: Wenn ein Kunde eine Bestellung aufgibt oder seine Stammdaten sich ändern, müssen die Änderungen in Echtzeit an alle Systeme, wo diese Daten auch vorhanden sind, weitergegeben werden, um sicherzustellen, dass der Bestand in Echtzeit aktualisiert wird.
  • Social-Media-Plattformen: Soziale Netzwerke müssen in Echtzeit synchronisiert werden, um sicherzustellen, dass Benutzer über Änderungen an ihren Kontakten oder Beiträgen auf dem Laufenden gehalten werden.

Diese Liste lässt sich beliebig fortsetzen, in Abhängigkeit von der Art des Unternehmens und dessen Bedürfnisse.

Eine besondere Herausforderung stellt eine zeitnahe Datensynchronisation dar, wenn ein Mainframe im Spiele ist.

Einsatz eines Mainframe

Viele Unternehmen weltweit setzen, unter Umständen bereits seit Jahrzehnten, auf die Leistungsfähigkeit eines Mainframes. Die Vorteile des Großrechners sind bekannt:

  • Zuverlässigkeit: Aufgrund ihrer speziellen Architektur können sie kontinuierlich laufen und haben eine sehr hohe Verfügbarkeit.
  • Leistung: Mainframes sind in der Lage, enorme Datenmengen und Transaktionen zu verarbeiten. Sie können problemlos Tausende von Benutzern und Anwendungen gleichzeitig bedienen.
  • Skalierbarkeit: Mainframes können einfach skalieren, um sich an die sich ändernden Anforderungen eines Unternehmens anzupassen.
  • Sicherheit: Mainframes sind sehr sicher und bieten eine robuste Umgebung für den Schutz von Unternehmensdaten und -anwendungen.

Mainframes sind nach wie vor ein wichtiger Teil der IT-Infrastruktur von Unternehmen und Organisationen. Sie werden in Branchen wie Banken, Versicherungen, Regierungsbehörden und Industrie eingesetzt, um kritische Transaktionen und Geschäftsprozesse zu verarbeiten.

Neue Infrastrukturen sind trotzdem auch Bestandteil dieser Unternehmen. Die Gründe für den Einsatz sind in der Regel Kosten, bessere Flexibilität, moderne Datenhaltungssysteme (Relationale Datenbanken, Cloud), Einsatz von Standardsoftware an Stelle von Altanwendungen und Nachwuchsmangel für die Wartung der Anwendungen und Betriebssysteme.

Rolle eines Mainframe in einer hybriden IT

Das Verhältnis zwischen Mainframe-Systemen und offenen Systemen ist komplex und hat im Laufe der Zeit Veränderungen erfahren.

Mit der Entwicklung offener Systeme wie Windows, Unix und später Linux sowie der Einführung von Standardhardware wie x86-Prozessoren haben Unternehmen jedoch begonnen, ihre Abhängigkeit von Mainframes zu verringern. Offene Systeme ermöglichen es Unternehmen, ihre IT-Infrastruktur auf einer Vielzahl von Geräten und Plattformen zu betreiben und somit flexibler zu sein. Open-Source-Software hat auch dazu beigetragen, die Kosten zu senken und die Innovation zu beschleunigen.

Dies alles sind Gründe, im Falle einer hybriden IT sich mit einer plattformübergreifenden Datensynchronisation auseinander zu setzen.

Datensynchronisation

Die Datensynchronisation in Echtzeit bezieht sich auf den Prozess der Aktualisierung von Daten in Echtzeit, wenn Änderungen vorgenommen werden, um sicherzustellen, dass alle Systeme immer auf dem neuesten Stand sind. Dieser Prozess ist besonders wichtig in Situationen, in denen mehrere Systeme oder Anwendungen gleichzeitig auf die gleichen Daten zugreifen und Änderungen vornehmen.

Eine zeitnahe Datensynchronisation in Echtzeit  trägt dazu bei, die Genauigkeit von Daten zu erhöhen, die Effizienz von Prozessen zu verbessern und die Nutzererfahrung (User Experience) zu optimieren, indem sichergestellt wird, dass alle Systeme und Anwendungen immer auf dem neuesten Stand sind.

Arten der Datensynchronisation

Es gibt verschiedene Methoden, um Änderungen an Datenbanken oder Dateien in Echtzeit festzustellen. Einige der gängigsten Methoden sind:

Eigene programmierte Lösungen:

  • Trigger: Ein Trigger ist ein Codefragment, das ausgeführt wird, wenn bestimmte Ereignisse in einer Datenbank oder einer Anwendung auftreten, z.B. wenn eine neue Zeile hinzugefügt oder eine bestehende Zeile aktualisiert wird. Trigger können verwendet werden, um Änderungen in Echtzeit zu erkennen und automatisch entsprechende Aktionen auszuführen.
  • Polling: Beim Polling wird in regelmäßigen Abständen eine Anfrage an die Datenbank oder die Datei gestellt, um zu überprüfen, ob Änderungen vorgenommen wurden. Diese Methode ist weniger effizient als Triggers, da sie Ressourcen verbraucht, wenn keine Änderungen vorgenommen wurden.
  • Dateisystem-Überwachung: Die Überwachung des Dateisystems kann verwendet werden, um Änderungen an Dateien in Echtzeit zu erkennen. Die meisten Betriebssysteme bieten APIs an, um Änderungen an Dateien und Verzeichnissen zu überwachen und bei Bedarf Benachrichtigungen zu senden.
  • Messaging Systeme: Messaging-Systeme können verwendet werden, um Änderungen die durch selbsterstellte Programme ermittelt wurden, in Echtzeit an andere Systeme weiterzuleiten. In diesem Ansatz werden Nachrichten versendet, wenn Änderungen vorgenommen werden, und andere Systeme abonnieren diese Nachrichten, um auf Änderungen zu reagieren.

Der Nachteil dieser Lösungen ist die aufwendige Art der Implementation. Es werden in jedem Fall Programmierkapazitäten gebunden für die Entwicklung, den Test und der Wartung der Anwendungen.

Im Falle einer Feststellung der Änderungen auf dem Mainframe ist spezielles Know-How der unterschiedlichen Datensysteme und der Anforderungen des Betriebssystems erforderlich.

Hardware basierte Lösungen

Eine verbreitete Form der Hardware Lösungen sind FlashCopy Systeme.

Dies sind Systeme, die eine Möglichkeit bietet, Datenkopien von einem Datensatz auf einen anderen zu erstellen, ohne dass Daten tatsächlich physisch kopiert werden müssen.

Die virtuelle Kopie kann dann für verschiedene Zwecke verwendet werden, wie z.B. für Backups, Tests und Entwicklung oder für die Analyse von Daten.

Hardware basierte Lösungen sind nicht sinnvoll einsetzbar bei Datensynchronisationen zwischen unterschiedlichen Plattformen, bei denen auch eine Anpassung der Datenformen und -strukturen notwendig oder die Änderungsdaten noch logisch für das Ziel aufbereitet werden müssen (z.B. Mainframe IMS nach PostgreSQL).

Change Data Capture

Change Data Capture (CDC): CDC ist eine Technologie, die Änderungen an Datenbanken oder Dateien erfasst und in Echtzeit an andere Systeme oder Anwendungen weiterleitet. CDC ist besonders nützlich, wenn mehrere Systeme auf die gleichen Daten zugreifen und auf Änderungen reagieren müssen.

Datensynchronisation mit tcVISION

Die tcVISION Lösung der B.O.S. überwacht die Änderungen auf allen involvierten Plattformen in Echtzeit und repliziert diese Änderungen an alle beteiligten Systeme und Anwendungen. Das bedeutet, dass Änderungen, die in einem System vorgenommen werden, sofort in allen anderen Systemen sichtbar sind.

Ein Beispiel für eine Datensynchronisation in Echtzeit mit einem Mainframe (z.B. unter dem Betriebssystem z/OS) ist der Einsatz von Cloud-Storage-Systemen. Wenn eine Datei oder Datenbank auf dem Mainframe geändert wird, wird die Änderung automatisch an die Datenbank bzw. Anwendung auf dem Cloud System weitergegeben, auf dem die Zieldatenbank gespeichert ist. Dies bedeutet, dass der Anwender immer auf die neueste Version der Daten zugreifen kann.

tcVISION unterstützt eine Vielzahl an Datenbanken und Dateisystemen, als auch unterschiedliche Plattformen und Betriebssysteme.

Eine hybride IT mit einem Mainframe und den Betriebssystemen z/OS und z/VSE stellt eine besondere Herausforderung für eine zeitnahe Datensynchronisation dar. Die Gründe liegen auf der Hand und sind in diesem Blog bereits mehrfach beschrieben worden:

  • historische gewachsene Datenbestände
  • nicht relationale Datenbanksysteme
  • Satz- und Datenstrukturen, die nicht mit modernen Datenbanken kompatibel sind

In der Regel sind die Mainframe basierten Datenbestände für ein Unternehmen unverzichtbar und in der Regel auch die Basis für die Erweiterung der IT in Richtung neuer Systeme und Technologien.

Eine Datensynchronisation mit tcVISION zwischen hybriden IT Umgebungen, einschließlich der Umgebung eines Mainframes unter den Betriebssystemen z/OS, z/VSE und z/VM, bietet die Bereitstellung unterschiedlicher Change Data Capture Technologien an. Diese sind je nach Änderungsfrequenzen, Latenzzeiten oder individuellen Anforderungen der Anwendung einsatzbar. Die tcVISION Lösung bietet somit eine hohe Integrationsfähigkeit an.

Verarbeitungsregeln für den Datenaustausch und Mappinginformationen aller an der Synchronisation beteiligten Dateien bzw. Datenbanken werden in einem zentralen Repository hinterlegt. Dieses Repository ist mit einer Historienführung ausgestattet, so dass auch ältere Datenstrukturen mit den zum Zeitpunkt der Datenerstellung gültigen Mappinginformationen verarbeitet werden.

Die Vorteile einer Datensynchronisation mit tcVISION liegt in der Vielfalt der unterschiedlichen Methoden, die je nach Bedarf und Anwendungsprofil eingesetzt werden können.

Die Methoden sind:

  • Change Data Capture in Echtzeit
    • Real-time Log Verarbeitung
      • Für Datenbanken auf dem Mainframe und hybriden Systemen
      • DBMS Extension zur Gewinnung der Änderungsdaten direkt aus dem Datei- bzw. Datenbanksystem (Mainframe)
    • LOG-Auswertungen
      • Für Datenbanken auf dem Mainframe und hybriden Systemen
        • Ereignis- oder zeitgesteuert
        • Verarbeitung der Änderungsdaten in einem definierten Zeitraum
        • Verarbeitung von Archiv-Logs des Mainframe auch unter Windows, Unix oder Linux
      • Bulk-Transfer
        • Effizienter Transfer ganzer oder partieller Datenbeständen
        • Parallele Verarbeitung von partiellen Datenbeständen
        • Beste Lösung für periodische Massendatentransfers
      • Batch-Compare
        • Ermittlung der Änderungsdaten basierend auf Snapshots
        • für alle Dateiformationen verfügbar, insbesondere sequentielle Dateien (flat Files)

Alle Datensynchronisationsformen bieten sichere Restart-Möglichkeiten bei Fehlersituationen.

tcVISION ist eine extrem flexible, systemübergreifende Lösung für die zeitnahe, bidirektionale Datensynchronisation und Replikation auf Basis von Änderungsdaten:

  • Datenaustausch wird zur Single-Step-Operation.
  • Der Einsatz von Middleware oder Message Queuing ist nicht notwendig.
  • Der Datenaustausch erfolgt im Raw-Format in komprimierter Form und reduziert sich auf das Delta von Änderungsdaten.
  • Daten können in Echtzeit, zeitgesteuert oder ereignisgesteuert sowohl uni- als auch bidirektional bewegt werden.

Weitere Details entnehmen Sie bitte unserer Webseite, melden sich zu unserem Newsletter an oder vereinbaren direkt einen persönlichen Workshop. Wir stellen Ihnen tcVISION vor, maßgeschneidert auf Ihre Situation, Infrastruktur und Anforderungen.

Peter M. Horbach ist mit über 40 Jahren IT Erfahrung seit vielen Jahren in den Bereichen Datensynchronisation und Replikation tätig. Für BOS Software pflegt er Kontakte zu den internationalen Partnern und schreibt den Blog.

zurück zur Übersicht