BOS Software Produkte - tcVISION
BOS Software
Produkte - tcVISION

Datenreplikation in Echtzeit

tcVISION ist eine systemübergreifende Lösung für die zeitnahe, bidirektionale Datensynchronisation und Replikation auf Basis von Änderungsdaten. Datenaustausch wird zur Single-Step-Operation. Der Einsatz von Middleware oder Message Queueing ist nicht notwendig. Der Datenaustausch erfolgt im Raw-Format in komprimierter Form und reduziert sich auf das Delta von Änderungsdaten. Daten können in Echtzeit, zeitgesteuert oder ereignisgesteuert sowohl uni- als auch bidirektional bewegt werden.

Einsatzgebiete

Architektur

Die tcVISION Replikationslösung ist modular aufgebaut. Sie unterstützt sowohl das Laden von Massendaten aus einer Datenquelle in ein oder mehrere Datenziele, als auch den kontinuierlichen Datenaustauschprozess in Echtzeit auf Basis der Change Data Capture Technologie.

Features

FLEXIBILITÄT UND AKTUALITÄT

  • Hohe Integrationsfähigkeit der tcVISION Lösung: Verschiedene Change Data Capture Technologien je nach Änderungsfrequenzen und Latenzzeiten
  • Intuitives Mapping bietet umfassende Funktionen zu Typkonvertierungen und Datentransformation bis hin zur kompletten Änderung des Datenmodells
  • Umfassende Konvertierung von historisch gewachsenen Mainframe-Datenstrukturen
  • Höchste Aktualität der Daten durch kontinuierliches Realtime Processing
  • Automatische oder benutzergesteuerte Aufbereitung/Transformierung (ASCII - EBCDIC) der Daten für das Ziel (Konvertierung, Umformatierung, Interpretierung, etc.)
  • Unterstützung relationaler und nicht relationaler Datenbestände

BENUTZERFREUNDLICHKEIT

  • Intuitives Dashboard zur Administration und Kontrolle
  • Transparenz über alle Datenaustauschvorgänge durch umfassendes Monitoring und Logging aller Datenbewegungen
  • Integrierte, datenbankspezifische „Apply“ Funktion für ein schnelles und effizientes Einpflegen von Daten in die Zielsysteme, z.B. direkter Insert, Update, Delete, JSON/AVRO über Kafka oder auch die Nutzung der DBMS Loader Funktionalität
  • Integriertes Data Repository mit Historienführung zur Verwaltung aller Datenstrukturen und Regeln für den Datenaustausch
  • Key-Management für nicht indizierte Daten
  • Wegfall von Programmieraufwand für Datenaustausch
  • Integrierte Pooling/Streaming Verfahren vermeiden Programmieraufwand
  • Nutzung von Message Queueing zur Absicherung von Datenverlust bei Nichtaufnahmefähigkeit des Zielsystems oder Verzögerungen

DATENINTEGRITÄT

  • Praxisbewährte Verfahren zum Wiederaufsetzen von Replikationen bei Störungen im System (Datenbankfehler, Übertragungsstörungen)
  • Master Data Management zur Wahrung der Datenkonsistenz
  • Sicherung der referentiellen Integrität durch transaktionsgebundene Übertragung von Daten

tcVISION Komponenten

1. TRANSFORMATIONSPLATTFORM MIT REPOSITORY

Sie beinhaltet alle Utilities für das automatische Daten Mapping zur Generierung der Metadaten für Datenquellen und Datenziele sowie das gesamte Regelwerk für das Extrahieren der Daten an der Datenquelle, der Transformation/Aufbereitung der Daten für die Zielsysteme, sowie das direkte Einpflegen der Daten in die Datenziele. Für den Betrieb der tcVISION Transformationsplattform empfiehlt sich die Wahl einer kostengünstigen Systemplattform wie UNIX oder Linux.

2. DASHBOARD / ADMINISTRATIONS GUI – COMMAND LINE EDITOR

Für Administration, Betrieb, Überwachung, Kontrolle und Monitoring aller Datenaustauschprozesse wird das tcVISION Dashboard zur Verfügung gestellt. Zur Automatisierung der Datenaustauschprozesse sowie dem „unattended“ Betrieb der Datensynchronisationsprozesse können die tcVISION Command Line Utilities genutzt werden.

3. DATENQUELLEN

tcVISION Bulk Reader für das Einpflegen von Massendaten (Initial Load oder periode Massendatentransfers)

Log basierende Change Data Capture Agenten zum Erfassen der Datenänderungen auf Record Ebene

4. DATENZIELE

tcVISION Bulk Loader für das effiziente Beladen von Massendaten in die Datenziele

tcVISION APPLY zur Nutzung DBMS spezifischer APIs bzw. Mainframe Zugriffsmethoden zum effizienten Einpflegen von Datenänderungen in Echtzeit in Kombination mit der CDC Technologie an der Quelle

5. EFFIZIENTER DATENAUSTAUSCH

Die Daten werden zwischen Datenquelle und Datenziel über TCP/IP im „raw format“ und compressed ausgetauscht. Der Datenaustausch beschränkt sich auf ein Minimum.

Change Data Capture Mechanismen

DBMS-Extension

Echtzeit

  • Zeitnahe Erfassung von Änderungsinformationen
  • Informationsgewinnung direkt aus dem Datenbanksystem
  • Sichere Datenbewahrung, auch über Neustart des DBMS hinweg
  • Minimale Latenz

Log-Auswertung

Ereignis- oder zeitgesteuert

  • Verwendung der DBMS Logging Möglichkeiten
  • Transfer genau der geänderten Daten im festgelegten Zeitraum
  • Ideal als Nachtverarbeitung
  • Zur Verarbeitung unmittelbar nach Log-Abschluss

Bulk-Transfer

Massendaten-Austausch

  • Effizienter Transfer ganzer Datenbestände
  • Zyklischer Transfer von Massendaten mit niedriger Änderungsfrequenz
  • Ideal als „Initial Load“ im Vorfeld der Realtime Synchronisation
  • Für periodische Massendatentransfers

Batch-Compare

Snapshot Verarbeitung

  • Vergleich mit Datensnapshots
  • Effizienter Transfer der Änderungsdaten seit dem letzten Lauf
  • Automatische Bildung des Deltas durch tcVISION
  • Sicheres Wiederaufsetzen bei Fehlersituationen

Unterstützte Quellen und Ziele

Quellen

Mainframe Datenbanken
  • IBM Db2
  • IBM IMS/DB
  • IBM DL1
  • VSAM (Batch & CICS)
  • Software AG ADABAS
  • CA IDMS/DB
  • CA DATACOM/DB
Mainframe Datenbanken (Massload)
  • IBM Db2 Imagecopy/Flashcopy
  • IBM IMS/DB Unload
  • Software AG ADABAS Unload and ADASAV
  • CA IDMS/DB Backup
  • CA DATACOM/DB Backup
  • VSAM
  • Flat File
Non-Mainframe Datenbanken
  • IBM Db2 (LUW)
  • Software AG ADABAS LUW
  • Microsoft SQL Server
  • MySQL / MariaDB
  • Apache Kafka
  • Oracle
  • PostgreSQL

Ziele

Non-Mainframe Datenbanken
  • IBM Db2 (LUW)
  • Software AG ADABAS LUW
  • Microsoft SQL Server
  • MySQL
  • MariaDB
  • ODBC
  • JDBC
  • Oracle
  • PostgreSQL
  • SAP Hana
  • Solid DB
  • Teradate
  • HDFS
  • Json/Avro/CSV to Kafka
  • MongoDB
  • Websphere MQ
  • XML
  • Elasticsearch
  • Exasol
  • Snowflake
Cloud
  • Amazon S3
  • Amazon RDS Aurora
  • Amazon RDS MySQL
  • Amazon RDS MariaDB
  • Amazon RDS PostgreSQL
  • Amazon RDS Oracle
  • Amazon RDS SQL Server
  • Amazon Kinesis
  • Amazon Redshift
  • Azure SQL-Database
  • Azure Database for MySQL
  • Azure Database for MariaDB
  • Azure Database for PostgreSQL
  • Azure Database for Oracle
  • Azure Event Hubs and Blob Storage
  • Google Cloud SQL for MySQL
  • Google Cloud SQL for PostgreSQL
  • Google Cloud SQL for SQL Server
  • Google Cloud Storage
  • Google Cloud Spanner
  • Google BigQuery
Mainframe Datenbanken
  • IBM Db2
  • IBM IMS/DB
  • IBM DL1
  • VSAM (Batch & CICS)
  • Software AG ADABAS
  • CA IDMS/DB
  • CA DATACOM/DB
  • Flat File