Zurück

Warum Data Gateways wichtig sind

29. September 2020
Warum Data Gateways wichtig sind

Holen Sie sich mit einem Data Gateway die Kontrolle zurück

Auf Grund der in den letzten Jahren stetig wachsenden Datenmenge und zunehmenden Anforderungen in den Bereichen Flexibilität, Kosteneffizienz und Datenschutz, müssen etablierte Architekturen und Best Practices im Bereich Log Management und Data Analytics überdacht werden.

Sowohl klassische Monitoring Lösungen wie z.B. Nagios, Icinga oder BMC Patrol als auch moderne Logmanagement Lösungen wie Elastic, Graylog, Kibana (ELK/EFK) oder Splunk setzen auf eine Zwei-Schicht-Architektur aus Agent und verarbeitendem System. Diese Architektur wird jedoch den steigenden Anforderungen in Zukunft nicht mehr gerecht werden oder mit einem enormen Kostenwachstum verbunden sein. Um dies proaktiv zu verhindern, kann mit der Einführung eines Data Gateways (als Drei-Schicht-Architektur) die Kontrolle zurückerlangt werden.

Durch die Einführung eines zentralen Data Gateways können die folgenden Vorteile erzielt werden:

Reduktion des Datenvolumens
Events können bevor sie an das Logmanagement System weitergeleitet, bearbeitet werden. Hierfür stehen Funktionen wie Aggregation, Filterung und Transformation (z.B. entfernen von leeren, optionalen Feldern) zur Verfügung. Die Reduktion des Datenvolumens hat sowohl einen direkten Einfluss auf die Gesamtkosten des Logmanagement Systems, als auch auf dessen Performance.

Zentrales und Event basiertes Routing
Durch den Einsatz eines Data Gateways können existente Agenten (z.B. Splunk Universal Forwarder, Beats Agent etc.) weiterhin verwendet werden, um Events an neue Zielsysteme weiterzuleiten. Dies führt sowohl zur Reduktion der Komplexität als auch zu verringerten Betriebsaufwänden und Infrastrukturlast, da nur noch ein Agent zum Einsatz kommt. Die Events können, basierend auf einfachen Regeln, an die jeweiligen Zielsysteme (z.B. Splunk, Elastic, InfluxDB, etc.) weitergeleitet werden. Hierbei kann je Event entschieden werden, an welches System die Information geht, aber auch eine Duplizierung ist möglich.

Verschlüsselung
Im Rahmen der DSGVO erhält der Umgang mit personenbezogenen Daten einen immer grösseren Stellenwert. Diese sensiblen Daten werden jedoch für Use Cases im Bereich Security und Fraud im Verdachtsfall benötigt. Durch die Verschlüsselung der personenbezogenen Daten im Data Gateway können sowohl Security Anforderungen als auch IT Operations Anforderungen auf den gleichen Daten erfüllt werden und eine doppelte Speicherung der gleichen Daten wird überflüssig. Erst im Verdachtsfall wird ein Zugriff auf die Entschlüsselung gewährt.

Anreicherung
Meist enthalten Events des Quellsystems nicht alle für die Auswertung benötigten Informationen. Daher werden diese fehlenden Informationen durch sogenannte Lookups in den gängigen Logmanagement Systemen angereichert. Diese Anreicherung kann zentral im Data Gateway erfolgen. Dies reduziert einerseits die Aufwände in den Zielsystemen, andererseits werden somit Fehler und Abweichungen in den Auswertungen durch unterschiedliche Stände der Lookups in den Zielsystemen vermieden. Gerade sehr volatile Informationen (z.B. Metadaten im Container Umfeld) profitieren von der zeitnahen Anreicherung während der Weiterleitung der Events.

 

Die Einführung eines Data Gateways kann Use Case basiert, schrittweise erfolgen und somit können erste schnelle Erfolge erzielt werden. Dies trägt nicht nur zur schnellen Akzeptanz des Data Gateways bei, sondern sichert Ihnen auch eine langfristige Zukunftssicherheit und Flexibilität. Die durch das Data Gateway zu verarbeitende Datenmenge kann hierbei von wenigen Gigabyte am Tag bis hin zu Terabyte oder gar Petabyte reichen, welche durch die moderne Architekturen der Data Gateway Lösungen problemlos verarbeitet werden können.