Im Jahr 2016 begann Euronext, eine länderübergreifende Börse der Eurozone, mit der Migration ihrer Daten in die Cloud. Das System umfasste zu diesem Zeitpunkt rund 100 Terabyte und zählte damit zu den größten Datenbanksystemen in Europa. Das Ziel des Migrationsprojekts war, einen verwalteten Data LakeData Lake mit Self-Service-Funktionen zu implementieren, sodass Geschäftseinheiten und Kunden selbstständig auf die benötigten Daten zugreifen können. Euronext verfolgte damit das Ziel, neue Dienstleistungen zu schaffen und zusätzliche Umsätze zu generieren. Alles zu Big Data auf CIO.de

Entscheidung für die Hybrid Cloud

Die Börse verwendet mit Optiq eine Handelsplattform, deren Systeme mit Antwortzeiten im Nanosekundenbereich arbeiten. Die Euronext-Datenbank ist der aktive Speicher für diese Transaktionen. Dort werden 1,5 Milliarden Nachrichten pro Tag verarbeitet.

Vor 2016 wurden alle Daten auf lokalen Storage-Systemen gespeichert. Die Anforderungen an den Speicher wuchsen insbesondere nach Übernahmen immer weiter. Zudem erforderten Regularien die Aufbewahrung von immer mehr Daten.

Die Börse entschied sich schließlich zur Datenverwaltung für ein Hybrid-Cloud-Modell. So werden weiterhin einige Informationen der Trading-Plattform lokal gespeichert, da Latenzzeiten in der CloudCloud nicht konfigurierbar sind. Bei der Cloud setzt Euronext auf AWS Managed Services im Serverless-Modus mit AmazonAmazon S3 Storage für unlimitierte Speicherkapazität. Durch die hohe Skalierbarkeit der Cloud kann das Unternehmen flexibel auf bevorstehende Marktereignisse reagieren, die hohe Transaktionsvolumen erzeugen könnten. Alles zu Amazon auf CIO.de Alles zu Cloud Computing auf CIO.de

Eine wichtige Voraussetzung für den Übergang zu einem Platform-as-a-Service-Modell (PaaS) war für Euronext jedoch die Unabhängigkeit vom Cloud-Anbieter. Das Unternehmen hat sich daher für eine Lösung zur Datenintegration von Talend entschieden, die Echtzeitdaten in einen Data Lake einspielt. Hierbei werden sowohl interne Daten aus der eigenen Handelsplattform als auch externe Daten, beispielsweise von Nachrichtendiensten wie Reuters oder Bloomberg, verarbeitet.

Der Kern des Data Lakes wird von Talend verwaltet. Dadurch bleibt die Börse von den Architekturschichten, die unterhalb der Talend-Lösung liegen, unabhängig und kann künftig bei Bedarf die Cloud wechseln.

Mit dem Data Catalog Regularien beachten

Für die Transparenz in der Historie der Datennutzung von der Quelle bis zum Reporting sorgt ein Datenkatalog. Weiterhin lassen sich Tags hinzufügen, die zum Beispiel über die Dauer der Datenspeicherung informieren. Euronext nutzt diese Funktion, um festzulegen, ob Daten für fünf oder zehn Jahre aufbewahrt werden müssen - je nach den regulatorischen Vorgaben.

Abläufe rund um die Datenverwendung haben sich dabei vereinfacht. Will Euronext beispielsweise einen Index an der britischen Börse verändern, ist dies mit wenig Aufwand möglich. Zuvor waren dafür rund 200 Manntage notwendig

Nutzen auf vielen Ebenen

Schon zwei Jahre nach Start wertete Euronext das Projekt eines verwalteten Data Lake mit Talend und AWS als einen Erfolg. Auf der technischen Seite kann das Unternehmen inzwischen zehnmal so viele Iso-Budget-Daten verwalten wie zuvor. Über die verbesserte Infrastruktur hinaus kann sich die Börse nun auch als Datenhändler positionieren. Der Verkauf von Daten macht inzwischen 20 Prozent der Umsätze von Euronext aus.

Darüber hinaus können die eigenen Mitarbeiter im Self-Service-Verfahren auf Daten in Echtzeit zugreifen, um in Data Sandboxes ein Monitoring des Marktes vorzunehmen. In weniger als einem Tag kann Euronext heute für Data Scientists eine Systemumgebung aufsetzen. Dies dauerte zuvor 40 Tage.

Anfragen für eine Änderung oder das Löschen von Daten können Mitarbeiter über das Datenverzeichnis schnell durchführen. Sobald Daten als kritisch identifiziert werden, kann der Data Steward den Zugriff von Anwendern verweigern.

Derzeit definiert Euronext goldene Datenquellen, die für alle Systeme und Funktionsbereiche gültig sind. Das Ziel ist, die Qualität aller Euronext-Daten weiter zu verbessern, beispielsweise um festzustellen, ob ein Kunde über alle internen Plattformen hinweg konsistent angelegt ist.

Über Euronext

Mit der Trennung von der New York Stock Exchange wurde die Euronext im Jahr 2014 die erste länderübergreifende Börse der Eurozone. Hier sind Handelsplätze wie Amsterdam, Brüssel, Dublin, Lissabon und Paris vereint. Mit einer Marktkapitalisierung von 3,7 Billionen Euro (Stand März 2018) und knapp 1.300 Emittenten ist Euronext damit die größte Börse in Kontinentaleuropa.