Intercontinental Exchange und NYSE optimieren Kosten mit Snowpark

Als globale Finanzorganisation mit Niederlassungen in den USA, Europa, Singapur und Abu Dhabi betreibt Intercontinental Exchange Börsen und Clearinghäuser und bietet Datendienste und Hypothekentechnologien an. Die New York Stock Exchange (NYSE), die zum ICE-Portfolio gehört und die größte Börse der Welt ist, bietet herausragenden Persönlichkeiten und Unternehmer:innen die Möglichkeit, Kapital zu beschaffen und die Welt zu verändern.

Die Strategie von ICE, Menschen Chancen zu eröffnen, beruht auf innovativen Technologien, Branchenkenntnissen und riesigen Datenmengen. Daher haben sich sowohl ICE als auch die NYSE für die Snowflake Data Cloud entschieden, um große Datenmengen effizient zu verwalten und Kosten zu regulieren.

ICE verarbeitet täglich Milliarden von Transaktionsdatensätzen, was sich auf ihre nachgelagerten analytischen Systeme für die Einhaltung gesetzlicher Vorschriften, die Marktüberwachung und die Kundenberichterstattung auswirkt. „Mit all unseren Systemen werden an einem einzigen Handelstag mehr als eine halbe Billion Nachrichten verarbeitet“, so Anand Pradhan, Senior Director of Regulatory and NMS Tech an der New York Stock Exchange. „All diese Transaktionen werden in Mikrosekunden abgewickelt, sodass komplexe, dichte Zeitreihendaten entstehen.“

Das vorherige On-Premises-Data-Warehouse von ICE bot nur begrenzte Speicherkapazitäten, was zu zeitaufwendiger Datenarchivierung und kostspieligen Hardware-Upgrades führte. Um Parallelitätskonflikte und Verzögerungen bei der Berichterstellung zu vermeiden, wandte das technische Personal viel Zeit auf die Entwicklung von Workarounds auf, anstatt neue Workflows einzuführen. 

Um dem steigenden Analytikbedarf gerecht zu werden, begann ICE mit der Evaluierung verschiedener Cloud-Technologien. Nach eingehenden Proof-of-Concept-Tests (PoC) entschied sich ICE für die Snowflake Data Cloud. „Unsere Zusammenarbeit mit Snowflake begann im Jahr 2019, als wir unser PoC mit der Terminbörse durchgeführt haben“, sagt Divakar Jeyadevan, ICE Director. „Wir haben Snowflake im Jahr 2020 auf dem Höhepunkt der Pandemie eingeführt, was sich als großer Erfolg erwiesen hat.“

Mithilfe der nahezu sofortigen und beinahe unbegrenzten Skalierung von Speicherkapazitäten und Rechenressourcen von Snowflake kann ICE die vielfältigen Berichtsanforderungen erfüllen und Terabytes an neuen Daten bewältigen, die täglich geladen werden. Die Migration von Workloads in die Data Cloud hat die Ad-hoc-Abfrageperformance um bis zu 80 % verbessert und Probleme mit Service-Level-Agreements (SLA) für die Datenverfügbarkeit praktisch komplett beseitigt.

ICE hat nun eine ganzheitliche Übersicht über alle geschäftlichen und operativen Kennzahlen sowie eine erhöhte Kostentransparenz. „Bei so vielen Geschäftseinheiten haben wir dank Snowflake einen guten Überblick über das Kostenmanagement, was unsere Verwaltung vereinfacht“, so Jeyadevan. Dank der vollständig verwalteten Infrastruktur von Snowflake kann sich das technische Personal von ICE auf Analytik konzentrieren – statt auf die Beschaffung von Hardware, die Durchführung von System-Upgrades oder die Entwicklung von Workarounds. 

Die Migration bestehender Workloads in die Data Cloud war zwar ein wichtiger erster Schritt im Rahmen der Zusammenarbeit mit Snowflake, doch der Schwerpunkt verlagerte sich schnell auf die Maximierung von Einsparungen in der Cloud, die Erhöhung des Durchsatzes und die Beschleunigung der Datenauswirkungen. 

Indem der geschäftskritische Meldewesen-Workload der NYSE optimiert wurde, konnten die Datenkosten erheblich gesenkt und die Produktivität gesteigert werden. „Bei unserem Meldewesen-Workload werden Hunderte von Milliarden von Datensätzen im Dataset verarbeitet und ständig zusammengeführt, um verschiedene Muster zu identifizieren – und das alles bei gleichzeitiger Verknüpfung verschiedener Referenzdatenquellen. Dafür sind enorme Rechenressourcen erforderlich“, sagt Pradhan. 

Die NYSE verwendete ursprünglich Snowflake mit einem Spark-Konnektor, um Data-Engineering-Pipelines in einer externen Umgebung zu verarbeiten. Die Verwaltung von zwei separaten Rechenumgebungen stellte jedoch eine kostspielige betriebliche Belastung dar, die sowohl mit versteckten Kosten als auch mit einer „Doppelbesteuerung“ durch das Verschieben von Daten in und aus Snowflake verbunden war. 

Aus diesem Grund wandte sich die NYSE an Snowpark, um eine kosteneffiziente und zuverlässige Lösung für ihren Meldewesen-Workload zu finden. Mit Snowflake Professional Services konnte die Umstellung auf Snowpark bei gleichzeitiger Risikoreduzierung beschleunigt werden. „Wir sind zu Snowpark migriert, ohne dabei Kompromisse bei der Governance machen zu müssen, da wir mit Snowpark Python-basierte Data-Engineering-Pipelines auf einer einzigen Snowflake-Plattform aufbauen können, wo sich unsere Daten bereits befinden“, erläutert Pradhan. „Das war ein bedeutender Schritt und ein großer Erfolg für uns.“

Dank Snowpark kann die NYSE Komplexität beseitigen und Geld sparen. Nach der Einführung von Snowpark für den Meldewesen-Workload sanken die damit verbundenen Datenkosten innerhalb eines Monats um mehr als 50 % – und das bei relativ konstanten Datenmengen. „Wir haben mit Snowpark dermaßen stark die Kosten senken können, dass ich das Budget für dieses Jahr anpassen musste“, so Pradhan. 

Die mit Snowpark optimierten Workloads führten auch zu weniger Fehlerquellen und weniger manuellen Codeanpassungen. „Da wir weniger betriebliche Herausforderungen haben, hat sich unser Durchsatz beim Data Engineering um ein Vielfaches erhöht“, sagt Pradhan. „Wir konzentrieren uns jetzt mehr auf fortschrittliche Analytik und nutzen unsere Zeit effizienter, um die Produktivität zu steigern.“

Mithilfe von SaaS-Tools in Kombination mit Snowflake kann ICE leichter Daten optimieren und somit bessere Geschäftsergebnisse erzielen. „Nach unseren ersten Erfolgen freut sich unsere Entwickler-Community darauf, die Vorteile von Snowpark für Python nutzen zu können und weitere Anwendungsfälle für die Migration von Spark auszuprobieren“, sagt Jeyadevan. Pradhans Team evaluiert derzeit Lösungen zur Unterstützung von Anwendungsfällen für maschinelles Lernen und generative KI und testet einige der neuesten KI/ML-Funktionen von Snowflake. Pradhan: „All diese Möglichkeiten haben sich uns eröffnet, weil wir eine Partnerschaft mit Snowflake eingegangen sind, die hoffentlich weiter wachsen wird.“

Die Optimierung zusätzlicher Workloads wird ICE in eine noch bessere Position versetzen, um auf veränderte Marktbedingungen und steigende Datenmengen zu reagieren. Snowflake Marketplace wird wahrscheinlich eine wichtige Rolle bei zukünftigen Optimierungen spielen. „Die Migration zu Snowflake war der richtige Schritt nach vorne, um diese verschiedenen Experimente, Innovationen und Kooperationen umsetzen zu können“, so Pradhan.