Chicago Trading Company ersetzt Managed Spark und sorgt so für 54 % Kosteneinsparung

Märkte ändern sich unglaublich schnell – und niemand weiß das besser als Marktmacher wie die Chicago Trading Company (CTC). CTC ist als führendes Unternehmen im Derivatehandel anerkannt und stellt liquide Mittel für Märkte auf der ganzen Welt bereit. Es trägt zur Förderung effizienter, stabiler und gesunder Märkte bei, indem es sich sowohl auf der Kauf- als auch auf der Verkaufsseite beteiligt. 

Die Unterstützung dynamischer Märkte erfordert große Mengen an Daten. Von den mehr als 700 Mitarbeitenden von CTC sind die meisten Quantitative Analysts, kurz Quants, oder Data Engineers. „Wir brauchen Daten, um fundierte Entscheidungen darüber zu treffen, wie wir unser Handelsverhalten optimieren und unsere Fähigkeiten maximieren können“, sagt David Trumbell, Head of Data Engineering und Principal Engineer bei CTC. 

Wenn die Schlussglocke läutet und Ruhe einkehrt an den Trading-Desks, beginnt tief im Inneren der internen Research-Plattform von CTC die eigentliche Arbeit. Als zentrale Ressource für die Trader:innen, Quants und Researcher:innen des Unternehmens sammelt diese Research-Plattform Informationen aus Tausenden von Quellen, darunter Feeds von jeder Börse, an der sie handeln, historische Börsenpreise und Drittanbieterdaten. Das sind Zehntausende von Datasets, die jede Nacht verarbeitet werden müssen, um die Erkenntnisse zu gewinnen, die die Trader:innen benötigen, wenn die Märkte am nächsten Morgen öffnen. Das klingt nach einer kostspieligen und ressourcenintensiven Aufgabe, und das ist es auch – oder war es zumindest. 

Nachdem jahrelang riesige Datenrechnungen angefallen waren, beschloss CTC, seine Datenverarbeitung von Managed Spark auf Snowflake zu verlagern, wo das Unternehmen bereits seine Datengrundlage aufgebaut hatte. Durch die Zusammenarbeit mit Snowflake Professional Services konnte CTC für einen reibungslosen Übergang sorgen und wurde beinahe sofort von einer Reihe seiner größten Herausforderungen entlastet – von Kosten und Zuverlässigkeit bis hin zu Geschwindigkeit und Komplexität. Dank der Kostenreduzierung holt CTC nun das Maximum aus den Daten heraus, um weitere Innovationen zu entwickeln und seine Marktmacherkapazitäten zu steigern.

Eines der offensichtlichsten Argumente für den Wechsel von Managed Spark zu Snowflake war die Tatsache, dass das vorherige System eindeutig kostenineffizient war. CTC zahlte 800.000 USD pro Jahr, nur um Daten von Snowflake zu Managed Spark und zurück zu übertragen. Jetzt entfallen nicht nur diese Kosten, auch die Python-Entwicklung erfolgt direkt dort, wo sich die Daten befinden.

Mit Snowflake hat CTC auch eine größere Transparenz und Kontrolle über seine Kosten gewonnen. Das Unternehmen sieht jetzt sofort die genauen Kosten für jeden Job, wie viel Rechenressourcen ein bestimmtes Dataset benötigt und was es für jede Pipeline ausgibt. „Wir haben viele frustrierende Monate damit verbracht herauszufinden, wie viel jeder Job bei Managed Spark kostete.“, berichtet Trumbell. Ohne diesen Detaillierungsgrad war es schwierig, die Ausgaben den verschiedenen Geschäftsbereichen zuzuordnen und fast unmöglich, den ROI genau zu bewerten.

„Nach dem Wechsel zu Snowflake konnten wir diese Kostenprobleme sofort bewältigen, da wir nun genau sehen können, was jede spezifische Codegruppe pro Job kostet“, sagt Trumbell. Diese Transparenz hilft dem Team, fundiertere Entscheidungen darüber zu treffen, welche Jobs ausgeführt werden sollen, um die Ressourcen und den ROI zu maximieren. 

Insgesamt konnte CTC durch den Wechsel von Managed Spark zu Snowflake 54 % der Kosten einsparen, was sich für das Unternehmen in Millionen von US-Dollar niederschlägt.

Mit der Umstellung auf Snowflake ging CTC einen weiteren Kostentreiber an: Datenverarbeitungsjobs, die einfach fehlschlugen. Einige Jobs scheiterten laut Trumbell aus bekannten Gründen, während andere spontan auszufallen schienen und eine erneute Ausführung des Jobs plötzlich erfolgreich war. „Jedes Mal, wenn einer der Managed-Spark-Jobs fehlschlug, verursachte dies viel höhere Kosten für Rechenressourcen und gefährdete gleichzeitig unsere Fähigkeit, die Daten schnell bereitzustellen“, so Trumbell. 

Indem CTC die Rechenressourcen zu den Daten in Snowpark gebracht hat, konnten die fehlgeschlagenen Jobs drastisch reduziert werden – eine unschätzbare Verbesserung, wenn man bedenkt, dass die Datenverarbeitungsaufträge des Unternehmens immer unter Zeitdruck laufen. Das Ziel sei es, die Daten von der letzten Stunde des Vortages mindestens eine Stunde vor Börsenbeginn zur Verfügung zu haben, erklärt Trumbell. 

Während der Umstellung von Managed Spark konnte CTC auch die Gelegenheit nutzen, einige betriebliche Änderungen umzusetzen. In Kombination mit der Zuverlässigkeit von Snowpark bedeutete dies, dass das Unternehmen zum ersten Mal in seiner Geschichte in der Lage war, jeden Tag die Mindestfrist von einer Stunde vor Börsenbeginn einzuhalten – ein Meilenstein, den es nicht hatte erreichen können, bis Snowflake das Ziel in Reichweite rückte.

„Unser DataOps-Team hat begonnen, eine SLA-Scorecard zu erstellen“, berichtet Trumbell. „Wir sind jetzt zuversichtlich, dass wir unsere SLAs regelmäßig einhalten können, während wir sie mit Managed Spark in der Regel sieben oder mehr Tage pro Monat verfehlt hätten.“

Einer der Data Engineers von CTC bestätigt diese Einschätzung der Performance: „Die Performance von Snowpark ist wesentlich besser. Außerdem schwankte die Dauer der Spark-Jobs enorm, während sie bei Snowpark sehr konstant ist.“ 

Diese hohe Geschwindigkeit und Zuverlässigkeit lässt sich auf die Benutzerfreundlichkeit von Snowflake zurückführen. Das gesamte CTC-System wird nun von einigen wenigen Engineers verwaltet, die sich nicht mehr mit den komplexen Konfigurationen herumschlagen müssen, die für Managed Spark erforderlich sind. „Die Anzahl der Parameter war enorm, und das führte zu Problemen“, erzählt Trumbell. „Jobs mussten neu gestartet werden, weil die Umgebung nicht richtig für all diese Zehntausende von ETLs konfiguriert war, die ausgeführt wurden.“

Dank erheblicher Kosteneinsparungen und frei gewordener technischer Ressourcen hat CTC nun Raum, um an weiteren Innovationen für seine Plattform zu arbeiten – und für eine Maximierung des ROI. Trumbell berichtet, dass das Unternehmen bereits einige der Daten-Pipelines wieder in Betrieb genommen hat, die es wegen zu hoher Betriebskosten außer Betrieb nehmen musste, und Trader:innen, Quants und Researcher:innen im gesamten Unternehmen neue Möglichkeiten eröffnet hat. „Wir erschließen jetzt neue Datenquellen, um unseren Trader:innen umfangreichere Datasets und Analytik zur Verfügung zu stellen.“

Trumbells Team hat auch damit begonnen, Funktionen wie Cortex AI und Streamlit zu erforschen, um die Vorteile der Snowflake AI Data Cloud weiter auszuschöpfen und zu skalieren. Dazu gehört zweifellos auch die Unterstützung bei der Integration von maschinellem Lernen, fortschrittlicher KI und LLMs in die Plattform von CTC, die Trumbells Einschätzung nach in Zukunft ein wichtiger Schwerpunkt sein wird.