Intercontinental Exchange e NYSE ottimizzano i costi con Snowpark

Intercontinental Exchange è un’organizzazione finanziaria globale che gestisce borse valori, stanze di compensazione, servizi dati e tecnologia per i mutui in mercati che spaziano dagli Stati Uniti e dall’Europa a Singapore e Abu Dhabi. Il New York Stock Exchange (NYSE), parte del portafoglio di ICE, è la più grande borsa valori del mondo, che offre a imprenditori e aziende iconiche l’opportunità di raccogliere capitali e cambiare il mondo.

La strategia di ICE per connettere le persone alle opportunità si basa su tecnologie innovative, competenza nel settore ed enormi quantità di dati. Di conseguenza, sia ICE che il NYSE hanno adottato il Data Cloud Snowflake e Snowpark per gestire efficacemente i dati su vasta scala e mantenere sotto controllo i costi.

ICE elabora miliardi di record delle transazioni al giorno, un carico che mette a dura prova i sistemi di analisi dei dati a valle utilizzati per la conformità alle normative, la vigilanza del mercato e la reportistica per i clienti. “Sommando tutti i nostri sistemi, abbiamo gestito più di mezzo trilione di messaggi in un solo giorno di contrattazione”, dichiara Anand Pradhan, Senior Director of Regulatory and NMS Tech del New York Stock Exchange. “Tutte queste transazioni hanno una granularità misurata in microsecondi e quindi producono dati di serie temporali complessi e densi.”

Il precedente data warehouse on‑premise di ICE aveva una capacità di storage limitata, che costringeva a lunghe operazioni di archiviazione dei dati e costosi aggiornamenti dell’hardware. Il personale tecnico doveva architettare soluzioni alternative per mitigare i problemi di gestione di utenti concorrenti e i ritardi nella creazione dei report, sottraendo tempo all’onboarding di nuovi flussi di lavoro. 

Per far fronte alla necessità di soddisfare una domanda crescente di analisi dei dati, ICE ha iniziato a valutare varie tecnologie cloud. Dopo un progetto pilota e test approfonditi, ICE ha selezionato il Data Cloud Snowflake. “Il nostro percorso con Snowflake è iniziato nel 2019, con una POC per il mercato dei derivati”, afferma Divakar Jeyadevan, Direttore di ICE. “Il sistema è stato lanciato nel 2020, durante il picco della pandemia, e ha riscosso grande successo.”

La scalabilità quasi istantanea e quasi infinita della capacità di calcolo e di archiviazione di Snowflake supporta le diverse esigenze di reporting di ICE, oltre a gestire i terabyte di nuovi dati che vengono caricati ogni giorno. La migrazione dei workload sul Data Cloud ha migliorato le prestazioni delle query ad hoc fino all’80% e ha praticamente eliminato i problemi di SLA sulla disponibilità dei dati.

Ora ICE gode di una visione a 360 gradi delle metriche aziendali e operative, inclusa una maggiore trasparenza dei costi. “Con tante business unit, Snowflake semplifica l’amministrazione offrendo una visuale chiara della gestione dei costi”, dichiara Jeyadevan. L’infrastruttura completamente gestita di Snowflake consente inoltre al personale tecnico di ICE di concentrarsi sugli analytics, anziché dover procurare l’hardware, aggiornare sistemi o trovare soluzioni alternative. 

Se la migrazione al Data Cloud dei workload esistenti ha rappresentato un primo passo essenziale nel percorso di ICE con Snowflake, l’attenzione si è rapidamente spostata su come massimizzare il risparmio nel cloud, aumentando il throughput e accelerando l’impatto dei dati. 

L’ottimizzazione di quelle che sono un workload mission‑critical del NYSE, le segnalazioni di vigilanza, ha offerto la straordinaria opportunità di ridurre i costi dei dati e aumentare la produttività. “Il nostro workload delle segnalazioni di vigilanza esamina centinaia di miliardi di record nel data set e li combina costantemente tra loro per trovare schemi diversi, integrando allo stesso tempo varie fonti di dati di riferimento. Tutto questo richiede un’enorme capacità di calcolo”, afferma Pradhan. 

Inizialmente il NYSE utilizzava Snowflake con un connettore Spark per elaborare le pipeline di data engineering in un ambiente esterno. Tuttavia, mantenere due ambienti di elaborazione separati era costoso e complesso dal punto di vista operativo, con costi nascosti e la “doppia tassa” dovuta al passaggio dei dati dentro e fuori da Snowflake. 

Di conseguenza, il NYSE ha adottato Snowpark come soluzione affidabile ed economicamente conveniente per il suo workload delle segnalazioni di vigilanza. La collaborazione con Snowflake Professional Services ha accelerato la transizione a Snowpark riducendo al contempo il rischio. “La migrazione a Snowpark non ha impattato minimamente la governance, poiché con Snowpark creiamo pipeline di data engineering basate su Python sulla stessa piattaforma Snowflake dove risiedono già i nostri dati”, afferma Pradhan. “Per noi è stato un notevole passo avanti e un enorme successo.”

Con Snowpark, il NYSE elimina la complessità e risparmia sui costi. Entro un mese dall’implementazione di Snowpark per il workload delle segnalazioni di vigilanza, i costi dei dati del NYSE sono stati più che dimezzati, mentre il volume dei dati è rimasto relativamente costante. “La riduzione dei costi con Snowpark ha avuto un tale impatto da costringermi a rivedere il mio budget per quest’anno”, dichiara Pradhan. 

La semplificazione dei workload con Snowpark ha inoltre ridotto la quantità di punti deboli e di tuning manuali del codice. “Con meno sfide operative abbiamo enormemente aumentato il nostro throughput di data engineering”, dichiara Pradhan. “Ora ci concentriamo maggiormente sull’analisi avanzata dei dati e sfruttiamo meglio il tempo per aumentare la produttività.”

Collegando gli strumenti SaaS a Snowflake, ICE sfrutta meglio e più facilmente i dati per migliorare i risultati aziendali. “Dopo i successi iniziali, la nostra community di sviluppatori si sta dedicando con entusiasmo a sfruttare Snowpark per Python ed esplorare più casi d’uso di migrazione da Spark”, afferma Jeyadevan. Attualmente il team di Pradhan sta valutando soluzioni per supportare casi d’uso di machine learning e AI generativa, oltre a testare alcune delle più recenti funzionalità di AI/ML di Snowflake. Secondo Pradhan: “Se oggi abbiamo tutte queste opportunità è grazie alla partnership con Snowflake e speriamo ce ne saranno altre”.

L’ottimizzazione di ulteriori workload preparerà ancora meglio ICE a rispondere ai mutamenti delle condizioni del mercato e all’aumento dei volumi di dati. Il Marketplace Snowflake avrà probabilmente un ruolo importante nelle ottimizzazioni future. “La migrazione a Snowflake è stata il passo giusto per dare inizio a tutte queste sperimentazioni, innovazioni e collaborazioni”, dichiara Pradhan.