La Chicago Trading Company réduit ses coûts de 54 % en se séparant de la solution Spark gérée

Les marchés évoluent incroyablement vite, une réalité que les teneurs de marché comme la Chicago Trading Company (CTC) observent de première main. Reconnue comme une société de négociation de produits dérivés de premier plan, la CTC fournit des liquidités aux marchés du monde entier. Elle contribue à l’efficacité, à la stabilité et à la santé des marchés en participant à la fois à l’achat et à la vente d’actifs. 

Soutenir des marchés dynamiques nécessite d’énormes quantités de données. Sur les plus de 700 collaborateurs de la CTC, la plupart sont des quantitative analysts ou des ingénieurs. « Nous avons besoin de données pour prendre des décisions éclairées sur la manière d’optimiser notre trading et nos capacités », explique David Trumbell, Head of Data Engineering et Principal Engineer à la CTC. 

Lorsque l’heure de la fermeture sonne et que les bureaux de négociation se vident, c’est au cœur de la plateforme de recherche interne de la CTC que les tâches importantes sont accomplies. Cette plateforme de recherche constitue une ressource centrale pour les traders, les quantitative analysts et les chercheurs de l’entreprise. Elle collecte les informations de milliers de sources, y compris les données de chaque bourse sur laquelle ils opèrent, des prix historiques de transactions et des données tierces. Cela représente des dizaines de milliers d’ensembles de données qui doivent être transformés chaque nuit pour en extraire les informations dont les traders ont besoin à l’ouverture des marchés le lendemain matin. Si la tâche semble coûteuse et gourmande en ressources, c’est parce qu’elle l’est. Ou, du moins, elle l’était. 

Après des années de factures de données volumineuses, la CTC a décidé de migrer son traitement des données de Spark vers Snowflake, où l’entreprise avait déjà construit sa stratégie data. En opérant une transition en douceur avec l’aide des Snowflake Professional Services, la CTC a trouvé une réponse presque immédiate à certains de ses défis les plus prégnants (dont le coût, la fiabilité, la rapidité et la complexité). Grâce aux économies réalisées, la CTC exploite désormais tout le potentiel des données pour innover davantage et étendre ses capacités de tenue de marché.

Le manque de rentabilité du système précédent a beaucoup pesé dans le choix de migrer depuis la solution Spark gérée vers Snowflake. La CTC devait dépenser 800 000 USD par an ne serait-ce que pour déplacer ses données de Snowflake vers la solution Spark gérée pour le traitement et vice‑versa. Désormais, cette dépense a non seulement été éliminée, mais le développement en Python se produit là où se trouvent les données.

Grâce à Snowflake, la CTC a aussi gagné en visibilité et contrôle mieux ses coûts. À présent, l’entreprise peut chiffrer instantanément le coût exact de chaque tâche, les ressources de calcul que mobilise un ensemble de données spécifique et les dépenses effectuées pour chaque pipeline. « Nous avons passé des mois à essayer d’évaluer le coût de chaque tâche sur la solution Spark gérée », confie David Trumbell. Sans ce niveau de détail, il était difficile d’attribuer les dépenses aux différentes unités opérationnelles et presque impossible d’évaluer avec précision le retour sur investissement.

« Après avoir migré vers Snowflake, nous avons immédiatement pu évaluer le coût exact d’un regroupement de code spécifique pour chaque tâche exécutée, ce qui nous a permis de résoudre nos problèmes de coûts », confie David Trumbell. Cette visibilité aide l’équipe à prendre des décisions plus éclairées sur les tâches à exécuter pour exploiter au maximum les ressources et optimiser le retour sur investissement. 

Globalement, le passage de la solution Spark gérée à Snowflake a permis à la CTC de réduire ses coûts de 54 %, ce qui se chiffre en millions de dollars pour l’entreprise.

En migrant vers Snowflake, la CTC a résolu un autre facteur de coût : l’échec de certaines tâches de traitement des données. Si certaines tâches échouaient pour des raisons connues, d’autres semblaient échouer spontanément, puis aboutissaient soudainement une fois réexécutées, explique David Trumbell. « Chaque échec d’une tâche de la solution Spark gérée augmentait sensiblement les coûts de calcul, tout en compromettant notre capacité à fournir ces données rapidement », ajoute‑t‑il. 

En rapprochant le calcul des données dans Snowpark, la CTC a considérablement réduit les échecs de tâches. Il s’agit d’une amélioration inestimable, étant donné que les tâches de traitement des données de l’entreprise sont toujours exécutées dans des délais très courts. L’objectif, explique David Trumbell, est que les données de la dernière heure de la veille soient disponibles au moins une heure avant l’ouverture des marchés. 

En se séparant de la solution Spark gérée, la CTC a également pu saisir l’opportunité de mettre en œuvre certains changements opérationnels. Grâce à la fiabilité de Snowpark en parallèle, l’entreprise a été en mesure de respecter le délai minimum d’une heure avant l’ouverture des marchés chaque jour pour la première fois de son histoire, un objectif qui n’aurait jamais pu être atteint sans le concours de Snowflake.

« Notre équipe DataOps a commencé à établir une fiche de scores SLA », souligne David Trumbell. « Nous sommes désormais sûrs de respecter régulièrement nos SLA, alors que nous aurions manqué sept jours par mois, si ce n’est plus, avec la solution Spark gérée. »

L’un des data engineers de la CTC corrobore cette opinion sur les performances de la solution : « Snowpark est incroyablement plus performant. Les écarts dans les délais de traitement des tâches Spark étaient auparavant considérables, alors que Snowpark est très constant dans ce domaine. » 

Ces niveaux de rapidité et de fiabilité peuvent être attribués à la facilité d’utilisation de Snowflake. L’ensemble du système de la CTC est désormais géré par seulement quelques ingénieurs, qui n’ont plus à composer avec les configurations complexes exigées par la solution Spark gérée. « Les réglages étaient beaucoup trop nombreux, ce qui entraînait des problèmes de manipulation », explique David Trumbell. « Nous devions relancer des tâches car l’environnement n’était pas configuré correctement pour ces dizaines de milliers d’ETL en cours d’exécution. »

Forte des importantes économies réalisées et des ressources d’ingénierie libérées, la CTC peut innover davantage sur sa plateforme et ainsi maximiser son ROI. David Trumbell révèle que la société a déjà rouvert certains pipelines de données qu’elle avait fermés (car trop coûteux à exécuter), et qu’elle a mis de nouvelles capacités à la disposition de tous ses traders, quantitative analysts et chercheurs. « Nous intégrons maintenant de nouvelles sources de données pour fournir des ensembles de données et des analyses plus riches à nos traders. »

L’équipe de David Trumbell a également commencé à explorer des fonctionnalités telles que Cortex AI et Streamlit afin d’exploiter et de dimensionner ce que l’AI Data Cloud de Snowflake a de meilleur à offrir. Il est évident que cela aidera la CTC à incorporer davantage le machine learning, l’IA avancée et les LLM dans sa plateforme, ce qui, selon lui, constituera une priorité à l’avenir.