Spark에서 Snowflake로의 성공적인 마이그레이션 비결: 고객 사례 및 결과

오늘날의 비즈니스 환경은 점점 더 경쟁이 치열해지고 있으며, 데이터 플랫폼은 팀의 역량에 차이를 가져올 수 있습니다. 저는 다양한 산업과 조직의 리더들과 이야기를 나누면서 다양한 데이터 플랫폼을 평가할 때 가장 중요하게 생각하는 부분에 대해 듣는 것을 좋아합니다. 

이러한 대화에서는 여러 가지 질문을 반복해서 듣습니다. 데이터 플랫폼 확장성과 신뢰성이 충분히 높아질까요? 팀 전체가 사용하기 편리할까요? 비용은 어떻게 되나요? 데이터는 어떻게 안전하게 보호되고 관리되나요? 

이러한 의사 결정의 중요한 부분은 인프라 구축 기본 기술을 결정하는 것입니다. Databricks, Amazon EMR, 특정 Cloudera 배포와 같은 관리형 Apache Spark 환경은 팀에 복잡성, 예측할 수 없는 비용, 보안 문제, 성능 문제 등 수많은 불편 사항을 안겨줄 수 있습니다. 

이러한 요인들이 모든 규모의 산업에 걸쳐 조직이 Snowflake로 전환하는 주요 이유라고 생각합니다. 조직이 마이그레이션을 진행할 수 있도록 지원하고 그 결과 달성한 엄청난 성과를 확인하는 것은 제 업무에서 가장 보람을 느끼는 부분입니다. 그리고 새 책 ‘Spark에서 Snowflake로의 성공적인 마이그레이션 비결’에서는 AMN Healthcare, IGS Energy, 인터콘티넨탈 익스체인지(ICE) 및 뉴욕 증권거래소와 같은 다양한 고객의 흥미로운 사례를 다루고 있습니다. 

다음은 관리형 Spark 환경에서 Snowflake로 마이그레이션하여 수백만 달러를 절감하고 성능을 개선하고 제품을 더 빠르게 시장에 출시하여 더 빨리 고객을 만족시키고 있는 선도적인 조직의 몇 가지 예입니다. 

Travelpass, 비용을 65% 절감하면서 보다 큐레이팅된 여행자 경험 제공

탐색을 통해 공통 지대를 발견하는 아이디어를 바탕으로 구축된 Travelpass는여행자의 요구 사항을 충족할 수 있도록 최고의 호텔및 여행 경험을 여행자와 연결시켜줍니다. 데이터는 Travelpass 비즈니스의 핵심입니다. 하지만 Travelpass 데이터 팀은 무엇을 구축하는지 대신에 어떻게 구축하는지에 집중하는 데 많은 시간을 할애했습니다.

Travelpass는 이제 Databricks에서 Snowflake로 전환하여 더 많은 사람이 데이터를 활용하여 전 세계 여행자에게 더 높은 효율성과 정보에 입각한 의사 결정을 제공하고 더 맞춤화된 경험을 제공할 수 있도록 지원합니다. Snowflake의 사용 편의성과 접근성 덕분에 Travelpass의 데이터 엔지니어가 아닌 일반 직원도 이제 의미 있고 빠른 방식으로 Snowflake 데이터에 기여할 수 있습니다.

이점: 

• 이전 플랫폼인 Databricks에서 Snowflake로 전환하여 65%의 비용 절감 효과 실현

• Snowflake의Dynamic Table을 통해 비즈니스 단위에 대한 데이터 제공 효율성 350% 향상

• 이전 시스템의 노동 집약적인 디버깅을 제거하여 신뢰성 및 생태계 안정성 향상

Chicago Trading Company, 54%의 비용 절감 효과 달성 및 일일 SLA 최초 충족

선도적인 파생 상품 트레이딩 회사로 인정받고 있는 Chicago Trading Company(CTC)는 전 세계 시장에 유동성을 제공하여 구매 및 판매 측 모두에 참여하여 효율적이고 안정적이며 건강한 시장을 추진하는 데 도움을 줍니다. CTC의 리서치 플랫폼은 거래되는 모든 교환, 과거 트레이딩 가격, 서드 파티 데이터 등 수천 개의 소스에서 정보를 수집합니다. 하지만 CTC는 데이터를 Snowflake에서 관리형 Spark로 옮기고 처리하기 위해 연간 80만 달러를 지불하고 있었습니다. 

이러한 장애물을 극복하기 위해 CTC는 관리형 Spark에서 이미 데이터 파운데이션을 구축한 Snowflake로 처리 작업을 이전했습니다. Snowflake와 Snowpark를 통해 CTC는 비용에 대한 가시성 제어 능력을 확보하는 동시에 데이터 처리 작업에 발생하는 장애를 크게 줄였습니다. 이 작업이 항상 시간과의 싸움이라는 사실을 감안할 때 이는 매우 가치 있는 향상입니다. CTC는 이러한 비용 절감 덕분에 이제 데이터를 극대화하여 혁신을 진행하고 시장화 역량을 강화하고 있습니다.

이점: 

• 관리형 Spark에서 Snowflake 전환하여 54%(연간 수백만 달러) 비용 절감 효과

• Snowflake 내외부로의 데이터 이동을 제거하여 연간 8만 달러 절감

• 시장 개장 1시간 이상 전에 데이터를 사용할 수 있도록 하는 일일 서비스 수준 계약(SLA)을 처음 충족하여 Snowflake 이전에는 불가능했던 마일스톤 달성 

Swire, 비용을 수백만 달러 절감하고 모델 배포 속도를 몇 주 단위로 단축 

Swire Coca-Cola, USA는 미국 서부 전역 13개 주에 있는 Coca-Cola 및 기타 음료 브랜드를 위한 로컬 보틀링 업체로, 매일 1억 3천만 명의 소비자에게 음료를 공급합니다. Swire는 Snowflake를 단일 진실 공급원으로서, AI/ML 요구 사항을 위해서는 별도로 관리되는 Spark 플랫폼 사용했습니다. 하지만 복잡한 인프라 관리로 인해 데이터 팀이 모델 구축에 집중할 수 없어 지연이 발생했습니다. Spark 클러스터는 낭비를 방지하기 위해 수동으로 유지 관리가 필요했고, 활성화까지 10~15분이 걸렸습니다. 반면에 Snowflake 외부의 관리형 Spark 플랫폼은 데이터 거버넌스 대한 우려 사항이 발생하여 데이터 무결성과 보안에 영향을 미쳤습니다.

Snowflake는 Swire의 AI/ML 요구 사항을 충족하는 이상적인 원스톱 서비스로 부상하면서, 복잡성을 크게 줄이는 단일 플랫폼을 제공하고, 사용 편의성을 높이고 데이터 거버넌스를 개선하기 위한 강력한 프레임워크를 제공하게 되었습니다. 이러한 개선 사항을 통해 Swire는 계획된 물류 경로를 최적화하여 연료, 드라이버 비용 및 전반적인 서비스 비용과 관련된 비용을 크게 절감했습니다. Swire는 Snowflake 모델을 더욱 빠르게 개발할 수 있게 되면서 시장 출시 시간에도 놀라운 영향을 미쳤습니다.

이점: 

• 계획된 물류 경로 최적화를 통한 수백만 달러의 비용 절감

• 주요 AI/ML 모델을 더 빠르게 배포하여 시장 출시 시간을 단축함으로써 몇 주의 시간을 절약 

• 간소화되고 자동화된 데이터 관리로 총소유비용(TCO) 절감

기타 마이그레이션 성공 사례 

이러한 사례는 조직이 경쟁 우위를 확보하기 위해 Snowflake로 전환하는 방법의 시작에 불과합니다. 

책 ‘Apache Spark에서 Snowflake로의 마이그레이션 성공 비결’을 다운로드하여 기업이 Snowflake로 마이그레이션하는 5가지 주요 이유와 이러한 마이그레이션이 비즈니스 비용과 복잡성을 줄이고 일상 운영의 신뢰성을 개선하는 데 어떻게 도움이 되는지 알아보세요.