Snowflake Horizon, 새로운 혁신 발표

Snowflake의 단일 크로스 클라우드 거버넌스 모델은 업계에서 강력한 차별화 요소로 작용하고 있으며, 점점 복잡해지는 데이터 생태계를 고객이 단순하고 간편하게 관리할 수 있도록 지원하고 있습니다. 이에 발맞춰 Snowflake는 이미 많은 고객의 신뢰를 얻고 있는 Snowflake Horizon의 거버넌스 기능을 더욱 강화하고 있습니다. Snowflake Horizon은 Snowflake의 내장형 거버넌스 솔루션으로 액세스 기능을 비롯하여 규정 준수, 보안, 개인정보 보호, 상호운용성을 통합하여 제공하고 있습니다. Snowflake Horizon은 사용자가 조직 내외를 불문하고 클라우드, 팀, 파트너, 고객 전반에 걸쳐 데이터와 앱 등을 손쉽게 관리하며 즉각적인 조치를 취할 수 있도록 지원합니다. 다른 Apache Iceberg 호환 카탈로그 및 엔진, 그리고 파트너와의 통합을 통해 고객의 생태계 전반에 걸쳐 Snowflake Horizon을 더욱 확장합니다.  

Snowflake는 규정 준수, 보안, 개인정보 보호, 상호운용성 및 액세스에 대한 추가 기능을 통해 Snowflake Horizon을 지속해서 발전시키고 있습니다. 

Snowflake Horizon은 규정 준수, 비즈니스 연속성, 데이터 품질 모니터링 및 데이터 계보를 통해 고객의 데이터를 보호하고 감사를 수행합니다. Snowflake는 규정 준수 자격 인증을 폭넓게 보유하고 있으며 그 수는 계속해서 증가하고 있습니다. Snowflake는 최근 영국의 Cyber Essentials Plus(CE+), 미국 연방수사국(FBI)의 Criminal Justice Information Services(CJIS) 보안 정책, 미국 국세청(IRS)의 간행물 1075 조세 정보 보안 지침, 한국 금융보안원(K-FSI) 평가에 대한 규정 준수를 달성했습니다. 또한, AWS GovCloud에 대해 StateRAMP High 및 미국 국방부 영향 수준 4(DoD IL4) 잠정 승인(PA)을 취득했습니다. 앞서 열거된 인가 및 인증 사항을 통해 Snowflake는 특히 공공 부문의 데이터 요구 사항에 대해 최고의 보안 및 개인정보 보호 보장을 제공하기 위해 최선을 다하고 있습니다. 

고객은 새로운 Data Quality Monitoring 기능(PrPr)을 사용하여 조직 전반에 걸쳐 데이터 품질 저하를 효과적으로 모니터링 및 보고하고 즉시 사용 가능한 시스템 지표에 액세스하거나 커스텀 지표를 생성할 수 있습니다. 데이터 품질의 자동 측정 빈도를 정의하고 품질 임계값 초과 시 이메일 알림을 받도록 경고를 설정할 수도 있습니다. 

이와 더불어, Snowflake는 고객에게 객체의 업스트림 및 다운스트림 계보에 대한 조감도를 제공하기 위해 새로운 Data Lineage UI(PrPr)를 공개했습니다. 이를 통해 고객은 업스트림에서 발생한 변경 사항이 다운스트림의 객체에 어떠한 영향을 주는지 쉽게 확인할 수 있습니다. 또한, 관리자는 개인 식별 가능 정보를 포함한 모든 다운스트림 열을 보호하기 위해 태그 및 정책을 전달하는 대량 작업을 수행할 수 있습니다.

Snowflake Horizon은 지속적인 위험 모니터링 및 보호, RBAC, 세분화된 권한 부여 정책을 통해 고객의 환경을 안전하게 보호합니다. Snowflake는 고객이 보안 위험을 더욱 잘 발견할 수 있도록 지원하고, 이러한 문제를 해결하는 권장 사항을 제시하는 Trust Center(PrPr 예정)를 공개했습니다. Trust Center는 중앙 집중화된 한 곳에서 크로스 클라우드 보안 모니터링을 간소화하여 보안 모니터링 비용의 절감을 실현합니다. 이를 통해 결과적으로 낮은 총소유비용(TCO)을 유지함과 동시에 계정 위험도 상승을 방지할 수 있습니다.

Snowflake는 최근 CIS Snowflake Foundations Benchmark의 구현을 위해 인터넷 보안 센터(CIS), 보안 커뮤니티, 그리고 Snowflake 간의 협업의 일환으로 Snowflake Shared Responsibility Model을 발표했습니다. Trust Center는 CIS Snowflake Foundations Benchmark에 제시된 산업 모범 사례를 유지하기 위해 Snowflake와 고객 모두가 Snowflake Shared Responsibility Model에서 각자의 책임을 이행하고 있는지 확인할 수 있도록 돕는 프로그래밍 방식을 제공합니다.

데이터 보안을 강화하기 위해 Snowflake는 다음과 같은 기능을 통해 보안 관리자를 위한 관리 용이성, 문제 해결 및 세분화된 제어를 개선하고 있습니다. 

• Snowflake에 대한 네트워크 제한을 더욱 잘 관리할 수 있도록 S3 스테이지의 네트워크 규칙 및 네트워크 격리를 구성하여 네트워크 보안 강화 실현(PuPr) 
• 인증 개선을 위한 다양한 SAML IDP 지원, 인증 정책 및 식별자 우선 흐름(PuPr 예정)
• 더욱 간편한 액세스 관리를 실현하며 안전하고 유연한 데이터 공유를 강화하는 데이터베이스 역할(GA)

Snowflake Horizon의 개인정보 보호 기능을 통해 고객은 고급 개인정보 보호 정책 및 데이터 클린룸을 사용하여 민감 데이터의 가치를 실현할 수 있습니다. Differential Privacy Policies(개발 중)의 도입을 통해 Dynamic Data Masking, Aggregation(PrPr) 및 Projection Policies(PrPr) 등을 포함한 Snowflake의 데이터 개인정보 보호 제어가 더욱 강화될 것입니다. Differential Privacy Policies는 고객이 기본 데이터 세트의 개별 기록에 대한 결론을 도출하는 데 사용 가능한 정보가 쿼리 출력에 포함되지 않도록 지원합니다. 이를 통해 고객은 다른 팀과 비즈니스 파트너가 PII, 기밀 의료 데이터 및 금융 데이터, 기타 민감 데이터 유형을 분석할 수 있도록 하는 동시에 우발적인 유출 및 특정 목표를 겨냥한 개인정보 보호 공격으로부터 데이터를 보호할 수 있습니다.

Snowflake Horizon을 통해 조직은 다른 Apache Iceberg 호환 카탈로그와 엔진, 선도적인 데이터 카탈로그, 데이터 거버넌스 파트너와의 통합을 실현하여 Snowflake 내외부에서 데이터 생태계를 연결할 수 있습니다. 고객이 Snowflake를 아키텍처에 유연하게 적용할 수 있도록 Snowflake나 AWS Glue와 같은 외부 서비스를 카탈로그로 사용하여 메타데이터를 추적하도록 Iceberg Tables를 구성할 수 있습니다. 이는 Snowflake가 AWS Glue 및 객체 저장소에서 메타데이터를 안전하게 읽을 수 있도록 지원하는 Catalog Integration(PuPr 예정)이라는 새로운 계정 수준 객체를 통해 수행할 수 있습니다. 또한, Snowflake는 오픈 소스 Apache Iceberg 프로젝트에 SDK를 제공했습니다. 이를 통해 Apache Spark 클라이언트는 Snowflake상에서 관리되는 Iceberg Tables를 읽을 때 메타데이터에 액세스할 수 있습니다. Snowflake는 Iceberg Catalog REST API(개발 중)의 개발을 진행 중이기도 합니다.

Snowflake Horizon을 통해 리전과 클라우드 전반에 걸쳐 데이터와 앱 등을 분류, 공유 및 발견하고 즉각적인 조치를 취할 수 있습니다. Snowflake는 Iceberg Tables와 마켓플레이스 목록을 비롯하여, Snowflake 계정 전반에 걸쳐 관련 데이터 및 앱을 신속하게 검색하고 액세스할 수 있는 LLM 기반 검색 도구인 Universal Search를 PrPr로 공개합니다.