Storage Lifecycle Policies(GA)로 스토리지 비용 최적화 및 규정 준수 간소화

오늘날 모든 조직은 동일한 근본적인 과제에 직면해 있습니다. 바로 방대한 양의 데이터 보존 필요성과 증가하는 비용 통제 부담 사이에서 균형을 유지해야 한다는 것입니다. 금융 서비스 회사는 규제 감사에 대비하여 수년간의 모델 출력을 보관해야 할 수 있습니다. 미디어 회사의 경우도 테라바이트에 달하는 로그 데이터가 누적될 수 있습니다. 사용 빈도가 극히 낮아도 보존해야 합니다. 모든 산업 분야에서 보안 팀은 보존이 필수적이면서도 액세스는 거의 이루어지지 않는 로그를 끝없이 생성합니다. 규정 준수, 분석 또는 운영 추적성 등 어떤 이유에서든 결과는 같습니다. 한때 일상적인 운영에 중요했던 데이터는 결국 콜드 데이터가 되지만, 그럼에도 여전히 가치가 크거나 보존이 의무화되어 완전히 삭제할 수는 없는 것입니다.

Snowflake는 복잡함을 단순하게 만드는 데 주력합니다. 이러한 과제를 해결하기 위해, Storage Lifecycle Policies의 정식 출시(GA)를 발표하게 되어 기쁩니다. 이 기능은 데이터 수명 주기를 관리하는 간단하고 자동화된 방법을 제공하여, 사용하지 않는 데이터에 대한 스토리지 비용을 획기적으로 절감(55%~90%)하고 운영 오버헤드를 최소화하여 규정 준수를 간소화합니다.

이 블로그 게시물에서는 Storage Lifecycle Policies를 사용하여 콜드 데이터 보관부터 만료된 기록 삭제에 이르기까지 데이터 수명 주기를 자동으로 관리하는 방법을 살펴보겠습니다. 이를 통해 비용을 절감하고 규정 준수를 유지하며 인프라 대신 혁신에 집중할 수 있습니다.

Storage Lifecycle Policy란?

Storage Lifecycle Policy는 표준 Snowflake 테이블에서 데이터를 자동으로 아카이브하거나 삭제할 수 있도록 해주는 스키마 수준 오브젝트입니다. 이 정책은 행 수준에 적용되어 정의된 타임라인에 따라 아카이브되거나 삭제되는 특정 데이터에 대한 세분화된 제어를 제공합니다. 사용자가 간단한 정책 표현식을 정의하면, Snowflake가 나머지를 처리하여 공유 컴퓨팅 리소스에서 매일 정책을 자동으로 실행합니다.

시작하는 방법은 단 두 단계이며, 누가 이러한 정책을 관리하고 적용하는지를 제어할 수 있도록 새 권한 세트가 제공됩니다.

1. 정책 생성: 아카이브하거나 삭제할 행을 지정합니다.

2. 정책 적용: 하나 이상의 테이블에 정책을 적용합니다.

다음은 간단한 예시입니다.

1단계: 정책 생성

360일 이상된 데이터를 삭제하기 전에 5년 동안 COLD 티어로 아카이브하는 Storage Lifecycle Policy를 생성합니다.

2단계: 정책 적용

정책을 테이블(my_table)에 연결합니다.

주요 이점

"Block 규모에서는, 규정 준수를 위해 페타바이트급 보안 로그를 관리하는 것이 단순한 운영 과제를 넘어 혁신이 필요한 기술적 도전이 됩니다."라고 Block의 책임 플랫폼 보안 담당 엔지니어인 Bryan Cha는 말합니다. “우리는 고객 보안을 유지하면서도 7년 동안의 보존 요구 사항을 충족할 수 있도록 더 효율적인 방법이 필요했습니다. 이 과제를 Snowflake와 공유했을 때, 이들은 더 넓은 기회를 포착했고 Storage Lifecycle Policies를 구축했습니다. 우리는 개발 전반에 걸쳐 협력하여 프로덕션 환경에서 기능을 테스트하고 최종 설계에 도움이 되는 인사이트를 공유했습니다. 그 결과, 보안 태세를 강화하면서 기술 중심 사고 방식으로 인프라 문제에 접근하는 방식의 가능성을 입증하는 솔루션을 경험할 수 있었습니다."

스토리지 비용의 획기적인 절감

Storage Lifecycle Policies를 통해 오래되고 자주 액세스하지 않는 데이터를 더 저렴한 아카이브 티어로 자동 이전하여 비용을 최적화할 수 있습니다. 6개월마다 10% 정도의 주기로 검색을 하는 1년 이상 보존된 데이터의 경우, COOL 티어를 사용하면 스토리지 및 관리 비용을 67%에서 77% 가량 절감할 수 있습니다. COLD 티어 사용 시, 절감 효과는 90%에 달할 수 있습니다.

규제 준수 간소화

데이터 보존 및 삭제를 자동화하여 규정 준수 요구 사항을 손쉽게 해결합니다. 정책을 구성하여 영구 삭제 전에 지정된 기간 동안 데이터를 아카이브하거나, 아카이브 없이 만료 및 삭제하여 조직의 데이터 거버넌스 기준을 준수할 수 있습니다.

운영 복잡성 제거

Snowflake로 데이터 수명 주기 프로세스를 완전히 자동화할 수 있어, 팀 차원에서 복잡한 수동 스크립트를 관리하는 부담을 낮출 수 있습니다. 이로 인해 운영상의 부담을 줄이고 데이터에서 가치를 도출하는 데 집중할 수 있습니다. STORAGE_LIFECYCLE_POLICY_HISTORY 테이블 함수를 사용하면 정책 실행을 쉽게 모니터링하여 완전한 가시성을 유지할 수 있습니다.

온디맨드 아카이브 검색

WHERE 절을 포함한 간단한 명령을 사용하여 아카이브된 데이터의 사본을 새 테이블로 선택적으로 검색할 수 있으며, 이를 통해 아카이브와 동일하게 검색에 대해서도 세분화된 제어 권한을 확보할 수 있습니다.

지금 바로 시작하기

Storage Lifecycle Policies는 이제 모든 고객에게 정식으로 제공(GA)됩니다. 아카이브 티어(COOL 및 COLD)는 모든 AWS 리전에서 사용할 수 있으며, 만료 정책은 모든 리전과 클라우드(AWS, Azure, GCP)에서 지원됩니다. Azure의 아카이브 티어는 현재 미리 보기로 제공됩니다. 오늘 바로 데이터 관리를 단순화하고 스토리지 비용을 절감하며 규정 준수 목표 달성을 향해 나아가 보세요. 더 자세한 내용은 Snowflake 설명서에서 확인할 수 있습니다.