Snowflake, ‘dbt Projects on Snowflake’ 정식 출시(GA) 발표

데이터 변환은 모든 효과적인 데이터 전략의 핵심 구성 요소로, 견고한 데이터 파이프라인을 구축하는 데 필수적입니다. 수년 동안 데이터 팀은 dbt(Data Build Tool)를 통해 모듈화, 버전 관리, 테스트 등 소프트웨어 엔지니어링의 모범 사례를 SQL과 Snowpark 변환 워크플로우에 적용해 왔습니다.

하지만 그 과정이 항상 원활하지는 않았습니다. 데이터 팀과 플랫폼 운영자는 다음과 같은 공통적인 어려움에 직면하곤 했습니다.

• 인프라 오버헤드: Snowflake와 함께 Airflow와 같은 외부 오케스트레이터를 위한 컴퓨팅 리소스를 관리해야 할 경우, 유지 관리가 복잡해지고 시스템 간 신뢰도가 떨어질 수 있습니다.
• 디버깅의 어려움: 로그와 성능 데이터가 오케스트레이터와 쿼리 로그에 분산되어 있어 근본 원인과 병목 현상을 찾기 어렵습니다.
• 거버넌스의 공백: 새로운 팀이 파이프라인을 구축하고 배포하는 것이 어려운데, 이는 특히 학습 곡선이 가파르고 일관된 보안 확보가 어려울 때 더욱 그렇습니다.
• CI/CD 설정: 데이터 변환 코드를 위해 강력하고 자동화된 지속적 통합 및 지속적 전달(CI/CD)을 설정하려면 품질과 신속한 배포를 보장하는 데 상당한 전문 개발 노력이 필요합니다. 

이제 dbt의 강력한 기능이 Snowflake에서 네이티브로 제공됩니다. dbt Projects on Snowflake를 통해 데이터 팀은 Snowflake 내에서 직접 dbt 프로젝트를 구축하고, 실행하며, 모니터링할 수 있습니다. Snowflake의 새로운 차세대 SQL 작성 환경인 Workspaces 편집기를 통해 팀은 프로젝트를 편집하고 디버깅할 수 있습니다. 또한, Snowflake의 dbt 프로젝트는 GitHub Actions와 같은 CI/CD 도구를 통해 dbt 프로젝트의 배포와 테스트를 관리할 수 있도록 Snowflake CLI와 완전한 기능적 동등성(full parity)을 제공합니다. 이러한 네이티브 기능은 컨텍스트 전환을 줄이고 설정을 단순화하며, 전체 데이터 파이프라인 개발 주기를 가속화합니다.

dbt Projects on Snowflake는 팀이 모듈화되고 확장 가능한 데이터 제품을 공동으로 구축하여 다운스트림 분석, AI 및 애플리케이션을 구현할 수 있도록 지원합니다. 이 기능을 미리 체험한 고객들은 단 하루 만에 변환 파이프라인을 구축(+34%)하고 문제를 해결(+11%)하는 역량에 대해 긍정적인 응답을 보였습니다.¹

^{1 2025년 4월부터 6월까지, 17명의 신규 사용자들을 대상으로 dbt Projects on Snowflake 사용 이전과 이후의 구축 및 문제 해결 속도의 향상을 측정하기 위한 설문을 진행했습니다.}