참고: 이 내용은 2022. 1. 27에 게시된 컨텐츠(Snowpark Is Now Generally Available)에서 번역되었습니다.

AWS의 Scala 및 Java UDF용 Snowpark API의 GA 출시를 오늘 기쁜 마음으로 알려 드립니다. Snowpark는 Snowflake를 위한 개발자 프레임워크입니다. 이는 심층적이고 언어가 통합된 데이터 프로그래밍 기능을 사용자가 원하는 언어로 제공합니다.

근본적으로 Snowpark는 확장성에 대한 것입니다. 데이터 엔지니어, 데이터 과학자 및 기타 개발자가 Scala, Python(비공개 미리 보기에서 제공) 및 Java와 같은 언어를 포함한 자신이 선택한 프로그래밍 언어와 도구로 DataFrames와 같은 익숙한 프로그래밍 구성으로 더 효율적이고 효과적으로 데이터를 다룰 수 있도록 설계되었습니다. 또한 데이터가 보관되는 Snowflake의 확장 가능하고 안전한 컴퓨팅 엔진으로 바로 이동할 수 있도록 구축되었습니다.

당사의 목표는 비효율적인 데이터 파이프라인을 제거하고 회사가 모든 직원이 이해하고 있는 (데이터에 대한) 내용이 같도록 이용하고 있을 수도 있는 프로세스와 작업을 최적화하는 것입니다. 궁극적으로 Snowpark를 통해 다양한 능력을 갖춘 팀이 동일한 데이터에 대해 협업 및 작업하고, 데이터를 더 빠르고 쉽게 처리하고, 데이터 보안 및 거버넌스를 최우선으로 취급할 수 있도록 합니다. 또한 데이터 액세스와 조작을 더 많은 개발자, 데이터 엔지니어 및 데이터 과학자 커뮤니티에 공개합니다.

2021년 6월에 Snowpark를 선공개한 이후로 많은 수의 Snowflake 고객 및 파트너가 다수의 중요한 작업을 위한 솔루션을 구축하기 위해 이를 사용해 왔습니다. 예를 들어 일부 고객은 PII 감지를 위해 Snowpark를 활용하고 있습니다. 다른 고객은 로드하거나 그래프 탐색을 수행하는 동안 데이터 형식을 변환하고 있습니다. 많은 회사가 더 쉬운 운영을 위해 Snowpark를 사용하여 머신 러닝 모델을 Snowflake로 불러오고 있습니다. 또한 당사의 파트너는 Snowpark Accelerated 프로그램을 통해 이를 빠르게 사용하기 시작했습니다.

이번 GA는 시작에 불과합니다. Snowflake에서 먼저 공개 미리 보기 기간 동안 얼리어답터를 초대하여 Snowpark에서 작업하도록 한 이후로 당사는 지원을 늘리고 있습니다. Java UDTF 및 Google과 Microsoft의 클라우드에 대한 지원을 당사의 공개 미리 보기에 추가했습니다. 또한 제한 미리 보기에는 저장 프로시저, 로깅 지원 및 비정형 파일 처리에 대한 지원을 포함하여 곧 공개할 예정인 많은 기능이 있습니다. 추가적으로 파이프에 Python도 있습니다(현재 비공개 미리 보기에서 제공).

“IQVIA는 인텔리전스 기반 결정을 내릴 수 있도록 데이터와 서비스를 연결하여 의료 및 생명 과학 업계를 지원합니다. Snowflake의 확장성과 보안은 당사의 요구 사항을 모두 충족하며 Snowpark의 DataFrame API와 사용자 지정 Java 코드에 대한 지원은 데이터 변환에 매우 유용합니다.”라고 IQVIA의 IT 설계자 이사 Mohit Sauhta가 말했습니다. “Snowpark는 우리의 데이터 엔지니어링 파이프라인을 현대화하고 통합할 수 있도록 합니다. 또한 Spark로부터 쉬운 변환을 통해 당사의 아키텍처를 단순화하고 기본 플랫폼이 변화함에도 불구하고 당사의 데이터 엔지니어링 팀이 계속해서 선호하는 개발 인터페이스인 DataFrame API로 느긋한 계산법을 사용하여 작업할 수 있도록 합니다.”

“모두에게 이득인 상황입니다. 프로세스 관리를 더 쉽고 저렴하게 만들어 주는 동시에 당사의 고객을 위해 통찰력을 도출하는 시간을 줄여줍니다.”라고 그가 말했습니다. “이러한 기능이 GA에도 도입되어서 매우 기쁩니다. 추후에도 Snowpark를 이용한 더 많은 사용 사례를 기대하고 있습니다.”

이제 공식적으로 데이터 클라우드에서 이용 가능한 Snowpark에 오신 것을 환영합니다.