Snowflake BUILD에서는 엔터프라이즈 데이터에 생성형 AI 애플리케이션 구축 및 배포를 가속화하는 동시에 신뢰와 보안을 보장하는 데 도움이 되는 강력한 새로운 기능을 소개하고 있습니다. 이러한 새로운 도구는 워크플로우를 간소화하고, 대량의 인사이트를 제공하며, AI 앱을 빠르게 프로덕션에 적용할 수 있습니다. Skai와 같은 고객은 이러한 기능을 사용하여 생성형 AI 솔루션을 몇 개월이 아닌 단 2일 만에 프로덕션에 진입했습니다. 

Snowflake Cortex AI와 Snowflake ML이 가장 중요한 생성형 AI 애플리케이션을 위한 신뢰할 수 있는 AI 솔루션 제공을 가속화하는 방법은 다음과 같습니다.

• 데이터 파이프라인을 위한 자연어 처리(NLP): 대규모 언어 모델(LLM)은 혁신적인 잠재력을 가지고 있지만, 파이프라인에 추론 통합을 배치하는 경우가 많아 번거로울 수 있습니다. 이제 개발자는 간단한 쿼리를 통해 수백만 개의 기록에 걸쳐 고객 의견을 추론하거나 분류하여 효율성을 개선하고 시간을 절약할 수 있습니다. 예를 들어, TS Imagine는 Snowflake Cortex AI를 통해 생성형 AI를 대규모로 구현하여 30%의 비용을 절감하고 이전에 수작업에 소비한 시간을 4,000시간 절약했습니다. 

• 대화형 앱: 현재 사용자 질문에 대한 신뢰할 수 있고 매력적인 응답을 구축하는 것이 더 간단해졌으며 이로 인해 셀프서비스 분석 및 챗봇을 통한 문서 검색과 같은 강력한 사용 사례의 문이 열렸습니다.

• GPU 기반 모델 개발 및 배포: GPU 또는 CPU를 기반으로 원하는 Python 패키지를 사용하여 컨테이너에서 추론을 수행할 수 있는 강력한 고급 ML 모델을 구축하며, 이는 모두 관리형 데이터와 동일한 플랫폼 내에서 이루어집니다. Avios, CHG Healthcare 및 Keysight Technologies와 같은 고객들은 이미 Snowflake ML에서 컨테이너 기반 모델을 개발하고 있습니다.

비용 효율적 LLM 배치 추론으로 NLP 파이프라인 성능 최적화 

빠르게 진화하는 기술 덕분에 모델은 다양한 크기, 컨텍스트 윈도우 및 기능으로 제공되므로 특정 사용 사례에 적합한 모델을 선택하는 것이 필수적입니다. 예를 들어, 여러 언어로 작성된 문서가 있는 경우, 강력한 다국어 기능을 갖춘 LLM이 핵심적입니다. 하지만 분류와 같은 간단한 NLP 태스크를 대상으로 하려면 고급 모델은 너무 과도하고, 오히려 작은 LLM이 더 효과적일 수 있습니다. Cortex LLM 함수는 번역, 요약, 분류와 같은 특정 사용 사례에 최적화된 모델을 제공합니다. 이러한 확장 가능한 모델은 수백만 개의 레코드를 처리할 수 있어 효율적으로 고성능의 NLP 데이터 파이프라인을 구축할 수 있습니다. 하지만 LLM 데이터 처리 규모 조정을 수백만 개의 레코드로 조정하면 Snowflake Cortex의 사용자 친화적인 SQL 함수가 데이터 전송 및 오케스트레이션 문제를 쉽게 해결할 수 있습니다.

광범위한 모델 옵션으로 성능 및 비용 최적화

Cortex AI는 LLM 함수 또는 REST API를 통해 산업 최고의 모델에 쉽게 액세스할 수 있도록 지원하므로 생성형 AI 혁신 주도에 집중할 수 있습니다. Snowflake는 다양한 크기, 컨텍스트 윈도우 길이 및 언어 지원 모델을 다양하게 선택합니다. 최근 추가된 모델에는 Voyage의 멀티언어 임베딩 모델, Meta의 Llama 3.1 및 3.2 모델, AI21의 Jamba-Instruct 모델이 포함됩니다.

Cortex Playground(PuPr 예정)를 사용하면 Snowsight에서 모델을 직접 사용해 볼 수 있습니다. 이 노코드 인터페이스를 사용하면 모델을 빠르게 실험하고, 비교하고, 평가할 수 있습니다. 

모델 사용자 설정 기법을 사용하면 특정 사용 사례에 맞게 모델을 최적화할 수 있습니다. Snowflake는 서버리스 파인 튜닝(GA 예정)을 도입하여 개발자가 모델을 미세 조정하여 비용 대비 성능 이점을 높일 수 있도록 지원합니다. 이 완전 관리형 서비스를 통해 개발자는 교육 및 추론을 위한 자체 인프라를 구축하거나 관리할 필요가 없습니다. 

COMPLETE 함수에서 멀티 모달 지원 얻기

멀티 모달 지원으로 AI 앱 파이프라인을 강화하여 보다 풍부한 응답을 제공합니다. 새로운 생성형 AI 기능을 통해 개발자는 이제 애플리케이션에서 가장 관련성 높은 정보를 사용하여 멀티모달 데이터를 프로세스할 수 있습니다. Snowflake Cortex AI에서 제공되는 Llama 3.2 모델을 사용하여 이미지 입력에 대한 Cortex COMPLETE 함수의 일환으로 멀티 모달 LLM 추론(PrPr 예정)을 활성화하고 있습니다. 오디오, 동영상 및 이미지 임베딩에 대한 지원이 곧 출시됩니다. 멀티 모달 지원이 확장함으로써 다양한 미디어 유형에 걸쳐 요약, 분류, 엔티티 추출 등의 다양한 태스크에 대한 응답을 강화할 수 있습니다. 

익숙한 SQL 구문으로 멀티 모달 분석 제공

데이터베이스 쿼리는 조직 전반에서 인사이트를 실행하고 사용자를 위한 데이터 중심 경험을 지원하는 근본적인 힘입니다. 전통적으로 SQL은 테이블로 정교하게 정리된 정형 데이터에만 국한되었습니다. Snowflake는 데이터 팀이 이미지와 같은 비정형 데이터에 대해 분석 워크플로우를 실행할 수 있도록 지원하는 새로운 멀티 모달 SQL 함수를 도입할 예정입니다(PrPr 예정). 이러한 함수를 사용하여 팀은 익숙한 SQL 구문을 사용하여 비정형 데이터 세트에 걸쳐 시맨틱 필터 및 조인과 같은 태스크를 실행할 수 있습니다. 

프로비저닝된 처리량으로 대형 추론 작업을 자신 있게 프로세스

개발자가 개념 증명 단계 이상으로 나아갈 때, 일관된 최종 사용자 경험이 제한 요인으로 작용하는 경우가 많습니다. 고객은 Provisional Throughput(AWS에서 PuPr 예정)을 통해 전용 처리량을 예약하여 워크로드에 대한 일관되고 예측 가능한 성능을 보장할 수 있습니다. 또한 리전 간 추론을 시작하여 기본 리전에서 제공되지 않아도 선호하는 LLM에 액세스할 수 있습니다.

고품질의 대화형 AI 앱을 더 빠르게 개발 

Snowflake는 이제 대화형 AI 애플리케이션의 개발과 배포를 간소화하는 새로운 도구를 제공합니다.

RAG용 고급 문서 전처리

올해 초 Snowflake는 고객이 비정형 데이터에서 인사이트를 얻고 방대한 문서 컬렉션을 복잡한 코딩 없이 AI를 사용할 수 있는 리소스로 전환하는 것을 돕기 위해 Cortex Search를 출시했습니다. 이 완전 관리형 검색 솔루션을 통해 개발자는 Snowflake의 안전한 환경 내에서 비정형 데이터 인사이트를 추출하는 확장 가능한 AI 앱을 구축할 수 있습니다. 이 기능은 짧은 SQL 함수를 통해 전처리를 간소화하여 문서를 검색에 최적화하는 레이아웃 인식 텍스트 추출 및 청크 함수와 결합될 때 특히 강력합니다.

이제 새로운 SQL 전처리 함수 2개를 통해 더 빠르게 문서를 AI에 구현할 수 있습니다. Snowflake는 검색 증강 생성(RAG) 애플리케이션에서 사용될 수 있도록 blob 스토리지(e.g., Amazon S3)에서 텍스트 표현으로 문서를 처리하기 위한 간소화된 솔루션을 도입하고 있습니다. SQL 사용자는 이제 복잡한 문서 처리 파이프라인을 PARSE_DOCUMENT(Pupr) 및 SPLIT_TEXT_RECURSIVE_CHARACTER(PrPr)와 같은 Cortex AI의 간단한 SQL 함수로 대체할 수 있습니다. 구문 분석 함수가 문서에서 텍스트 및 레이아웃을 추출합니다. 개발자는 가공 전 데이터를 원래 스토리지 위치로 이동할 필요가 없습니다. 텍스트 분할 함수는 추출한 텍스트를 인덱싱 및 검색에 보다 최적화된 세그먼트로 분할하는 작업을 수행합니다. 자세히 알아보기

Cortex Analyst의 대화형 분석 개선 사항

Cortex Analyst를 사용하면 자연어로 정확한 셀프서비스 분석의 범위를 확장할 수 있습니다. Snowflake Cortex Analyst 는 완전 관리형 서비스로 계속 발전하고 있으며, 사용자가 Snowflake에서 정형 데이터와 원활하게 상호 작용할 수 있도록 대화형 셀프서비스 분석을 제공합니다. 최근 업데이트는 높은 품질을 유지하면서 Star 및 Snowflake 스키마(PuPr)에 대한 SQL Join 지원을 포함하여 사용자 경험과 분석 깊이를 개선함으로써 더 복잡한 데이터 탐색과 풍부한 인사이트를 제공합니다. 또한, 멀티턴 대화(PuPr)를 통해 사용자는 더욱 원활한 상호 작용을 위해 후속 질문을 할 수 있습니다. Cortex Search와의 통합(PuPr)은 복잡하고 카디널리티가 높은 데이터 필드에 대한 정확한 또는 유사한 문자 값을 동적으로 검색함으로써, 생성된 SQL 쿼리의 정확도를 향상시킵니다. 또한, API 수준 역할 기반 액세스 제어는 보안 및 거버넌스를 강화합니다. 

이러한 업데이트를 통해 엔터프라이즈는 데이터에서 정확하고 시기적절한 인사이트를 안전하게 도출하여 데이터 중심 의사 결정에 드는 전반적인 비용을 줄일 수 있습니다. 이 새로운 기능과 관련된 업데이트에 대해 자세히 알아보려면 Cortex Analyst 블로그 게시물을 확인하세요.

LLM 앱을 위한 고급 오케스트레이션 및 관측성 도구

Snowflake에서 인터랙티브 애플리케이션 구축을 간소화하는 Cortex Chat API(PuPr 예정)를 통해 채팅 애플리케이션에서 수동 통합 및 오케스트레이션을 줄일 수 있습니다. 검색 생성을 단일 API 호출로 통합하면 정형 데이터와 비정형 데이터 모두와 대화할 수 있는 에이전시 채팅 앱을 구축할 수 있습니다. 최적화된 프롬프트는 할루시네이션을 줄이고 신뢰를 높이는 인용과 함께 고품질의 응답을 가능하게 합니다. 통합된 단일 엔드포인트는 애플리케이션 아키텍처를 단순화합니다. 

새롭게 통합된 AI Observability for LLM Apps(PrPr)을 통해 내장형 평가 및 모니터링으로 AI 앱의 신뢰성을 높입니다. 이 관측성 제품군은 LLM 애플리케이션에 대한 평가와 신뢰를 높이고 고객의 AI 규정 준수 노력을 지원하는 데 필수적인 도구를 제공합니다. 앱 개발자는 이러한 관측성 기능을 통해 관련성, 근거성, 편향성 같은 품질 지표 개발 프로세스 전반에서 지연 시간 등 기존의 성능 지표도 함께 평가할 수 있습니다. 또한, 이를 통해 애플리케이션 로그를 철저하게 모니터링할 수 있어 조직은 AI 애플리케이션을 계속 주시할 수 있습니다. 

AI 개발자는 이제 앱 성능 지표를 원활하게 추적하고 평가하여 특정 사용 사례에 최적화된 모델, 프롬프트 및 검색 서비스를 선택할 수 있습니다. 또한 개발자는 Snowflake 내의 앱 또는 외부 앱에 대한 사전 구축 모니터링을, Snowflake가 TruEra 인수의 일환으로 감독하는 TruLens 오픈 소스 라이브러리를 사용하여 관리할 수 있습니다.

새로운 데이터 소스 통합

새로운 데이터 소스 통합을 통해 AI를 더 많은 데이터 적용하세요. Snowflake Connector for SharePoint (PuPr)를 통해 데이터 팀은 기존 액세스 정책을 준수하면서 파이프라인을 수동으로 설정하거나 데이터를 전처리할 필요 없이 Snowflake의 SharePoint 데이터 위에서 AI 애플리케이션을 구축할 수 있습니다. 

또한 이제 Snowflake 마켓플레이스의 Cortex Knowledge Extensions(PrPr)를 통해 챗봇 기능을 향상시킬 수 있습니다. 이러한 확장 기능을 통해 데이터 팀은 연구 또는 신문 출판물과 같은 서드 파티 공급자의 최신 독점 콘텐츠로 엔터프라이즈 AI 챗봇을 보강할 수 있습니다. 이를 통해 퍼블리셔 및 콘텐츠 공급자는 LLM 교육과 같은 지식재산권의 무단 사용으로부터 보호하면서 새로운 수익원 창출할 수 있습니다. 그리고 소비자를 위해서는 품질이나 상업적 규정 준수에 대한 우려 없이 무료로 고품질 AI 응답에 대한 더 빠른 액세스를 제공합니다.

GPU를 통해 신뢰할 수 있는 ML 인사이트 신속하게 확보

조직이 다양한 형식으로 더 많은 데이터를 수집하고 모델링 기법이 점점 더 정교해짐에 따라 데이터 사이언티스트와 ML 엔지니어의 업무는 점점 더 복잡해지고 있습니다. Snowflake ML은 데이터 사이언스 및 ML 팀이 데이터를 제어하고 관리하는 데 사용하는 동일한 플랫폼에서 기능과 모델을 프로토타입에서 프로덕션으로 신속하게 전환하는 데 필요한 기본 구성 요소를 제공합니다. CHG Healthcare, Stride, IGS Energy 및 Cooke Aquaculture와 같은 조직은 Snowflake에서 엔드투엔드의 정교한 ML 모델을 직접 구축하고 있습니다. Snowflake는 최근 권고 시스템, 컴퓨터 비전, 사용자 지정 임베딩, 결정 트리 모델과 같은 고급 사용 사례를 위한 분산 GPU를 갖춘 ML 모델 개발 및 서비스를 위한 새로운 혁신을 발표했습니다. 

GPU 기반 Notebook으로 ML 개발 가속화

GPU는 모델 훈련 같은 리소스 집약적인 ML 태스크를 가속화하는 강력한 컴퓨팅을 제공합니다. 이렇게 가속화된 컴퓨팅은 특히 대형 데이터 세트로 작업하거나 PyTorch 같은 고급 딥러닝 프레임워크를 사용할 때 팀이 모델을 반복하고 배포하는 속도를 크게 개선합니다. 대량의 데이터를 이동할 필요 없이 리소스 집약적인 워크플로우를 지원하기 위해 Snowflake ML은 이제 사용 가능한 코드 또는 라이브러리에 대한 제한 없이Snowflake Notebook(GA)을 통해 액세스할 수 있는 Container Runtime(AWS에서 PuPr, Azure에서 PuPr 예정)을 지원합니다. 이는 Python, SQL 및 Markdown을 결합하는 통합 셀 기반 인터랙티브 개발 표면입니다. 

내부 테스트를 통해 Container Runtime의 Snowflake ML API는 런타임 외부의 오픈 소스 라이브러리를 사용하여 Snowflake 데이터로 동일한 워크로드를 실행하는 것에 비해 실행 속도가 3~7배 향상된 GPU에서 ML 훈련 작업을 효율적으로 실행할 수 있음을 확인했습니다. 이 완전 관리형 컨테이너 기반 런타임은 가장 인기 있는 Python 라이브러리 및 프레임워크와 함께 사전 구성되어 있으며 PyPI 및 Hugging Face와 같은 오픈 소스 허브에서 확장할 수 있는 유연성을 제공합니다.

GPU를 사용한 컨테이너에서의 추론 규모 확장

개발 후 Snowpark Container Service(Azure 및 AWS에서 GA로 제공)에서 분산 CPU 또는 GPU를 사용하여 모든 ML, LLM 또는 임베딩 모델에 대한 Snowflake Model Registry에서 프로덕션을 위한 모델을 제공할 수 있습니다. Model Serving in Container (AWS에서 PuPr)를 사용하면 리소스 활용을 위해 수동으로 최적화할 필요 없이 온디맨드 GPU 인스턴스를 사용하여 더 빠르고 강력한 추론을 수행할 수 있습니다.

내장형 모니터링으로 모델 저하를 신속하게 감지

프로덕션에서 추론을 진행하는 ML 모델을 유지하기 위해 Snowflake의 확장된 네이티브 방식으로 통합된 머신러닝 운영(MLOps) 기능 세트를 사용할 수 있으며 여기에는 Observability for ML Model(PuPr)이 포함됩니다. 팀은 이제 Snowflake Model Registry에 연결된 내장형 대시보드에서 빠르게 추적하고 경고를 설정하고 저하, 드리프트 및 기타 모델 지표를 바로 해결할 수 있습니다. 또한 플랫폼에 내장된 ML Explainability(PuPr)를 사용하면 내부 또는 외부에서 훈련되든 상관없이 Snowflake Model Registry에 기록된 모델의 Shapley 값을 손쉽게 컴퓨팅할 수 있습니다. 

이러한 새로운 ML 모니터링 기능은 Model Regstry, ML Lineage(PuPr) 및 Feature Store(GA)를 포함하여 Snowflake ML에서 사용할 수 있는 MLOps 기능 세트에 통합됩니다.  

Snowflake Intelligence의 AI 에이전트를 통해 엔터프라이즈 데이터 모든 이점 활용

Snowflake Intelligence(PrPr 예정)는 비즈니스 사용자가 단일 통합 대화형 인터페이스에서 정형 및 비정형 데이터 분석, 요약 및 조치를 취할 수 있도록 지원하는 데이터 에이전트를 구축하는 플랫폼입니다. Snowflake Intelligence를 사용하면 사용자가 영업 트랜잭션, SharePoint와 같은 지식베이스의 문서, Jira 및 Google Workspace와 같은 생산성 도구와 원활하게 엔터프라이즈 데이터와 연결할 수 있으므로 비즈니스 사용자는 기술이나 코딩 지식 없이도 데이터 중심 인사이트를 생성하고 자연어 모든 조치를 취할 수 있습니다.

자세히 알아보기

개발자는 최신 Cortex AI 및 Snowflake ML의 개선 사항을 통해 Snowflake의 안전한 환경 내에서 생성형 AI 앱을 자신 있게 프로덕션화할 수 있습니다.

다음 리소스를 사용하여 지금 바로 AI 앱과 사용자 지정 모델을 구축하세요.

• 데이터 파이프라인을 위한 NLP 솔루션: Snowflake Cortex를 사용하여 고객 리뷰 분석을 위해 Quickstart를 사용해 보세요.

• 대화형 앱: Quickstart를 사용하여 RAG 기반 챗봇을 구축하거나, RAG ‘n’ Roll Hackathon에 참여하여 10,000 달러의 상금에 도전해보세요. 

• GPU 기반 ML: GPU로 XGBoost 모델을 학습하거나 Snowflake Notebook에서사용자 정의 임베딩을 확장하세요.

참고: 이 페이지에는 당사의 향후 제품 제공에 대한 미래 전망 진술이 포함되어 있으며, 이는 제품 제공에 대한 보장이 아닙니다. 실제 결과 및 제공 내용은 다를 수 있으며, 알려지거나 알려지지 않은 위험 및 불확실성의 영향을 받을 수 있습니다. 자세한 내용은 최신 10-Q를 참조하세요.