생성형 AI는 혁신을 주도하고 생산성을 개선하며 데이터로부터 더 많은 가치를 창출할 수 있는 새로운 방법을 제시하고 있습니다. 조직이 이러한 잠재력을 최대한 끌어내려면 AI 전문 지식을 갖춘 사람뿐만 아니라 모든 사용자가 생성형 AI를 활용할 수 있어야 합니다. 이에 Snowflake는 조직이 Snowflake 내에서 신속하게 데이터를 분석하고 AI 애플리케이션을 구축할 수 있도록 지원하는 완전 관리형 방식의 새로운 지능형 서비스인 Snowflake Cortex(PrPr)를 개발했습니다. 이제 사용자는 Snowflake Cortex를 통해 기술 역량과 관계없이 업계 최고의 AI 모델, LLM, 벡터 검색 기능은 물론 LLM 기반 경험 전반에 액세스할 수 있습니다. 또한, 이러한 혁신은 모든 Snowflake 사용자가 전문 지식과 관계없이 생성형 AI의 성능을 안전하게 활용하고 엔터프라이즈 데이터에서 동적 인사이트를 얻을 수 있도록 지원합니다.

Snowflake 사용자는 Snowflake Cortex를 통해 일상적인 분석 및 AI 앱 개발을 손쉽게 가속화하는 서버리스 함수 세트에 액세스할 수 있습니다. 분석가는 단 한 줄의 SQL 또는 Python 코드만으로 특정 작업에 맞게 조정된 특수 ML 및 LLM 모델에 즉시 액세스할 수 있습니다. 또한, 프롬프트 엔지니어링 및 문맥 내 학습을 위해 보다 범용적인 모델을 활용할 수도 있습니다. 이러한 모델은 Snowflake Cortex를 통해 완전히 호스팅되고 관리되기 때문에 사용자는 고비용의 GPU 인프라를 가동하고 관리할 필요 없이 언제든 액세스할 수 있습니다. Snowflake의 통합 거버넌스 프레임워크를 활용하여 데이터에 대한 액세스를 원활하게 보호하고 관리할 수도 있습니다. 이러한 기능에는 다음 내용이 포함됩니다. 

비정형 데이터 작업에 적합하며 비용 효율적인 LLM 기반 모델:

• Answer Extraction(PrPr): 비정형 데이터에서 정보를 추출합니다.
• Sentiment Detection(PrPr): 테이블 전체의 텍스트에 내재한 감정을 감지합니다.
• Text Summarization(PrPr): 보다 빠른 소비를 위해 긴 문서를 요약합니다.
• Translation(PrPr): 텍스트를 대규모로 번역합니다. 

ML 기반 모델:

• Forecasting(GA 예정): 과거 시계열 데이터를 학습하고 계절성, 스케일링 등을 자동으로 처리하여 시계열을 미래로 추정합니다.
• Anomaly Detection(GA 예정): 데이터 파이프라인 모니터링 등을 위해 시계열 데이터에서 이상값을 식별합니다.
• Contribution Explorer(PuPr): 사용자가 정의한 두 개의 서로 다른 시간 간격에 걸쳐 특정 지표의 변경에 영향을 미치는 차원을 신속하게 식별합니다.
• Classification(PrPr 예정): 데이터를 미리 정의된 클래스 또는 레이블로 분류하여 데이터 패턴을 기반으로 더 나은 추천을 제공할 수 있습니다.

보다 범용적인 사용 사례에 활용할 수 있는 최신 모델:

• Complete(PrPr): 주어진 프롬프트에 대해 함수는 Llama 2와 같은 최신 오픈 소스 LLM을 사용하여 텍스트 완성 응답을 반환합니다. 여기에서 데모를 확인해 보세요.
• Text2SQL(PrPr 예정): 고객이 자체 애플리케이션을 구축할 수 있도록 Snowflake Copilot 경험을 지원하는 동일한 Snowflake LLM을 통해 자연어를 SQL로 변환합니다.

이러한 기능은 즉시 사용 가능하며, 분석뿐만 아니라 Snowflake상의 앱 개발에도 사용할 수 있습니다. 예를 들어, Streamlit을 활용하여 단 몇 줄의 코드만으로 이를 챗봇에 통합할 수 있습니다. 즉, Python 지식이 있는 사용자라면 누구나 며칠 또는 몇 주가 아닌 몇 분 또는 몇 시간 만에 강력한 LLM 앱을 안전하게 구축할 수 있습니다. 

Snowflake Cortex는 Snowflake 플랫폼에 강력한 AI 및 시맨틱 검색 기능을 제공합니다. Snowflake는 Snowflake Cortex의 뛰어난 성능을 활용하여 Snowflake 사용자 경험을 개선하기 위해 몇 가지 기능을 도입했습니다. 이에는 Snowflake Cortex를 통해 완전히 호스팅 및 관리되는 사전 구축 사용자 인터페이스, 고성능 LLM, 검색 기능이 포함되며, 다양한 조직의 비즈니스 팀과 분석가에게 적합합니다.

Snowflake Copilot(PrPr)은 자연어로 SQL을 생성하고 구체화하는 LLM 기반 어시스턴트입니다. 분석가가 Snowflake Copilot에 질문하면, Snowflake Copilot은 관련 테이블을 사용하여 SQL 쿼리를 작성합니다. 사용자는 대화를 통해 쿼리를 구체화하여 작업과 가장 관련성이 높은 인사이트만 필터링할 수도 있습니다. 별도의 설정은 필요하지 않습니다. 이 텍스트 코드 변환 기능은 Snowflake Cortex와 함께 범용 함수인 Text2SQL을 통해 프로그래밍 방식으로 곧 제공될 예정입니다. 

Universal Search(PrPr)는 데이터와 앱을 신속하게 검색하고 이에 액세스할 수 있도록 지원하는 LLM 기반 검색 기능입니다. Neeva에서 인수한 검색 엔진 기술을 기반으로 구축한 Universal Search는 Snowflake 계정 내에서 데이터베이스 객체를 찾고 Snowflake 마켓플레이스에서 데이터 제품과 Snowflake Native Apps를 찾는 데 도움이 됩니다. 초기 릴리스에서는 테이블, 뷰, 데이터베이스, 스키마, 마켓플레이스 데이터 제품, Snowflake 설명서 문서를 확인할 수 있습니다. 또한, Snowflake Copilot은 Universal Search를 백그라운드에서 활용하여 SQL 생성에 필요한 관련 테이블과 열을 식별합니다.  

Document AI(PrPr)는 데이터 추출 사용 사례를 위한 LLM 기반 환경입니다.  고객은 사전 훈련된 모델과 직관적인 인터페이스를 사용하여 모든 파일(pdf, word, txt, 스크린샷 등)을 처리하고 질문에 대한 답을 얻을 수 있습니다. 이를 파이프라인으로 확장하면 추출 문제를 해결하고 수작업과 시간 모두에서 리소스를 절약할 수 있습니다. 6월 Summit에서 발표된 이 기능은 현재 PrPr로 제공 중입니다. Document AI의 작동 방식은 YouTube에서 확인할 수 있습니다. 

Snowflake Cortex는 모든 Snowflake 사용자가 엔터프라이즈 데이터에서 더 많은 가치를 신속하고 안전하게 얻을 수 있도록 직관적인 경험과 서버리스 함수를 통해 업계 최고의 ML 및 LLM 모델을 제공합니다. AI에 대한 전문 지식이나 복잡한 인프라의 관리는 필요하지 않습니다. 또한, Snowflake Cortex는 데이터 클라우드에서 몇 분 만에 사용자 정의 AI 앱을 구축할 수 있는 기본 구성 요소를 제공합니다. Snowflake Cortex를 통한 구축 방법에 대한 자세한 내용은 ‘Snowflake Cortex로 실현하는 신속하고 간편하며 안전한 LLM 앱 개발’에서 확인할 수 있습니다. PrPr 기능에 대한 액세스 권한을 요청하려면 Snowflake의 담당 계정 팀에 문의하시길 바랍니다. 

참고: 이 내용은 2023.11. 01에 게시된 컨텐츠(Use AI in Seconds with Snowflake Cortex)에서 번역되었습니다.