Snowflake、信頼性の高いAIを本番環境対応の機能を拡張

November 28, 2024

※本報道資料は米国スノーフレイク社が11月12日に発表した内容の抄訳です。

  • 企業はより多くのデータソースとネイティブエージェントベースのオーケストレーションにより、マルチモーダルチャットアプリの開発をさらに加速 
  • データチームは、モデルの選択肢を増やし、サーバーレスLLMのファインチューニングを行い、スループットをプロビジョニングすることで、よりコストパフォーマンスの高い自然言語処理パイプラインを構築 
  • Snowflake MLがコンテナランタイムをサポートし、Snowflake Notebookから分散GPU上で大規模なMLトレーニングおよび推論ジョブを効率的に実行

AIデータクラウド企業のSnowflake(ニューヨーク証券取引所:SNOW)は本日、開発者向け年次カンファレンス「BUILD 2024」において、企業がデータを活用し、簡単で効率的かつ信頼性の高いAIを本番環境に導入するための道のりを加速する新たな発展を発表しました。Snowflakeの最新イノベーションにより、開発者は、構造化データおよび非構造化データ用の会話アプリを高精度で簡単に構築し、自然言語処理(NLP)パイプライン用の大規模言語モデル(LLM)推論をバッチで効率的に実行し、GPU搭載コンテナでカスタムモデルをトレーニングすることができます。これらすべてにガバナンス、アクセス制御、可観測性、安全なガードレールを組み込んでおり、AIのセキュリティと信頼性を最優先に保つことができます。

SnowflakeのAI部門責任者、Baris Gultekinは次のように述べています。「企業にとって、AIのハルシネーション(誤った情報生成)は受け入れがたいものです。今日の企業は、効果的な意思決定を推進するために正確で信頼できるAIを必要としており、そのためにはAIモデルの動力源となる多様なソースからの高品質なデータへのアクセスが不可欠です。Snowflake Cortex AIとSnowflake MLへの最新イノベーションにより、データチームと開発者は、企業データを使って信頼できるAIを提供するまでの道のりを加速することができるため、チャットボットを迅速に構築し、AIイニシアチブのコストとパフォーマンスを向上し、ML開発を加速することができます」

Snowflakeで、企業による高品質な会話アプリの構築を加速

何千社ものグローバル企業がCortex AIを利用して、AIを活用したアプリのシームレスな拡張と製品化を実現しており、過去6か月間だけでも2倍以上¹の導入が進んでいます。Snowflakeの最新イノベーションにより、企業は、より多様なデータソース、簡素化されたオーケストレーション、組み込み評価とモニタリングを利用して、信頼性の高いAIアプリを容易に構築することができます。これらはすべて、SnowflakeのフルマネージドAIサービスであるSnowflake Cortex AI内で提供される生成AI機能群を利用することで実現可能です。Snowflakeの進化したエンドツーエンドの会話型アプリ開発により、以下のことを実現できます。

  • マルチモーダルサポートでより人々の関心を引く応答を作成:MetaのLlama 3.2モデルのようなマルチモーダルLLMと、新しいCortex COMPLETE Multimodal Input Support(近日中にプライベートプレビュー)を使用することで、画像などのマルチモーダル入力により、自社の会話型アプリを強化できるようになりました。音声やその他のデータタイプも間もなく追加される予定です。
  • 新しいナレッジベースコネクタでより包括的な回答にアクセス:ユーザーは、新しいSnowflake Connector for Microsoft SharePoint(現在パブリックプレビュー中)などのマネージドコネクタを使用して、社内のナレッジベースを迅速に統合することができ、Microsoft 365 SharePointのファイルやドキュメントを利用し、ドキュメントを手動で前処理することなく自動的にファイルを取り込むことができます。Snowflakeはまた、Snowflakeマーケットプレイスの新しいCortex Knowledge Extensions(現在プライベートプレビュー中)を使用して、ニュース記事、研究出版物、科学雑誌、教科書などのサードパーティからの非構造化データと対話するための支援を企業に提供しています。これは、出版社の知的財産を隔離と明確な帰属表示を通じて尊重する、生成AIのための初めてかつ唯一のサードパーティデータ統合です。また、コンテンツプロバイダーにとって収益化への直接的な道筋を作り出します。 
  • ドキュメントの前処理機能により、データ準備の迅速化を実現:ビジネスアナリストやデータエンジニアは、新しいPARSE_DOCUMENT(現在パブリックプレビュー中)を使いレイアウト認識機能を利用してドキュメントテキストの抽出を行い、SPLIT_TEXT_RECURSIVE_CHARACTER(現在プライベートプレビュー中)のCortex Search(現在一般提供中)のテキストチャンキング機能を利用することで、PDFやその他のドキュメントをAI対応にするために、簡潔なSQL関数を使用してデータを簡単に前処理できるようになりました。
  • 手作業による統合とオーケストレーション作業の削減:企業データに基づく質問の受信と応答を容易にするため、開発者はCortex Chat API(近日中にパブリックプレビュー)を使用して、アプリのフロントエンドとSnowflake間の統合を簡素化することができます。Cortex Chat APIは、構造化データと非構造化データを単一のREST API呼び出しに統合し、開発者が少ない労力で迅速にRAG(Retrieval-Augmented Generation)とエージェント型分析アプリを作成するのに役立ちます。
  • 組み込み評価とモニタリングにより、アプリの信頼性を高め、コンプライアンスプロセスを強化:ユーザーは、TruEra(2024年5月にSnowflakeが買収)の技術を統合したAI Observability for LLM Apps(現在プライベートプレビュー中)を使用して、開発中および本番環境の両方で、関連性、根拠、ステレオタイプ、レイテンシに関する20以上のメトリクスで生成AIアプリを評価および監視できるようになりました。
  • より正確なセルフサービス分析を実現:企業が構造化データから容易に高精度でインサイトを得られるように、SnowflakeはCortex Analyst(現在パブリックプレビュー中)の改善を発表しました。高度な結合によるデータ分析の簡素化(現在パブリックプレビュー中)、マルチターン会話による使いやすさの向上(現在パブリックプレビュー中)、Cortex Search統合による動的検索(現在パブリックプレビュー中)などが挙げられます。

Snowflakeが自然言語処理のためのバッチLLM推論をコスト効率よく実行可能に

バッチ推論は、企業がLLMで巨大なデータセットを同時に処理することを可能にします。これは、ほとんどの会話アプリで使用される1つひとつの個別アプローチとは対照的です。一方、バッチデータ用NLPパイプラインは、テキストや音声など、さまざまな形式の自然言語データを処理、分析するための構造化されたアプローチを提供します。Snowflakeは、この両面で企業を支援するため、大規模バッチテキスト処理用のカスタマイズオプションをさらに公開しており、データチームがコストとパフォーマンスの両方を最適化しながら、処理速度の速いNLPパイプラインを大規模に構築できるようにします。

Snowflakeは、事前学習済みのLLM、埋め込みモデルのサイズ、コンテキストウィンドウの長さ、およびサポート言語の幅広い選択肢をCortex AIに追加し、パフォーマンスを最大化しコストを削減しながら、使用するLLMを選択する際の幅広い選択肢と柔軟性を企業に提供します。これには、Voyageの多言語埋め込みモデルLlamaのマルチモーダル3.1および3.2モデル、サーバーレス推論のためのJambaの巨大なコンテキストウィンドウモデルが含まれます。組織が特定のユースケースに最適なLLMを選択できるように、SnowflakeはCortex Playground(現在パブリックプレビュー中)を導入しています。これは、さまざまなLLMからの応答を生成して比較するように設計された統合チャットインターフェースで、ユーザーはニーズに最適なモデルを簡単に見つけることができます。 

LLMをさまざまなタスクに大規模に使用する場合、一貫性のある出力が得られることが、結果を効果的に理解するためにさらに重要になります。これを踏まえ、Snowflakeは新しいCortex Serverless Fine-Tuning(近日一般提供)を発表しました。開発者が独自のデータを使ってモデルをカスタマイズし、より正確な出力結果を生成できるようにします。大規模な推論ジョブを保証されたスループットで処理する必要がある企業にとって、新しいProvisioned Throughput(近日中にパブリックプレビュー)は、それを成功させるのに役立ちます。 

GPU搭載Notebookとモニタリング強化により、信頼性の高いMLを迅速化
スケーラブルで高速なコンピューティングに簡単にアクセスできることは、特に大規模なデータセットを扱う場合や高度なディープラーニングフレームワークを使用する場合に、チームがモデルを迅速に反復してデプロイすることに大きく影響します。このような計算集約的なワークフローをサポートし、モデル開発をスピードアップさせるために、Snowflake MLはコンテナランタイム(現在AWSではパブリックプレビュー中、Microsoft Azureでは近日パブリックプレビュー)をサポートし、ユーザーがGPU上で分散MLトレーニングジョブを効率的に実行できるようになりました。コンテナランタイムは、Snowflake Notebook(現在一般提供中)からアクセス可能なフルマネージドコンテナ環境で、CPUとGPUの両方で分散処理にアクセスできるように事前に設定されています。ML開発チームは、Snowflakeデータ上で任意のPythonフレームワークや言語モデルを使用して、高い精度のMLモデルを大規模に構築できるようになりました。

CHG Healthcareのデータサイエンティスト、Andrew Christensen氏は次のように述べています。「70万人以上の医療従事者と全米の病院をつなぐ組織として、当社は医療従事者を臨時および正社員の職に迅速に配置するための力を強化するために機械学習を活用しています。コンテナランタイム上のSnowflake NotebookのGPUを使用することが、機械学習のニーズに対して最も費用対効果の高いソリューションであることが判明し、より高い成功率でより迅速な人材確保を実現できています。Snowflakeの並列処理を、Snowflake ML内のあらゆるオープンソースライブラリで利用できることを高く評価しています。これにより、当社のワークフローの柔軟性と効率が向上します」

また、多くの組織は、推論のためにGPUコンピューティングを必要とします。そのため、Snowflakeは新しいModel Serving in Containers(現在AWSでパブリックプレビュー中)を提供しています。これによりチームは、複雑なリソースを最適化せずに、オープンソースのLLMや埋め込みモデルを含む、内部および外部で学習済みのモデルを、Model RegistryからSnowpark Container Services(現在AWSおよびMicrosoft Azureで一般提供)にデプロイし、分散CPUまたはGPUを使用した本番環境で使用できます。

さらに、ユーザーは、TruEraの技術を統合した新しいObservability for ML Models(現在パブリックプレビュー中)による組み込みモニタリングによって、Snowflakeで推論を実行しているあらゆるモデルのパフォーマンスとさまざまなメトリクスを監視し、本番環境でのモデルの精度劣化を迅速に検出することができます。また、Snowflake の新しいModel Explainability(現在パブリックプレビュー中)では、ユーザーがModel Registryに記録したモデルに対して、シャープレイ値(各特徴量がモデルの全体的な出力にどのような影響を与えているかを説明するのに役立つ、広く使用されているアプローチ)を簡単に計算することができます。ユーザーは、モデルが最終的な結論に至るまでの過程を正確に理解し、本番環境での直感に反する動作を見つけることで、モデルの弱点を検出することができます。

お客様の声:

  • Alberta Health Services:エンタープライズデータエンジニアリング、データ&アナリティクス担当エグゼクティブディレクター、Jason Scarlett氏

「アルバータ州最大の総合医療システムである当院の救急外来には、年間200万人近くが訪れます。当院の医師は、患者の診察のたびに、カルテを手作業で入力する必要があり、事務作業に多くの時間を費やさなければなりませんでした。Cortex AIを使って、患者とのやりとりを記録し、文字起こしを行い要約するアプリを通じて、このプロセスを自動化する新しい方法をテストしています。すべてSnowflakeの保護された領域内で行われています。救急外来の一部の医師がこれを使用しており、1時間あたりの診察患者数が10~15%増加したと報告しています。つまり、さらに質の高いカルテを作成しながらも、待合室の混雑を緩和し、医師は膨大なペーパーワークから解放されたということです」  

  • Bayer:プロダクトマネジメントおよびアーキテクチャ担当リーダー、Mukesh Dubey氏

「世界最大級のライフサイエンス企業として、当社のAIシステムが常に正確で信頼できるインサイトを提供することは非常に重要です。これは、Snowflake Cortex Analystだからこそできることです。Cortex Analystは、構造化データに対する自然言語クエリに高品質な回答を提供します。当社のチームは、これを運用上持続可能に利用できる形で活用しています。私が最も興奮しているのは、当社が利用を開始したばかりだということです。当社がビジネス全体でAIの導入を加速させながら、Snowflake Cortex AIでさらなる価値を引き出せると期待しています」

  • Coda:共同創業者兼CEO、Shishir Mehrotra氏

「Snowflake Cortex AIは、スケーラブルでセキュアなAIシステムを構築するためのすべてのコアとなるビルディングブロックを形成します。Coda Brainは、このスタックのほぼすべてのコンポーネントを使用しています。Cortex Searchエンジンは、非構造化データと構造化データのベクトル化とインデックス作成が可能です。Cortex Analystは、自然言語によるクエリをまるで魔法のようにSQLに変換します。Cortex LLMsは、クエリの解釈から、人間が直感的に理解できる形式に変換する再フォーマットまで、あらゆることを行います。そしてもちろん、Coda Brainに取り込まれる膨大な量のデータをスケーリングし、安全に処理できるSnowflakeデータプラットフォームが基盤となっています」

  • Compare Club:データおよび分析部門責任者、Ryan Newsome氏

「Compare Clubでは、保険、エネルギー、住宅ローンなど、幅広い分野において、オーストラリアの消費者がより情報に基づいた購買意思決定ができるよう支援することを使命としています。また、お客様が適切な商品に簡単に素早く申し込み、予算を最大限に活用できるよう努めています。Snowflake Cortex AIは、数十万ページに及ぶ通話記録データの効率的な分析、要約を可能にし、当社チームにお客様の目的や行動に関する深いインサイトを提供してくれました。Cortex AIにより、当社はこれらのインサイトを安全に活用し、よりカスタマイズされた効果的なレコメンデーションを提供できるようになりました。これにより、会員の総合的な体験が向上し、長期的なロイヤルティが確保されます」

  • Markaaz:データ技術部門VP、Rustin Scott氏

「Snowflake Cortex Searchは、最新かつリアルタイムの企業概要情報を提供することで、非構造化データの処理方法を大きく変えました。弊社は、絶えず更新される何百万件ものレコードを検索する方法を必要としており、Cortex Searchの強力なハイブリッド検索機能により、それが可能になりました。Snowflakeはさらに、取り込み後、数秒から数分以内に高品質な検索結果を提供し、研究や生成型AIアプリケーションを強化します。これにより、当社とお客様が包括的なグローバルデータセットの潜在能力を実現することができます。フルマネージドインフラストラクチャとSnowflakeグレードのセキュリティを備えたCortex Searchは、当社の企業向けAIツールキットに欠かせないツールとなっています」

  • Osmose Utility Services:データ分析部門VP、John Cancian氏

「Osmoseは、電気および通信網を当社がサービスを提供する地域社会と同様に、強固で安全かつレジリエントなものにするために存在しています。Snowflakeを使用して標準化されたデータとAIフレームワークを確立したことで、今ではまったく新しいユースケースをわずか2週間でエンドユーザーに迅速に提供できるようになりました。 それ以来、Document AIを導入し、さまざまな契約書の10万ページ以上のテキストから非構造化データを抽出することで、Cortex Searchを活用したStreamlitチャットボットを使用して、ユーザーが自然言語で洞察力に富んだ質問をできるようにしました」

  • Terakeet:データサイエンス部門ディレクター、Jennifer Brussow氏

「Snowflake Cortex AIは、高度なLLMの機能を活用して、大規模なデータからインサイトを抽出する方法を変革し、重要なマーケティングおよび販売のワークフローを加速させました。当社のチームは、大量のデータセットを迅速かつ安全に分析できるようになり、戦略的な洞察力を解き放ち、お客様により良いサービスを提供し、当社のすべての対象市場を正確に推定できるようになりました。Snowflakeの新しいAI機能を活用することで、処理時間を48時間からわずか45分に短縮することができました。弊社マーケティングおよび営業業務チームは、すべてのお客様と見込み客により良いサービスを提供するために、Cortex AIを使用しています」

  • TS Imagine: COO兼最高データ・アナリティクス責任者、Thomas Bodenski氏

「当社では、データ管理チームとカスタマーサービスチーム内のAIを強化するために、RAGにSnowflakeを専用で使用しており、画期的な変化をもたらしました。今では木曜日に何かを設計し、火曜日にはそれが実用化されるのです。例えば、ベンダーからの重要な更新情報を追跡するために、エラーが発生しやすく手間のかかるメールの仕分けプロセスを、Cortex AIによるRAGプロセスに置き換えました。これにより、重複したメールや関連性の低いメールの削除、JIRAチケットの作成、割り当て、優先順位付け、スケジュール設定が可能になり、以前のソリューションと比較して、年間4,000時間以上の手作業を削減し、コストを約30%削減することができました」

詳細情報: 

  • Snowflakeが企業データ上での生成AIアプリケーションの構築と展開を迅速かつ容易にする方法については、こちらのブログ記事をご覧ください。 
  • BayerSiemens Energyなど、業界をリードする企業がCortex AIを活用して収益を増加させ、生産性を向上させ、エンドユーザーにより良いサービスを提供している方法については、こちらの「Secrets of Gen AI Success eBook」で紹介しています。
  • SnowflakeのバーチャルRAG 'n' Roll Hackathonに参加してみませんか。開発者様は、Snowflake Cortex AIの実操作と、RAGアプリの構築を体験できます。ハッカソンにはこちらから登録できます。 
  • このクイックスタートガイドで、Snowflake Notebooks in コンテナランタイムのCPUまたはGPUを使用して、ユーザーがコンテナのパワーを簡単に活用し、MLワークロードをスケールして実行する方法をご覧ください。
  • この動画では、ユーザーがSnowflake Notebookを素早く起動し、コンテナランタイムのGPUを使用して、XGBoostモデルをトレーニングする方法をご覧いただけます。

 

¹2024年10月31日現在。

このプレスリリースには、明示または黙示を問わず、(i)Snowflakeの事業戦略、(ii)開発中または一般に提供されていないSnowflakeの製品、サービス、テクノロジー、(iii)市場の拡大、トレンド、競争状況に関する考察、(iv)Snowflake製品とサードパーティプラットフォームの統合およびサードパーティプラットフォーム上でのSnowflake製品の相互運用性と可用性についての言及など、将来の見通しに関する記述が含まれています。これらの将来の見通しに関する記述は、さまざまなリスク、不確実性、前提に左右されます。これには、Snowflakeが証券取引委員会に提出するForm 10-Q(四半期レポート)やForm 10-K(年次レポート)内の「リスク要因」などのセグメントに記載されているリスク、不確実性、前提が含まれます。これらのリスク、不確実性、前提を考慮すると、将来の見通しに関する記述において予想または暗示されている結果と比較して、実際には大きく異なる結果や反対の結果に至る可能性があります。  これらの記述は、初回記述日の時点に限った記述であり、かかる記述の時点で入手可能な情報に、および/または経営陣がかかる時点で抱いていた誠実な信念に、基づいています。法律で義務付けられている場合を除き、Snowflakeには、本プレスリリース内の記述を更新する義務または意図は、一切ありません。そのため、将来の見通しに関するいかなる記述も、未来の出来事についての予測として利用してはなりません。 

© 2024 Snowflake Inc All rights reserved.  Snowflake、Snowflakeのロゴ、および本書に記載されているその他すべてのSnowflakeの製品、機能、サービス名は、米国およびその他の国におけるSnowflake Inc.の登録商標または商標です。  本書で言及または使用されているその他すべてのブランド名またはロゴは、識別目的でのみ使用されており、各所有者の商標である可能性があります。  Snowflakeが、必ずしもかかる商標所有者と関係を持ち、または出資や支援を受けているわけではありません。

Snowflakeについて

Snowflakeは、シンプルかつ効率的で信頼性の高いエンタープライズAIを実現します。Snowflakeのデータクラウドは、世界最大規模の数百の企業を含む世界中の数多くのお客様に利用されており、データ共有、AI/機械学習アプリケーションの構築、ビジネスの強化に貢献しています。これからは、エンタープライズAIの時代です。詳しくは、snowflake.com/ja/(ニューヨーク証券取引所:SNOW)をご覧ください。

<本件に関するお問い合わせ>
Snowflake合同会社
PR担当 山中[email protected]

 

SHARE PRESS RELEASE