Snowflake、データとの対話、LLMの安全なカスタマイズ、モデルオペレーションの合理化を実現する最先端のAIを発表

生成AIは、文書、カスタマーレビュー、画像などの非構造化データソースから大規模にインサイトを引き出す機会を企業に提供します。また、顧客と従業員のあらゆるインタラクションを、会話型アプリケーションで行えるようにする機会も提供します。また、データチームとAIチームは、データセキュリティとプライバシーを優先しながら、組織全体に新しいユースケースを迅速に展開しなければなりません。

一方、機械学習（ML）は、レコメンデーションシステム、需要予測、詐欺防止などの予測AIの確立された分野でも引き続き価値を発揮します。しかし、生成AIのインフラストラクチャー要件はMLのそれと異なるため、同じチーム内でもデータがシステム間で複製され、統制されていないデータパイプラインが生じ、運用コストが増大し、データリスクが高まります。

Snowflakeは、生成AI、機械学習、またはその両方を使用するユースケースにかかわらず、企業が効率的で簡単かつ信頼性の高い方法で生産性とインサイトを新たなレベルで活用し続けることを支援します。

簡単： 一部の技術エキスパートだけでなく、コード（SQL、Python、REST）やノーコードインターフェースでアクセスできるフルマネージド型のサービスやインフラストラクチャーでAIを使用できるようにする
効率：企業データと並行して実行される最高品質のモデルとサービスにより、開発から展開までのライフサイクルを合理化
厚い信頼何千もの組織が信頼するガバナンスときめ細かいロールベースのアクセス制御を、データからモデルまで、シンプルに拡張

Zoom Communicationsのミッションは、無限の人的つながりを提供する1つのプラットフォームになることです。これを達成するために、すべてのチームメンバーが安全にAIを使用して顧客により良いサービスを提供できるようにしたいと考えています。Snowflakeは、生成AIと機械学習のための統合された使いやすく安全なプラットフォームを使用して、AIの民主化を続け、効率的にデータをより良いカスタマーエクスペリエンスに変えています。

Awinash Sinha氏（Zoom Communications、コーポレートCIO）

このアプローチにより、Snowflakeはお客様がAIをビジネスのあらゆる部分に導入し、次のようなことを成し遂げています。

最先端のAIを使用してデータとの対話： 2つのチャットAPIを使用して、複雑なインフラストラクチャーやカスタムLLMオーケストレーションを行うことなく、文書などの非構造化データと販売取引などの構造化データに対して質問できるようになりました。Meta Llama 3とMistral Largeモデルを使用して構築されたCortex Analyst（近日中にパブリックプレビュー開始）により、開発者はSnowflakeとCortex Search（近日中にパブリックプレビュー開始）で分析テーブルの答えにテキストを変換するサービスにより、ビジネスユーザーのためのインサイトを獲得し、文書やその他の非構造化テキストに対して質問することができます。
より多くのチームがAIを安全に使用：Snowflake Notebook内のデータチームが使いやすいSQLおよびPython関数（パブリックプレビュー中）に加え、Snowflakeは、Snowflake AI & ML Studio（MLモデルのパブリックプレビュー、LLMのプライベートプレビュー中）を介してノーコードAI開発を行うユーザーを増やしています。開発者が外部アプリからSnowflake Cortex AIのLLMと迅速にやり取りできるように、既存のSQLおよびPython関数に加えて、REST APIもサポートされる予定です。ビジネスチームは、Document AI（近日中に一般提供開始）のシンプルな自然言語インターフェースを使用して、AIの専門知識がなくてもPDFなどのドキュメントからコンテンツと分析値を抽出できます。
ユースケースに特化した生成AIを簡単に作成：組織がLLMの性能を高め、運用を複雑にすることなくよりパーソナライズされたエクスペリエンスを提供できるよう、サーバーレスで基盤モデルをファインチューニングするパブリックプレビューが開始されました。ファインチューニングは、Snowflake AI & ML StudioのノーコードエクスペリエンスまたはコードベースのAPIを使用して実行できます。
特徴量とモデル操作の促進とスケーリング：特徴量とモデルの大規模な開発、展開、管理が容易になりつつあります。これは、自動実行（パブリックプレビュー）をスケジュールできるノートブック、特徴量の使用と管理を合理化するSnowflake特徴量ストア（パブリックプレビュー）、SnowflakeモデルレジストリでSnowflakeなどのプラットフォームでトレーニングされたモデルを管理することで可能となります。また、Snowflake Cortex AIを使用してファインチューニングされたLLMを含め、すべてのカスタムモデルに統一されたエクスペリエンスを提供します。

最先端のAIを使用してデータと対話

まもなくパブリックプレビューとなるCortex Searchでは、文書やその他のテキストベースのデータセット（WikiやFAQなど）とSQL関数を実行するのと同じくらい簡単に会話できます。ドキュメント検索サービスの開始は、Studioを使用するか、検索対象ドキュメントを定義するコマンドを1回クリックするだけです（図1を参照）。

より正確な結果を得るために、Cortex Searchは最新の検索およびランキング技術を使用します。Snowflake AI研究チームが構築したNeevaとArcticの埋め込みモデルの最新のテクノロジーを土台として構築されたセマンティック検索とキーワード検索の組み合わせにより、Cortex Searchはユーザーに運用上の複雑さを伴わずに高品質の結果を提供することができます。Cortex Searchは、フルマネージド型のベクトル埋め込みとベクトル取得を使用して、1秒未満のレイテンシーで数百万のドキュメントに拡張できます。別途ベクトルデータベースを設定、管理する必要はありません。

Cortex Analyst（近日パブリックプレビュー予定）により、アプリ開発者はSnowflakeに保存された分析データに基づいてアプリケーションを作成できるようになるため、ビジネスユーザーは自然言語で質問するだけで必要なデータインサイトを得ることができます。Snowflake Copilotは、SQL開発者がテキストをSQLに変換することでSnowsightからの開発を促進するのに対し、Cortex Analystは、ビジネスユーザーが日常的に操作するあらゆるアプリケーションから質問を回答に変換するよう設計されています。ビジネスユーザーが結果に信頼を置きアクションを起こすために期待する高い精度を提供するために、SnowflakeはMetaとMistral AIの最先端のLLMを組み合わせて手間のかかる作業を処理し、開発者にはセットアップ時にセマンティックモデルを提供することのみを求めます。このセマンティックモデルは、組織固有の用語やデータモデリング構造に関する追加のコンテキストを提供するのに役立ちます。

より多くのチームがAIを活用できるようにする

LLM向けのプライベートプレビュー中のSnowflake AI & ML Studioは、コード不要のAI開発をSnowflakeにもたらします。StudioはSnowsight内でインタラクティブインターフェースにアクセスできるため、チームは複数のモデルとデータを迅速に組み合わせ、結果を比較して本番アプリケーションへの展開を加速できます。Studioのインタラクティブなエクスペリエンスには、予測などの機械学習モデルを構築する機能が含まれており、将来的には、単一のプロンプトから複数のLLMの回答を比較評価したり、LLMのファインチューニングを実行したりするインターフェイスも実装される予定です。特に生成AIユースケースでは、このノーコードエクスペリエンスにより、タスクとコスト目標に最適な最新モデルを簡単に評価、選択できるようになります。

Snowflake Notebookは、MLワークフローの高速化に役立ちます。実験追跡と重み付けおよびバイアスがノートブック内で直接シームレスに統合されているため、コンテキストの切り替えがなくなり、モデルの構築と展開のための機械学習のライフサイクル全体が合理化されます。この統合により、お客様の効率性がさらに向上することを嬉しく思います。

Venky Yerneni氏（ソリューションアーキテクチャ・重み付け・バイアス担当マネージャー）

Snowflake Notebookは現在パブリックプレビュー中です。これは、SQL、Python、またはその両方に堪能なデータチームが、統合されたセルベース環境でインタラクティブな分析を実行したり、モデルをトレーニングしたり、LLMを評価したりできるようにするものです。このインタラクティブな開発エクスペリエンスにより、ローカル開発での処理の限界や、データを別のツールに移動することによるセキュリティリスクと運用リスクを排除できます。また、ノートブックはStreamlitライブラリと統合されているため、ノートブックで開発されたコードをSnowflakeのStreamlitに展開し、インタラクティブなアプリケーションとしてインサイトを簡単に共有できます。

ノートブックの使用方法の詳細については、当社のドキュメントまたはこのクイックスタートを参照してください。

Document AIは近日中に一般提供開始され、最先端のビルトインマルチモーダルLLMであるArctic TILTを使用し、ドキュメントから請求額や契約条件などのコンテンツを簡単に抽出できる新しいフレームワークを提供します。技術者ではないビジネスユーザーは、自然言語インターフェースを使用して抽出する必要のあるフィールドや値を定義し、必要に応じて特定のドキュメントフォーマットをより適切に理解できるようにモデルをファインチューニングできます。新しいドキュメントが取り込まれるたびに目的のフィールドセットを継続的に抽出するために、データエンジニアまたはMLエンジニアがSQL関数PREDICTを使用してモデルを実行し、下流の分析またはMLモデルにフィードするパイプラインにモデルを運用できます。

カスタム生成AIを安全かつ簡単に

現在パブリックプレビュー中のSnowflake Cortexファインチューニングは、MetaおよびMistral AIモデルのサブセットの安全なサーバーレスカスタマイズをサポートします。データの準備ができたら、SQL関数を実行するか、Snowflake AI & ML Studioで数回クリックするだけで、ファインチューニングプロセスを簡単に開始できます。インフラストラクチャーを管理する必要はありません。ファインチューニングされたモデルはデフォルトでのみ利用可能で、Snowflakeモデルレジストリを使用して定義したポリシーを使用して他のユーザーと共有できます。カスタムモデルにアクセスできるユーザーは、Cortex AIのCOMPLETE関数を使用して、Cortexがサポートする他のLLMと同じように簡単に使用できます。

価格とサポートされるモデルの詳細については、当社のドキュメントで詳細をご確認ください。

Cortex Guardは、暴力やヘイト、自傷行為、犯罪行為に関連する有害なコンテンツをフィルタリングできる一般提供を近日中に開始します。COMPLETE関数に組み込まれたガードレール設定を使用することで、Cortex AIのあらゆるLLMに安全制御を簡単に適用できます。Cortex Guardを使用することで、企業は生成AIを実稼働アプリケーションに提供するために必要な安全管理を迅速に実施できます。

特徴量とモデル操作の促進とスケーリング

Snowflake Horizon MLリネージ（プライベートプレビュー中）は、特徴量、データセット、モデルのエンドツーエンドのリネージをデータからインサイトにトレースし、シームレスな再現性とシンプルな可観測性を実現します。データとモデルの関係を迅速にマッピングするために、Snowsight内で可視化インターフェイスを利用できるようになります。

特徴量ストア（パブリックプレビュー中）は、特徴量の定義、管理、保存、発見のための一元化された統合ソリューションです。このソリューションは、Snowflake MLの幅広いコンポーネントスイートに分類され、特徴量をトレーニングモデルに使用するか推論を実行するかにかかわらず、さまざまなMLパイプラインとチームにわたって一貫性と正確性を実現します。このパブリックプレビューの一環として、Snowflake Notebookまたは任意のIDEで、Snowpark ML APIを使用して特徴量を定義および管理することができます。特徴量ストアは、ユーザー定義のスケジュールに従ってバッチソースとストリーミングソースから自動的にデータを増分更新し、チームに最新情報を提供します。

詳細については、ドキュメントをご覧ください。

Snowflake MLを使用することで、データとAIのビジョンにおける大きなマイルストーンに到達し、顧客にパーソナライズされた真の1対1のエクスペリエンスを効率的に提供できるようになりました。1時間の推論ジョブからほぼリアルタイムでの予測へと移行することにより、70%のコスト削減とアジリティの向上を達成しました。

Stefan Kochi氏（Paytronix、CTO）

モデルレジストリは一般に利用可能で、トレーニングがSnowflakeで行われたか他のMLシステムで行われたかにかかわらず、すべてのMLモデルを簡単に管理することができます。モデルをSnowflakeに持ち込むことで、チームはモデルと関連メタデータを管理するハブを一元化できるというメリットを得られるほか、本番特徴量が保存および管理されている場所でモデルを実行することでより効率的な推論というメリットも得られます。

SnowflakeでMLモデルのトレーニングとガバナンスがどれほど簡単かを見るには、このクイックスタートをご覧ください。