Snowflake、Apache Icebergを通じた相互運用性向上に向けMicrosoftとのパートナーシップを拡大

2024年11月現在、この機能はパブリックプレビュー中です。デモの視聴、試用、ドキュメントをご利用いただけます。

この度、SnowflakeとMicrosoft Fabric OneLake間のシームレスかつ効率的な相互運用性を実現するため、Microsoftとのパートナーシップを拡大しました。年内のプレビュー開始を予定しております。これにより、共通のお客様は、Fabric内のOneLakeで単一のデータコピーを使用して、SnowflakeとMicrosoft Fabric間の双方向データアクセスを体験できるようになります。両方のプラットフォームを使用する組織は、パイプラインを構築したり、各プラットフォームにデータのコピーを保持したりすることなく、よりコスト効率良くこれを行うことができます。SnowflakeとMicrosoftが業界をリードする分析ストレージフォーマットのオープンスタンダードである Apache IcebergとApache Parquetをサポートするというコミットメントを持っているからこそ、この相互運用性が実現しました。

この新たな統合により、組織はよりコスト効率の良い方法でデータを活用できるようになります。たとえば、Snowflakeのデータを、Fabricを介してTeams、Excel、PowerPoint、OutlookなどのMicrosoft 365アプリとよりシームレスに統合できます。また、Fabric OneLakeのデータをSnowflakeデータクラウドに拡張し、クロスクラウドAI、アプリケーション、共有、コラボレーション、高度なアナリティクスなど、さまざまなワークロードに対応できます。

SnowflakeとFabricは、このようなメリットを提供するために、年内に以下の機能をお客様向けに追加します。

• Snowflakeでは、データをIceberg形式でOneLakeに保存できるようになります（年内の正式プレビュー開始）。
• Fabricは、OneLakeのApache XTable変換により、Iceberg形式でOneLakeにデータを保存できるようになります。
• SnowflakeまたはFabricのいずれかのプラットフォームで記述されたデータには、両方のプラットフォームからアクセスできます。
• Snowflakeは、物理的または仮想的に保存されたOneLake内のFabricデータアーティファクトをショートカットで読み取ることができます。
• SnowflakeとFabricのデータは、Microsoft 365、Microsoft 365のCopilot、Snowflake Cortex AI、Azure AI Studio、Snowflake Copilotなどのさまざまなサービスで使用できます。

この新しい統合の仕組みの例を見てみましょう。カスタマーロイヤルティプロジェクトに取り組んでいるが、ロイヤルティメンバーテーブルはSnowflake内のチームによって管理され、販売データとサポートデータはMicrosoft Azureにあるとしましょう。各プラットフォームでデータのコピーを維持する代わりに、Fabric OneLakeに保存されているすべてのデータの単一のコピーにアクセスすることができます。

まず、Fabric OneLakeアカウントを指す外部ボリュームをSnowflakeで作成します。ここにSnowflakeは ロイヤルティ会員データをIceberg形式で保存しますこのIcebergテーブルをSnowflakeから作成する際、IcebergカタログとしてSnowflake、外部ボリュームとしてFabric OneLakeを使用するよう指定できます。Snowflakeがテーブルを操作してデータを書き込むと、OneLakeはParquetファイルを書き換えることなく自動的にIcebergメタデータをDelta Lake形式に変換し、Fabricエンジンが同じテーブルをクエリできるようにします。

同様に、Fabric OneLakeでは、Snowflakeのエンジンで使用するために、すべてのOneLakeデータをIceberg形式で読み取ることができます。つまり、OneLakeのIcebergデータを参照するIcebergテーブルをSnowflakeから作成し、それをクエリできます。たとえば、Snowflake Cortex AI LLM関数を使用して、サポートケースノートのセンチメントを計算したり、コールトランスクリプトを要約したりできます。

SnowflakeとMicrosoftは、今後数か月かけてこの新しい統合を共同で開発する予定です。6月3日～6日にサンフランシスコで開催されるSnowflakeのデータクラウドサミットでの発表にご期待ください。ただし、SnowflakeのIcebergテーブルは現在パブリックプレビュー中です。まだインストールしていない場合は、このクイックスタートガイドでIcebergテーブルを試すか、IcebergがCortex AI LLM関数などのSnowflakeプラットフォームとどのように統合されているかをデモでご覧ください。