Microsoft OneLakeとSnowflakeでオープンレイクハウスを解放

ほとんどの企業は、規模に関係なくビジネスの成長を目標としていますが、多くの場合、データ断片化という意図しない結果をもたらします。企業の成長とともに、チームは複数のデータプラットフォームに依存するようになり、重要な情報が組織全体に分散しています。この統合されたビューの欠如は、ビジネスに関する正確なリアルタイムのインサイトを得ることをほぼ不可能にします。その結果、データの複製、インサイトを得るまでの時間の大幅な延長、AIイニシアチブの信頼性の低下など、多くのコストのかかる非効率が生じます。

これが、多くの組織がオープンレイクハウスのアプローチを選択している理由です。このアーキテクチャパターンは、データレイクの柔軟性、スケーラビリティと、データウェアハウスのパフォーマンス、信頼性を組み合わせることで、データサイロの接続を可能にします。Apache Icebergをオープンテーブルフォーマットの業界標準として全面的に採用することで、データの場所に関係なく、すべてのデータにガバナンスの確保された迅速なアクセスが可能になります。データの保管場所を柔軟に選択できるだけでなく、複数のプラットフォームにまたがってデータを活用できるため、ベンダーロックインの懸念も回避できます。

SnowflakeとMicrosoft OneLakeによるオープンレイクハウスの構築

SnowflakeとMicrosoftは、お客様がそれぞれのデータ資産を接続し、独自の条件でオープンレイクハウスを構築できるよう積極的に取り組んでいます。今年の初めに、Snowflake（AI時代のデータおよびAIプラットフォーム）とMicrosoft OneLake（Microsoft Fabricの基盤となる統合された単一のSaaSデータレイク）を、オープンスタンダードをネイティブに統合して相互運用性を実現するという、いくつかのマイルストーンを共有しました。両者を組み合わせることで、複雑さやデータの重複なしに、両方のプラットフォームにわたってすべてのデータに簡単にアクセスできるようになります。Microsoft Igniteでは、Microsoft OneLakeとSnowflakeの双方のプラットフォームで、新しいユーザーインターフェイスを使用してデータの単一コピーをさらに簡単に扱えるようになりました。つまり、データを移動することなく、SnowflakeからOneLakeマネージドテーブルをシームレスにクエリできます。この逆の方向も同様です。Microsoft FabricでSnowflakeマネージドApache Iceberg™テーブルを簡単に表示およびクエリできます。この統合によって追加された機能の詳細については、こちらのブログ記事をご覧ください。SnowflakeとOneLakeを基盤とするオープンレイクハウスにより、コネクテッドでガバナンスの確保されたデータを活用したAIの可能性が広がり、アクセスが簡単になりました。

AI-readyなオープンレイクハウスの構築

SnowflakeとOneLakeはIcebergをネイティブにサポートしているため、ワークロードに最適なストレージの場所、コンピュート、サービスを自由に選択できます。ストレージとカタログのオーナーシップを完全に制御できるため、長期的な柔軟性とコンプライアンスのサポートが実現します。以下に、この強化された相互運用性からメリットを得られるシナリオをいくつか紹介します。

データ資産の接続：Iceberg RESTカタログをSnowflakeカタログ連携データベースとフェデレーション接続し、最新データを自動的に発見してアクセスできます。Snowflakeの統合されたプラットフォームは、断片的なガバナンス制御と運用の複雑さを排除します。データがOneLakeテーブル、OneLakeショートカット、イベントストリーム、Snowflakeネイティブテーブル、その他のIceberg REST互換カタログのいずれにある場合でも、すべてのデータとワークロードについてガバナンスの確保された単一のビューを得られます。複数のエンジンをつなぎ合わせる必要はありません。
パイプラインの合理化：インフラストラクチャを管理する自動化された宣言型ツールを活用できます。Apache Spark™用Snowpark Connectを使用して、Snowflakeのエンジン上で既存のApache Spark™コードを直接実行することで、TCOを抑えつつ高速なパフォーマンスを実現できます。Iceberg向けダイナミックテーブルを使用して低レイテンシーの宣言型パイプラインを構築し、ソースデータの変更に応じてSnowflakeによる構築、メンテナンス、自動更新を行えます。
使い慣れた方法で作業：Snowflakeのネイティブ開発インターフェイスを活用することも、独自のIDEを使用することもできます。SQL、Python、Javaのいずれの言語も、Snowparkで任意のライブラリをセキュアに実行できます。
アナリティクスとAIを強化：定評のあるSnowflakeのエンジンは、Microsoftのエコシステムにシームレスに統合することで、オープンフォーマット上でアナリティクスとAIのための世界トップクラスの価格対性能比を提供します。Microsoft Copilot Studioでエージェントを構築している場合や、Microsoft Power Platformでビジネスアプリケーションを構築している場合は、Snowflake内のデータをMicrosoftソリューションと統合することで、データを移動することなく結果をエンリッチできます。また、OneLakeのすべてのデータをSnowflakeに拡張して、クロスクラウドAI、アプリケーション、共有、コラボレーションなど、さまざまなワークロードに対応できます。
アナリティクスを加速して高度なインサイトを提供：この相互運用性により、両方のプラットフォームにわたってデータを活用し、アナリティクスを強化できます。Power BIを使用してインタラクティブなレポートやダッシュボードを作成し、両方のプラットフォームのデータに基づいてリアルタイムのインサイトを提供することで、組織全体の情報に基づいた意思決定が可能になります。セットアップとほぼリアルタイムでの接続がかつてないほど簡単になりました。

先日、マーケティングリード企業であるAzure MarketingのコーポレートバイスプレジデントであるJessica Hawk氏とSnowflakeのCMOであるDenise Perssonが、この相互運用性の向上によって企業がデータでより多くのことを行えるようになり、両組織が顧客と自チームのAI活用をかつてないほどに支援していることについて語りました。詳しくはこちらをご覧ください。

統合についてまだご不明な点があれば

最近の「Ask Me Anything:Fabric and Snowflake Interoperability」ウェビナーで、これらのプラットフォームを最も効果的に組み合わせる方法について質問に回答しています。

SnowflakeとMicrosoft Fabricでオープンレイクハウスを構築する準備はできていますか？