ETlとELTはどちらも、実用的なビジネスインサイトを提供するために、データを分析およびその他の処理に使用できるように準備する一連のプロセスです。ETLとELTがどのように異なるかを説明するとともに、それぞれのメリットをいくつかご紹介します。
ETL
ETLは、1つのデータベース、複数のデータベース、またはその他のソースから統合リポジトリにデータを移動する3つのデータエンジニアリングプロセスの組み合わせである「extract（抽出）、transform（変換）、loadロード）」を表しています。
xETLの3つのプロセスを以下に示します。
抽出：このプロセスでは、単一または複数のソースから未加工データが引き出されます。データはトランザクションアプリケーションからもたらされることがあります。たとえば、Salesforceからの顧客関係管理データ、エンタープライズリソースプランニング（ERP）データ、生産ラインまたは工場の生産現場から測定値を収集するIoTセンサーなどです。抽出されるデータのフォーマットは、リレーショナルデータベース、XML、JSONなど、複数ある場合があります。
変換：このプロセスでは、データが組織のニーズとデータストレージソリューションの要件に合うように更新されます。変換では、すべてのデータ型の同じフォーマットへの変換、不整合データや不正確なデータの削除とクレンジング、複数のデータモデルからのデータ要素の結合、他のソースからのデータの取り込みなどを行います。変換の実行中、ルールと関数が適用され、品質の低いデータや一致しないデータが宛先のリポジトリに含まれるのを防止するためにデータがクレンジングされます。
ロード：このプロセスでは、データが共有のために提供され、セキュリティで保護されます。これにより、内外のユーザーがビジネスに活用できるデータを利用できるようになります。このプロセスには、宛先の既存データの上書きが含まれる場合があります。
ELT
ELTはETLのバリエーションであり、ELTでは、データは変換される前に抽出されてロードされます。このシーケンスでは、企業は未加工データを変更可能な場所にプリロードできます。ELTは、データウェアハウスのデータを統合する場合により一般的に使用されます。クラウドベースのデータウェアハウスソリューションでは、スケーラブルな処理が可能であるためです。
ETLとELTの類似点
ETLとELTの両方を使用すると、企業は複数のデータベースやその他のソースからのデータを、適切にフォーマットされ、適格と見なされたデータが格納される単一のリポジトリに統合できます。この統合データリポジトリにより、分析およびその他の処理のためのアクセスが簡素化されます。さらに、すべての企業データの一貫性と最新性が保証される、信頼できる唯一の情報源も提供されます。
ELTがETLよりも優れている点
従来のETLシリーズのステップをELTに並べ替えることは些細な変更に思えるかもしれませんが、データを変換する前に目的の場所にロードすることには、変換してからロードすることに比べていくつかのメリットがあります。ELTとETLの違いは、柔軟性、アクセスのしやすさ、スケーラビリティ、データメンテナンス、ロード時間などのさまざまな領域にわたります。
柔軟性が高い：ETLは従来、リレーショナルの構造化データを対象としています。クラウドベースのデータウェアハウスにより、ELTは構造化データと非構造化データを扱えます。
アクセスがしやすい：ELTは一般に、組織のIT部門によってサポート、保守、管理されています。ELTは、従業員がより簡単にアクセスおよび使用できます。
スケーラビリティ：ETLは、一部の企業にとってはリソース消費が多すぎます。ELTソリューションは一般に、より広範な企業が利用できるクラウドベースのSaaSです。
ロード時間が短い： ETLは通常、ステージングエリアとシステムを使用するため、ロード時間が長くなります。ELTでは、目的のシステムへのロードは1回だけです。
変換時間が短い：ELTは通常、速度が遅く、データセットのサイズに依存します。ELT変換はデータサイズに依存しません。
データメンテナンスに必要な時間が少ない：変換がデータの意図された目的に適していないと判明した場合、データの再調達と再ロードが必要になることがあります。ELTでは、元のデータはそのままであり、追加の変換が必要な場合でもすでにロードされています。
ETLおよびELTのためのSNOWFLAKE
Snowflakeは、ETLとELTの両方をサポートし、Informatica、Talend、Tableau、Matillionなどのさまざまなデータ統合ツールと連携します。新しいツールとセルフサービスのパイプラインにより、手動のETLコーディングと外注のデータクレンジングサービスが排除されつつあります。Snowparkは、Snowflakeのデベロッパーフレームワークであり、Python、Java、Scalaで記述されたデータ処理やパイプラインをSnowflakeの伸縮性のある処理エンジンに取り込みます。Snowparkを利用することにより、データエンジニア、データサイエンティスト、データ開発者は、自分の好みの言語を使用して、シングルプラットフォームでMLモデルやアプリケーションに供給するパイプラインをより迅速かつ安全に実行できます。データエンジニアは、Snowflakeによる容易なETLおよびELTまたはETLなしオプションを活用することで、重要なデータ戦略プロジェクトやパイプライン最適化プロジェクトにより多くの時間を費やすことができます。