フェデレーションで強力な洞察を瞬時に提供
クエリ - データがどこに保存されているかは関係ありません
フェデレーテッド クエリの概念は新しいものではありません。Facebook PrestoDB は、2013 年に分散構造化クエリ言語 (SQL) クエリ エンジンのアイデアを普及させました。
長年にわたり、AWS、Google、Microsoft、および業界の他の多くの企業は、自社製品内での分散クエリ エンジン モデルの採用を加速させてきました。たとえば、AWS は Presto コード ベース上に Amazon Athena を開発し、Google の BigQuery は Cloud SQL に基づいています。
クエリ フェデレーションに関する話題は何ですか?
組織は、大量のデータをより安価に保存するために、リレーショナル データベース (MySQL、SQL Server、Postgres) やオブジェクト ストレージ システム (S3、HDFS) などの複数のデータベースおよびストレージ システムにデータを保存しています。組織は、適切なデータに適切なタイミングで迅速にアクセスできるようにするという課題に直面することがよくあります。
Presto は、SQL 経由でリレーショナル データベースと非リレーショナル データベース、オブジェクト ストア (または総称して異なるソース) のクエリを可能にすることでこれを簡素化し、BI ツールや組織独自のコードからのデータへのアクセスを容易にしました。
クエリ フェデレーションの革新的な点は、1 回のクエリで複数のソースからのデータに高速にアクセスできるようにすることです。これは、さまざまなソースからのデータを統合することが、以前は長くて面倒なプロセスだったためです。データを共有形式にまとめるには、抽出、変換、ロード (ETL) プロセスが必要です。
しかし、コミュニティの専門家は、ETL ツールは、ほぼリアルタイムまたはオンデマンドのデータ アクセスを求めている場合、通常は適切ではないと考えています。これらのツールは、ユーザーの介入なしにコマンドが読み取られ、バッチとして実行されるバッチ モードの作業用に設計されています。ETL は、確立された、変化の遅いデータに適しています。また、ETL は、データ分析やビジネス ユーザーが直接アクセスすることはできません。
フェデレーションクエリの利点
他のデータベース ソリューションの従来のクエリ アプローチと比較すると、フェデレーテッド クエリの利点は計り知れません。以下にいくつか例を挙げます。
すべてがフェデレーション クエリ サービス内で一元化されているため、ユーザーは資格情報を覚えたり、個々のデータベースにログインしたりする必要はありません。これにより、すべてのソース タイプと IT 環境にわたるデータへの統合されたアクセスが可能になります。
従来の ETL ツールはデータベース言語を理解している開発者やコーダー向けに設計されていたため、フェデレーション クエリを使用すると、データ サイエンティストやアナリストがデータを分析しやすくなります。
フェデレーション クエリは通常、実行前に最適化されるため、数百のユーザー クエリをリアルタイムで負荷分散し、重複排除することができます。これにより、高度な分析やビジネス インテリジェンス ツールを使用する際のスループットが向上し、コストが削減され、データに基づく意思決定が促進されます。
最大の利点は、ユーザーが各データベースの特定のクエリやデータ言語を知る必要がないことです。フェデレーション クエリでの自動データ定義言語 (DDL) 変換により、誰でもすべてのデータ ソースに対してクエリを実行できます。
Trianz のクエリフェデレーションへのアプローチ
デジタル変革に関する当社の広範な調査によると、IT およびデータ リーダーの 90% 以上が、マルチクラウドまたはハイブリッド クラウド アーキテクチャの使用を計画しています。したがって、アプリケーションとデータが、AWS、Azure、GCP、IBM、またはプライベート仮想化環境など、単一のクラウド プラットフォームに統合される可能性はほとんどありません。
これは、データが複数のデータ ソースに分散され、管理が困難になることを意味します。データ レイクは 1 つの望ましいソリューションですが、すべてのエンタープライズ データを 1 つのレイクに統合し、継続的に更新するにはコストがかかる可能性があります。
Amazon S3 に保存されているデータを分析する最も速い方法をお探しですか?
ユーザーは、S3 バケットに保存されているデータに Athena を指定してフィールドを識別し、クエリを実行するだけで、数秒で結果が返されます。
Amazon の新しい Athena プラットフォームは、複数のリレーショナル、非リレーショナル、オブジェクト、カスタム データ ソースに保存されているデータに対して、SQL クエリをすばやく簡単に実行できるフェデレーション クエリを使用します。AWS Lambda で実行されるデータ ソース コネクタを使用すると、データ サイエンティスト、エンジニア、アナリストは、オンプレミスまたはクラウドで実行されている複数のソースからのデータを単一の SQL クエリで分析できます。
Trianz は、BI を簡素化し、データソース間の分析を容易にするために、Athena プラットフォーム上にAthena Federated Query (AFQ) 拡張機能を構築しました。これらの拡張機能は通常、S3 からデータをスキャンし、Lambda ベースのコネクタを実行して、オンプレミスの Teradata、Amazon Redshift、Google BigQuery、SAP HANA からデータを読み取ります。
Trianz と AWS AFQ コネクタの完全なエコシステムにより、データを移行または統合することなく、ハイブリッド/マルチクラウド分析と視覚化を作成できます。AFQ コネクタの組み合わせライブラリは、企業内のあらゆるソースや、Azure や GCP などの他のクラウド プラットフォームからデータを取得できます。
Trianz AFQ Extensions を使用したフェデレーション クエリの例
当社の AFQ コネクタは、Amazon や Fortune 1000 企業の大規模で複雑なデータ組織によってテストされ、試用されています。Athena の強みは、技術者と非技術者が簡単なクエリでリッチで強力な視覚化を生成できるようにし、長期的には時間とリソースを節約できることです。
