通过 Federated 立即提供强大的洞察力
查询 - 无论您的数据位于何处
联合查询的概念并不新鲜。Facebook PrestoDB 在 2013 年推广了分布式结构化查询语言 (SQL) 查询引擎的概念。
多年来，AWS、谷歌、微软和业内许多其他公司都加速在其产品中采用分布式查询引擎模型。例如，AWS 在 Presto 代码库之上开发了 Amazon Athena，而谷歌的 BigQuery 则基于 Cloud SQL。
关于查询联合的热门话题是什么？
组织将数据存储在多个数据库和存储系统中，例如关系数据库（MySQL、SQL Server、Postgres）和对象存储系统（S3、HDFS），以便以较低的价格存储大量数据。组织经常面临的挑战是如何在正确的时间快速访问正确的数据。
Presto 通过 SQL 实现对关系型和非关系型数据库和对象存储（或者可以统称为不同的源）的查询，从而简化了这一过程，从而可以更轻松地访问来自 BI 工具甚至组织自己的代码的数据。
查询联合的革命性之处在于，它能够通过单个查询快速访问来自多个来源的数据。这是因为整合来自不同来源的数据曾经是一个漫长而繁琐的过程。您需要提取、转换、加载 (ETL) 流程将数据整合成共享格式。
但是，如果您需要近乎实时或按需的数据访问，社区专家通常认为 ETL 工具并不适合。它们是为批处理工作模式而设计的，其中命令以批处理的形式读取和执行，无需用户干预。ETL 更适合已建立的、变化缓慢的数据。此外，数据分析和业务用户无法直接访问 ETL。
联合查询的好处
与其他数据库解决方案的传统查询方法相比，联合查询的优势非常明显。以下列举几个：
用户无需记住凭证或登录单个数据库，因为所有内容都集中在联合查询服务中。这样可以跨所有源类型和 IT 环境统一访问数据。
联合查询使数据科学家和分析师更容易分析数据，因为传统的 ETL 工具更适合了解数据库语言的开发人员和编码人员。
联合查询通常在执行前进行优化，使数百个用户查询能够实时进行负载平衡和重复数据删除。这在使用高级分析或商业智能工具时可以提高吞吐量并降低成本，从而促进数据驱动的决策。
最大的优势是用户不需要知道每个数据库的具体查询或数据语言。联合查询中的自动数据定义语言 (DDL) 转换允许任何人对所有数据源执行查询。
Trianz 的查询联合方法
我们对数字化转型的广泛研究发现，超过 90% 的 IT 和数据领导者计划使用多云或混合云架构。因此，应用程序和数据不太可能整合到单个云平台上 - 无论是 AWS、Azure、GCP、IBM 还是您的私有虚拟化环境。
这意味着数据将越来越多地分布在各个数据源中，管理起来也越来越困难。虽然数据湖是一种理想的解决方案，但将所有企业数据整合到一个数据湖中并不断更新可能会花费不菲。
正在寻找分析存储在 Amazon S3 中的数据的最快方法？
用户只需将 Athena 指向存储在其 S3 存储桶中的数据、识别其字段、运行查询并在几秒钟内获得结果。
亚马逊的新 Athena 平台使用联合查询，可以快速轻松地对存储在多个关系、非关系、对象和自定义数据源中的数据进行 SQL 查询。使用在 AWS Lambda 上运行的数据源连接器，数据科学家、工程师和分析师可以使用单个 SQL 查询分析来自本地或云中运行的多个来源的数据。
Trianz 在 Athena 平台上构建了 Athena 联合查询 (AFQ) 扩展，以简化 BI 并促进跨数据源分析。这些扩展通常扫描来自 S3 的数据并执行基于 Lambda 的连接器以从本地 Teradata、Amazon Redshift、Google BigQuery 和 SAP HANA 读取数据。
借助 Trianz 和 AWS AFQ 连接器的完整生态系统，您可以生成混合/多云分析和可视化，而无需迁移或整合数据。AFQ 连接器的组合库可以从企业中的任何来源或其他云平台（例如 Azure 或 GCP）提取数据。
使用 Trianz AFQ Extensions 的联合查询示例
我们的 AFQ 连接器已由亚马逊和财富 1000 强企业中的大型复杂数据组织进行了测试和试用。Athena 的强大之处在于允许技术和非技术用户使用简单的查询生成丰富、强大的可视化效果，并从长远来看节省时间和资源。
