什么是 ETL 迁移？
提取、转换和加载 (ETL) 迁移是一种增量迁移方法，用于转换旧式 ETL 管道中的代码以使其支持云。由于代码复杂性以及从本地数据仓库和数据湖迁移的 ETL 管道数量众多，这可能是一个耗时且昂贵的过程。
Trianz 的 ETL 迁移由原生 AWS 服务以及我们高度自动化、可重复的框架和方法提供支持。借助 AWS 和 Trianz，您可以将从旧数据库和现有 ETL 工具迁移到 AWS Glue/Spark 的时间缩短高达 50%，从而让您能够更快、更安全地淘汰旧 ETL 和相关数据库平台，并且使用更少的资源。
什么是 AWS Glue？
AWS Glue 是一项完全托管的数据集成服务，可让您轻松实现数据平台的现代化，以用于分析、机器学习和应用程序开发。通过采用AWS Glue，您可以将各种数据源连接到一个可搜索的数据目录中，然后进行转换以用于 170 多种 AWS 服务。
AWS Glue 的自动化功能有助于减少数据集成所需的工作量，提供无缝扩展提取、转换和加载 (ETL) 工作流的能力。通过三种不同的界面可供选择，数据工程师、分析师和开发人员可以转换数据，从而使您的组织能够缩短分析时间并在几分钟内（而不是几个月）获得可操作的见解。
迁移到 AWS Glue 的好处
使用 AWS 迁移您的数据管道可让您降低成本、提高性能并完全卸载 ETL 工作流所需的基础设施管理。
我们可以帮助您快速实施这项服务，让您更轻松地使用 Trianz 的 EVOVE（一种通过自动化迁移的 IP 和方法）转换数据，减少分析时间，并实现以下目标：
更快的数据集成
您组织内的工程师和开发人员可以使用 AWS Glue 可执行数据集成任务，例如提取、清理、规范化、合并、加载和运行可扩展的 ETL 工作流。这可让您减少分析数据并更快地使用数据所需的时间。
大规模自动化数据集成
AWS Glue 可自动完成抓取数据源、识别数据格式和建议存储数据架构所需的大部分工作。您还可以使用 AWS Glue 轻松运行和管理数千个 ETL 作业，或者使用通用 SQL 语言跨多个数据存储合并和复制数据。
无服务器且完全托管
AWS Glue 在无服务器环境中运行，其中管理复杂基础设施的工作被转移到 AWS。使用 Glue，无需预置、配置或扩展运行数据集成作业所需的资源。
经济高效
AWS Glue 比本地部署便宜七倍，比其他云选项便宜 55%。由于无需管理基础设施，因此您只需为作业运行时使用的资源付费。
ETL 迁移挑战和 Trianz 的解决方案
如果没有使用正确的工具和流程来测试和验证未来状态架构，转换旧式 ETL 可能会非常困难。借助我们高度自动化的 ETL 迁移方法，Trianz 能够转换高达 60% 的底层代码，以尽可能少的业务中断实现快速转型。
我们的专家团队如何超越传统的迁移流程，实现更快、更一致、更具可扩展性的 ETL 平台转换和现代化：
ETL 迁移项目中的主要风险 | Trianz 的解决方案 | |
|---|---|---|
| 数据丢失 | 由于设计变更、数据类型不匹配等原因，在目标状态下并非所有数据都会迁移到目标系统。 | 借助 AWS Schema Conversion Tool (SCT)，我们迁移了 100% 的架构和数据。 |
| 业务逻辑缺失 | ETL、脚本和报告中的业务逻辑并非全部迁移完毕。手动干预越多，丢失逻辑的风险就越高。 | 超过 90% 的业务逻辑通过 Trianz Evove 自动迁移。 |
| 对移民形势的理解不完整 | 缺乏文档、中小企业、对当前状态的了解和依赖关系导致迁移的业务和技术要求不完整。 | 我们的分析模块扫描整个景观以创建迁移库存 NS 谱系。 |
| 目标状态不稳定 | 不适当的设计和编码可能会导致平台性能不佳，从而造成不必要的重新设计/返工。 | 我们的转换器模块自动应用 AWS 最佳实践。 |
| 切换和上线延迟 | 质量差和缺乏信心会延迟 IT 和业务利益相关者的签字。 | Trianz 方法和自动回归确保质量和可靠性。 |
| 时间和成本超支 | 低估、缺乏自动化、更多的人工干预是时间和成本超支的根本原因。 | 我们的计算器非常成熟，可以预测 5% 以内的 TCO 准确度。 |
迁移到 AWS 数据和分析平台的用例
越来越多的组织正在转向云，以便以更低的成本更快地进行创新。然而，许多拥有本地 ETL 工作流的组织面临着转型挑战，这可能会扰乱业务。
除了使用 AWS Glue 进行 ETL 迁移来改进复杂的服务集成流程之外，Glue 还可以帮助您克服以下问题：
终止 ETL 平台
从即将终止使用或即将退役的传统 ETL 平台（例如 Informatica、DataStage、Ab Initio、Talend 等）迁移到 AWS Glue。
数字化现代化
与 IT 和业务领导者就转型计划进行合作，以制定战略、构建和采用 AWS 数据和分析平台。
可扩展性有限
内部部署 ETL 工具需要大量资源来建立、管理和维护，这使得它们复杂且难以扩展。
同质目标数据库的胶水迁移
迁移 ETL 工具以保护数据库投资，采取分阶段的方法，或者迁移 ETL 作业中底层嵌入的 SQL 代码以与 Redshift/Snowflake 兼容。
使用 AWS Glue 进行 ETL 迁移的实际操作
零售行业案例研究
一家领先的全球零售连锁店希望获得全渠道销售和营销分析以及客户 360 分析，以提高客户忠诚度并增加数字销售。他们需要将其旧数据和分析平台迁移到 AWS 上的现代云架构。
要了解 Trianz 如何使用 AWS Glue 来实现机器学习用例并帮助他们更好地了解客户行为，请阅读有关转变全球零售连锁店的数字营销运营的案例研究。
医疗行业案例研究
一家领先的全球医疗保健提供商希望利用云基础设施构建一个安全、可扩展且符合行业标准的云 IT 平台。他们需要现代且高度合规的分析功能来为其美国和欧盟地区提供医疗保健见解。
要了解 Trianz 如何使用 AWS Glue 构建符合严格准则和法规的灵活、可扩展且安全的分析平台，请阅读有关在 AWS 云上构建全球数据平台的案例研究。
Trianz 借助 AWS Glue 优势进行 ETL 迁移
对于 ETL 迁移的评估、迁移和验证，Trianz 使用专有工具和方法 EVOVE。通过采用高水平的自动化和可重复使用的组件，我们可以加速和高精度地将您的旧数据平台迁移到现代架构。
使用 Trianz 方法，可显著减少耗时且需要手动完成的迁移任务，帮助您避免错误并承担昂贵的技术债务。我们的方法可对更复杂的元素进行调整和优化，从而为您节省时间、金钱和资源。
Trianz 的迁移时间表和方法
为什么选择 Trianz 和 AWS 进行 ETL 迁移？
由于数据来自您企业的各个领域，因此很难以一种让整个组织的用户能够快速使用、分析、理解和采取行动的方式来管理这些数据。
Trianz 和 AWS可以帮助您使用 AWS Glue 将数据与数据工程师和 ETL 开发人员连接起来，从而轻松发现、准备和组合数据以进行分析、机器学习和应用程序开发。无论您的迁移规模或范围如何，我们都会帮助您更快地进行迁移并更快地实现转型优势。
