ETL 移行とは何ですか?
抽出、変換、ロード (ETL) 移行は、従来の ETL パイプライン内のコードをクラウド対応に変換するための増分移行アプローチです。コードの複雑さと、オンプレミスのデータ ウェアハウスやデータ・ レイクから移行する ETL パイプラインの数が多いため、このプロセスには時間とコストがかかる可能性があります。
Trianz の ETL 移行は、ネイティブの AWS サービスと、高度に自動化された繰り返し可能なフレームワークと方法論によって実現されています。AWS と Trianz を使用すると、レガシーデータベースと既存の ETL ツールから AWS Glue/Spark への移行時間を最大 50% 短縮できるため、レガシー ETL と依存データベース・プラットフォームをより迅速かつ安全に、より少ないリソースで廃止できます。
AWS Glue とは何ですか?
AWS Glue は、分析、機械学習、アプリケーション開発のためのデータプラットフォームの最新化を容易にする、完全に管理されたデータ統合サービスです。AWSGlue を導入することで、さまざまなデータソースを単一の検索可能なデータカタログに接続し、170 を超える AWS サービスで使用できるように変換できます。
AWS Glue の自動化機能は、データ統合にかかる手間を削減し、抽出、変換、ロード (ETL) ワークストリームをシームレスに拡張する機能を提供します。3 つの異なるインターフェイスから選択することで、データエンジニア、アナリスト、開発者はデータを変換でき、組織は分析時間を短縮し、数か月ではなく数分で実用的な洞察を得ることができます。
AWS Glue への移行のメリット
AWS を使用してデータパイプラインを移行すると、コストを削減し、パフォーマンスを向上させ、ETL ワークストリームに必要なインフラ管理の負荷を完全に軽減できます。
当社は、このサービスを迅速に実装し、自動化による移行を実現する IP および方法論である Trianz の EVOVE を使用してデータ変換を容易にし、分析時間を短縮して、次のことを実現できるよう支援します。
より高速なデータ統合
顧客の組織全体のエンジニアや開発者は、AWS Glue を使用して、抽出、クリーニング、正規化、結合、ロードなどのデータ統合タスクとスケーラブルな ETL ワークフローの実行に取り組むことができます。これにより、データの分析にかかる時間を短縮し、より早くデータを利用できるようになります。
大規模なデータ統合を自動化
AWS Glue は、データソースのクロール、データ形式の識別、データ保存用のスキーマの提案に必要な作業の多くを自動化します。また、AWS Glue を使用すると、何千もの ETL ジョブを簡単に実行および管理したり、共通の SQL 言語を使用して複数のデータストア間でデータを結合および複製したりすることもできます。
サーバーレスで完全に管理された
AWS Glue は、複雑なインフラ管理が AWS にオフロードされるサーバーレス環境で実行されます。Glue を使用すると、データ統合ジョブを実行するために必要なリソースを用意、構成、または拡張する必要がありません。
コスト効率が良い
AWS Glue はオンプレミスより 7 倍安く、他のクラウド オプションより 55% 安くなっています。管理するインフラがないため、ジョブの実行中に使用するリソースに対してのみ料金を支払います。
ETL 移行の課題と Trianz のソリューション
適切なツールとプロセスを使用して将来のアーキテクチャをテストおよび検証しないと、従来の ETL の変換は非常に困難になる可能性があります。高度に自動化された ETL 移行アプローチにより、Trianz は基盤となるコードの最大 60% を変換し、業務の中断を最小限に抑えながら迅速な変革を実現できます。
当社の専門チームは、従来の移行プロセスを超えて、ETL プラットフォームの変換と最新化をより迅速、より一貫性があり、よりスケーラブルに行う方法を次のように説明しています。
ETL移行プロジェクトにおける主なリスク | Trianzのソリューション | |
|---|---|---|
| データ損失 | ターゲット状態にある間、設計変更、データ型の不一致などにより、すべてのデータがターゲット システムに移行されせん。 | AWS スキーマ変換ツール (SCT) を使用して、スキーマとデータを 100% 移行します。 |
| ビジネスロジックの喪失 | ETL、スクリプト、レポートのビジネス・ロジックが完全に移行されません。手動による介入が増えるほど、ロジックが失われるリスクが高くなります。 | Trianz Evove を使用すると、ビジネス・ロジックの 90% 以上が自動的に移行されます。 |
| 移行状況の不完全な理解 | ドキュメント、SME、現状の理解が不足して、依存関係があるため、移行に関するビジネス要件と技術要件が不完全になります。 | アナライザー モジュールは、環境全体をスキャンして、移行インベントリ NS 系統を作成します。 |
| 不安定なターゲット状態 | 不適切な設計とコーディングにより、プラットフォームのパフォーマンスが低下し、不必要な再設計ややり直しが必要になってしまう可能性があります。 | 当社のコンバーターモジュールは、AWS のベストプラクティスを自動的に適用します。 |
| 切り替えと稼働開始の遅延 | 品質の低さと信頼性の欠如により、IT およびビジネス関係者からの承認が遅れます。 | Trianz の方法論と自動回帰により、品質と信頼性が保証されます。 |
| 時間とコストの超過 | 過小評価、自動化の欠如、手動介入の増加が、時間とコストの超過の根本的な原因です。 | 当社の計算ツールは成熟しており、TCO を 5% 以内の精度で予測します。 |
AWS データおよび分析プラットフォームへの移行のユースケース
より低コストでより迅速にイノベーションを実現するために、クラウドに移行する組織が増えています。しかし、オンプレミスの ETL ワークストリームを持つ組織の多くは、ビジネスに混乱をもたらす可能性のある変革の課題に直面しています。
AWS Glue を使用した ETL 移行を使用して複雑なサービス統合プロセスを改善すること以外にも、Glue は次の問題を解決するのにも役立ちます。
寿命を迎えたETLプラットフォーム
Informatica、DataStage、Ab Initio、Talend など、サポート終了が近づいている、または廃止されるレガシー ETL プラットフォームから AWS Glue に移行します。
デジタル近代化
IT およびビジネスリーダーと連携して変革イニシアチブを推進し、AWS データおよび分析プラットフォームの戦略策定、設計、導入を行います。
スケーラビリティの制限
オンプレミスの ETL ツールは、立ち上げ、管理、保守に多大なリソースを必要とするため、複雑で拡張が困難です。
同種のターゲット DB を使用したGlue移行
ETL ツールを移行して DB 投資を保護し、段階的なアプローチを採用するか、ETL ジョブの基礎となる埋め込み SQL コードを移行して Redshift・Snowflake と互換性を持たせます。
AWS Glue を使用した ETL 移行の実践
小売業界の事例
大手グローバル小売チェーンは、顧客ロイヤルティの向上とデジタル販売の拡大のために、オムニチャネル販売およびマーケティング分析と顧客 360 分析を導入したいと考えていました。従来のデータと分析プラットフォームを AWS 上の最新のクラウド アーキテクチャに移行する必要がありました。
Trianz が AWS Glue を使用して機械学習のユースケースを実現し、顧客の行動をより深く理解できるようにした方法については、グローバル小売チェーンのデジタルマーケティング業務の変革に関するこのケーススタディをお読みください。
ヘルスケア業界の事例
大手グローバル医療サービス提供会社は、クラウド インフラストラクチャを活用して、安全でスケーラブルな業界準拠のクラウド IT プラットフォームを構築したいと考えていました。米国と EU の地域における医療に関する洞察を生成するために、最新の高度に準拠した分析機能が必要でした。
Trianz が AWS Glue を使用して、厳格なガイドラインと規制に準拠した柔軟でスケーラブルかつ安全な分析プラットフォームを構築した方法については、 AWS クラウドでのグローバルデータプラットフォームの構築に関するこのケーススタディをお読みください。
AWS Glue の利点を活用した Trianz の ETL 移行
Trianz は、ETL 移行の評価、移行、検証に、独自のツールと方法論である EVOVE を使用しています。高度な自動化と再利用可能なコンポーネントを採用することで、レガシー データ プラットフォームから最新のアーキテクチャへの迅速かつ高精度な移行を実現できます。
Trianz のアプローチを使用すると、時間のかかる手動の移行タスクが大幅に削減され、エラーを回避し、高額な技術コストも削減されます。当社のアプローチでは、より複雑な要素の調整と最適化を実現し、時間、費用、リソースを節約できます。
Trianz の移行タイムラインと方法論
ETL 移行に Trianz と AWS を使用する理由
ビジネスのあらゆる領域からデータが集まるため、組織全体のユーザーがデータを迅速に使用、分析、理解し、対応できるような方法でデータを管理するのは難しい場合があります。
Trianz と AWS は、 AWS Glue を使用してデータエンジニアや ETL 開発者とデータを接続して、分析、機械学習、アプリケーション開発用のデータを簡単に検出、準備、結合できるように支援します。移行の規模や範囲に関係なく、より迅速に移行し、変革のメリットをより早く実現できるようお手伝いします。
