ETL 마이그레이션이란?
추출, 변환 및 로드(ETL) 마이그레이션은 레거시 ETL 파이프라인 내의 코드를 변환하여 클라우드 지원으로 만드는 증분 마이그레이션 방식입니다. 이는 코드 복잡성과 온프레미스 데이터 웨어하우스 및 데이터 레이크에서 마이그레이션할 ETL 파이프라인의 수가 많기 때문에 시간이 많이 걸리고 비용이 많이 드는 프로세스가 될 수 있습니다.
Trianz의 ETL 마이그레이션은 기본 AWS 서비스와 고도로 자동화되고 반복 가능한 프레임워크 및 방법론을 기반으로 합니다. AWS와 Trianz를 사용하면 레거시 데이터베이스와 기존 ETL 도구에서 AWS Glue/Spark로 마이그레이션하는 시간을 최대 50%까지 단축하여 레거시 ETL 및 종속 데이터베이스 플랫폼을 더 빠르고 안전하게, 그리고 더 적은 리소스로 폐기할 수 있습니다.
AWS Glue란 무엇인가요?
AWS Glue는 분석, 머신 러닝 및 애플리케이션 개발을 위해 데이터 플랫폼을 현대화하는 것을 쉽게 해주는 완전 관리형 데이터 통합 서비스입니다. AWS Glue를 채택하면 다양한 데이터 소스를 단일 검색 가능한 데이터 카탈로그로 연결하여 170개 이상의 AWS 서비스에서 사용하도록 변환할 수 있습니다.
AWS Glue의 자동화 기능은 데이터 통합에 필요한 노력을 줄이는 데 도움이 되며, ETL(추출, 변환, 로드) 작업 스트림을 원활하게 확장할 수 있는 기능을 제공합니다. 선택할 수 있는 세 가지 다른 인터페이스를 통해 데이터 엔지니어, 분석가 및 개발자는 데이터를 변환하여 조직이 분석 시간을 단축하고 몇 개월이 아닌 몇 분 만에 실행 가능한 통찰력을 얻을 수 있습니다.
AWS Glue로 마이그레이션하는 이점
AWS로 데이터 파이프라인을 마이그레이션하면 비용을 절감하고, 성능을 개선하고, ETL 작업 스트림에 필요한 인프라 관리의 부담을 완전히 덜어낼 수 있습니다.
Trianz의 EVOVE를 사용하면 자동화를 통해 데이터를 마이그레이션하고 분석 시간을 단축하며 다음 사항을 실현할 수 있는 IP 및 방법론을 통해 데이터를 보다 쉽게 변환하여 서비스를 신속하게 구현할 수 있도록 도와드립니다.
더 빠른 데이터 통합
귀하의 조직 전체의 엔지니어와 개발자는 다음을 사용할 수 있습니다. AWS Glue는 추출, 정리, 정규화, 결합, 로딩, 확장 가능한 ETL 워크플로 실행과 같은 데이터 통합 작업을 수행합니다. 이를 통해 데이터를 분석하고 더 빨리 사용하는 데 걸리는 시간을 줄일 수 있습니다.
규모에 맞춰 데이터 통합을 자동화하세요
AWS Glue는 데이터 소스를 크롤링하고, 데이터 형식을 식별하고, 데이터를 저장할 스키마를 제안하는 데 필요한 많은 노력을 자동화합니다. 또한 AWS Glue를 사용하여 수천 개의 ETL 작업을 쉽게 실행하고 관리하거나 공통 SQL 언어를 사용하여 여러 데이터 저장소에서 데이터를 결합하고 복제할 수 있습니다.
서버리스 및 완전 관리형
AWS Glue는 복잡한 인프라 관리가 AWS로 오프로드되는 서버리스 환경에서 실행됩니다. Glue를 사용하면 데이터 통합 작업을 실행하는 데 필요한 리소스를 프로비저닝, 구성 또는 확장할 필요가 없습니다.
비용 효율적
AWS Glue는 온프레미스보다 7배 저렴하고 다른 클라우드 옵션보다 55% 저렴합니다. 관리할 인프라가 없으므로 작업이 실행되는 동안 사용하는 리소스에 대해서만 비용을 지불하면 됩니다.
ETL 마이그레이션 과제 및 Trianz 솔루션
적절한 도구와 프로세스를 사용하여 미래 상태 아키텍처를 테스트하고 검증하지 않으면 레거시 ETL을 변환하는 것은 엄청나게 문제가 될 수 있습니다. ETL 마이그레이션에 대한 고도로 자동화된 접근 방식을 통해 Trianz는 기본 코드의 최대 60%를 변환하여 가능한 한 적은 비즈니스 중단으로 신속한 변환을 달성할 수 있습니다.
다음은 전문가 팀이 기존 마이그레이션 프로세스를 뛰어넘어 ETL 플랫폼의 더 빠르고 일관되고 확장 가능한 변환 및 현대화를 위해 수행하는 방법입니다.
ETL 마이그레이션 프로젝트의 주요 위험 | 트리안즈 솔루션 | |
|---|---|---|
| 데이터 손실 | 설계 변경, 데이터 유형 불일치 등으로 인해 대상 상태에 있는 동안 모든 데이터가 대상 시스템으로 마이그레이션되지 않는 경우가 있습니다. | AWS 스키마 변환 도구(SCT)를 사용하면 스키마와 데이터를 100% 마이그레이션할 수 있습니다. |
| 비즈니스 로직의 손실 | ETL, 스크립트 및 보고서의 모든 비즈니스 로직이 완전히 마이그레이션되는 것은 아닙니다. 수동 개입이 많을수록 로직을 잃을 위험이 높아집니다. | Trianz Evove를 사용하면 비즈니스 로직의 90% 이상이 자동으로 마이그레이션됩니다. |
| 이주 환경에 대한 불완전한 이해 | 문서화, 중소기업, 현재 상태에 대한 이해 및 종속성이 부족하여 마이그레이션에 필요한 비즈니스 및 기술 요구 사항이 불완전합니다. | 당사의 분석 모듈은 전체 환경을 스캔하여 마이그레이션 인벤토리 NS 계통을 생성합니다. |
| 불안정한 대상 상태 | 부적절한 설계와 코딩으로 인해 플랫폼이 제대로 작동하지 않을 수 있으며, 불필요한 재설계/재작업이 발생할 수 있습니다. | Converter 모듈은 AWS 모범 사례를 자동으로 적용합니다. |
| 컷오버 및 라이브 전환 지연 | 품질이 낮고 자신감이 부족하면 IT 및 비즈니스 이해 관계자의 승인이 늦어집니다. | Trianz 방법론과 자동 회귀 분석을 통해 품질과 신뢰성을 보장합니다. |
| 시간 및 비용 초과 | 과소평가, 자동화 부족, 수작업 개입 증가는 시간 및 비용 초과의 근본 원인입니다. | 당사 계산기는 성숙되어 있으며 5% 정확도 내에서 TCO를 예측합니다. |
AWS 데이터 및 분석 플랫폼으로의 마이그레이션을 위한 사용 사례
점점 더 많은 조직이 더 낮은 비용으로 혁신을 더 빠르게 실현하기 위해 클라우드로 이동하고 있습니다. 그러나 온프레미스 ETL 워크스트림을 사용하는 많은 조직은 비즈니스를 중단시킬 수 있는 변환 과제에 직면합니다.
AWS Glue를 사용하여 ETL 마이그레이션을 사용하여 복잡한 서비스 통합 프로세스를 개선하는 것 외에도 Glue는 다음 문제를 극복하는 데 도움을 줄 수 있습니다.
ETL 플랫폼의 수명 종료
Informatica, DataStage, Ab Initio, Talend 등 수명이 다하거나 사용이 중단되는 기존 ETL 플랫폼에서 AWS Glue로 마이그레이션하세요.
디지털 현대화
IT 및 비즈니스 리더와 협력하여 AWS 데이터 및 분석 플랫폼에 대한 전략을 수립하고, 설계하고, 도입하기 위한 혁신 이니셔티브를 추진합니다.
제한된 확장성
온프레미스 ETL 도구는 구축, 관리 및 유지에 상당한 리소스가 필요하므로 복잡하고 확장하기 어렵습니다.
동종 대상 DB를 사용한 Glue 마이그레이션
DB 투자를 보호하기 위해 ETL 도구를 마이그레이션하거나 단계적 접근 방식을 취하거나 ETL 작업에 내장된 기본 SQL 코드를 Redshift/Snowflake와 호환되도록 마이그레이션합니다.
AWS Glue를 사용한 ETL 마이그레이션 실행
소매업계 사례 연구
선도적인 글로벌 리테일 체인은 고객 충성도를 개선하고 디지털 판매를 늘리기 위해 옴니채널 판매 및 마케팅 분석과 고객 360 분석을 인수하고자 했습니다. 그들은 레거시 데이터와 분석 플랫폼을 AWS의 최신 클라우드 아키텍처로 마이그레이션해야 했습니다.
Trianz가 AWS Glue를 사용하여 머신 러닝 사용 사례를 활성화하고 고객 행동을 더 잘 이해하도록 도운 방법에 대해 알아보려면 글로벌 리테일 체인의 디지털 마케팅 운영 혁신에 대한 사례 연구를 읽어보세요.
헬스케어 산업 사례 연구
선도적인 글로벌 헬스케어 제공업체가 클라우드 인프라를 활용하여 안전하고 확장 가능하며 업계를 준수하는 클라우드 IT 플랫폼을 구축하고자 했습니다. 그들은 미국 및 EU 지역에 대한 헬스케어 통찰력을 생성하기 위해 현대적이고 규정을 잘 준수하는 분석 기능이 필요했습니다.
Trianz가 AWS Glue를 사용하여 엄격한 지침과 규정을 준수하는 유연하고 확장 가능하며 안전한 분석 플랫폼을 구축한 방법에 대해 알아보려면 AWS 클라우드에서 글로벌 데이터 플랫폼 구축 사례 연구를 읽어보세요.
AWS Glue Advantage를 활용한 Trianz의 ETL 마이그레이션
ETL 마이그레이션의 평가, 마이그레이션 및 검증을 위해 Trianz는 독점 도구 및 방법론인 EVOVE를 사용합니다. 높은 수준의 자동화와 재사용 가능한 구성 요소를 사용하여 레거시 데이터 플랫폼을 최신 아키텍처로 가속되고 고정확도 마이그레이션할 수 있습니다.
Trianz 접근 방식을 사용하면 시간 소모적이고 수동적인 마이그레이션 작업이 크게 줄어들어 오류를 피하고 값비싼 기술 부채를 발생시키는 데 도움이 됩니다. 당사의 접근 방식은 보다 복잡한 요소의 튜닝 및 최적화를 제공하여 시간, 비용 및 리소스를 절약합니다.
Trianz의 마이그레이션 타임라인 및 방법론
ETL 마이그레이션을 위해 Trianz와 AWS를 선택해야 하는 이유는 무엇입니까?
기업의 모든 부문에서 데이터가 유입되면서, 조직 전체의 사용자가 데이터를 신속하게 사용하고, 분석하고, 이해하고, 조치를 취할 수 있는 방식으로 데이터를 관리하는 것은 어려울 수 있습니다.
Trianz와 AWS는 AWS Glue를 사용하여 데이터 엔지니어 및 ETL 개발자와 데이터를 연결하여 분석, 머신 러닝 및 애플리케이션 개발을 위해 데이터를 쉽게 검색, 준비 및 결합할 수 있도록 도와드립니다. 마이그레이션의 규모나 범위에 관계없이, 저희는 귀하가 더 빠르게 마이그레이션하고 더 빨리 변환 혜택을 실현할 수 있도록 도와드립니다.
