Teradata에서 Snowflake로 마이그레이션

기술 대기업, Teradata에서 이전을 추진

다국적 기술 대기업은 높은 라이선스 비용과 성능 문제에 부딪힌 후 데이터베이스 서비스에 대한 지원이 필요했습니다. 이 대기업은 다른 하이테크 서비스 및 제품과 함께 네트워킹 하드웨어, 소프트웨어 및 통신 장비를 제조하고 판매합니다.

Teradata 및 데이터베이스 성능을 둘러싼 비즈니스 과제

이 회사는 기존 솔루션에서 새로운 현대적 데이터 웨어하우징 플랫폼으로 마이그레이션하고자 했습니다. 여기에는 기존 Teradata 데이터베이스 플랫폼에서 클라우드 네이티브 Snowflake 데이터 웨어하우스로 마이그레이션하는 것이 포함됩니다.

Teradata는 SAP Business Objects 내에서 특정 SQL 구문을 사용했고, 회사는 Snowflake로 마이그레이션하는 과정에 있었습니다. 이러한 SQL 구문은 새로운 Snowflake 플랫폼에서 작동하도록 다시 작성하고 다시 통합해야 했습니다.

Teradata-Snowflake 변환을 위한 개념 증명 디자인

Trianz는 SQL 쿼리 변환을 자동화하기 위한 Proof of Concept를 설계했습니다. 여기에는 하나의 중앙 집중화된 비즈니스 객체 유니버스에 포함된 5개의 웹 인텔리전스 보고서가 포함되었습니다. 그런 다음 의미 계층 변환 도구를 사용하여 Teradata와 Snowflake 간의 SQL 변환을 자동화했습니다.

프로젝트 시작부터 완료까지의 기간은 한 달로 정해졌습니다.

Trianz가 Teradata에서 Snowflake로 마이그레이션을 접근한 방법

Snowflake 데이터 엔지니어 2명과 Business Objects 아키텍트 1명으로 구성된 Trianz 팀이 이 프로젝트를 감독했습니다. 그들은 SAP Business Object 요구 사항, 디자인 및 비즈니스 프로세스를 분석하고 문서화하는 것으로 시작했습니다. 이는 Snowflake로의 마이그레이션 중에 성공적인 구현에 도움이 될 것입니다.

다음으로, Trianz EVOVE 플랫폼을 사용하여 SQL 구문을 Snowflake 호환 형식으로 변환한 다음, Trianz는 변환된 구문을 중앙 집중식 Business Objects Universe에 다시 통합했습니다.

SQL 테이블의 약 90%가 자동으로 변환되었고, 마지막 10%는 Trianz의 수동 개입이 필요했습니다. 기술 클라이언트가 쿼리를 수동으로 변환하고 있다는 점을 고려하면, 이 전환은 엄청난 시간을 절약해 주었습니다.

변환을 검증하기 위해 Webl 보고서를 새로운 Snowflake 환경에 대해 테스트했습니다. 이를 통해 보고서가 성공적으로 실행되고 데이터가 Teradata와 Snowflake에서 모두 일치하는지 확인할 수 있습니다. 모든 보고서는 데이터 일치 검사와 함께 성공적으로 실행되었습니다.

Snowflake로 이전한 후의 변형 효과

이 프로젝트에서 Business Object 인스턴스의 약 75%가 Snowflake로 프로그래밍 방식으로 변환되었습니다. Trianz EVOVE는 여기에서 큰 도움이 되었으며, 6개의 테이블은 수동 변환이 필요했고, 파생 테이블의 95% 이상을 자동으로 변환했습니다.

프로젝트 시작 후 첫 주 안에 보고서의 40%가 의도한 결과를 달성했습니다. 한 달 안에 전체 변환 및 마이그레이션 프로세스가 완료되었습니다. 일반적으로 이러한 프로세스는 수동으로 완료하는 데 최대 3개월이 걸립니다.

또한 Trianz는 Snowflake에서 사용하도록 최적화할 수 있는 프로젝트 범위 밖의 7개 테이블을 식별했습니다. 클라이언트는 향후 5~6개의 SAP 유니버스로 확장하여 Snowflake에서 데이터 운영을 미래 지향적으로 만들 수도 있습니다.

프로그래밍 오류의 분석