O que é migração ETL?
A migração de ETL (Extrair, Transformar e Carregar) é uma abordagem de migração incremental para converter o código em pipelines ETL legados para torná-los habilitados para a nuvem. Este pode ser um processo demorado e caro devido à complexidade do código e ao alto número de pipelines ETL a serem migrados de data warehouses e data lakes locais.
A migração de ETL da Trianz é alimentada por serviços nativos da AWS e por nossa estrutura e metodologia altamente automatizadas e repetíveis. Com a AWS e a Trianz, você pode diminuir o tempo de migração de bancos de dados legados e ferramentas ETL existentes para a AWS Glue/Spark em até 50%, permitindo que você aposente plataformas de ETL legadas e de banco de dados dependentes com mais rapidez, segurança e com menos recursos.
O que é AWS Glue?
A AWS Glue é um serviço de integração de dados totalmente gerenciado que facilita a modernização de sua plataforma de dados para análise, aprendizado de máquina e desenvolvimento de aplicativos. Ao adotar o AWS Glue, você pode conectar várias fontes de dados em um único catálogo de dados pesquisável a ser transformado para uso em mais de 170 serviços da AWS.
Os recursos de automação da AWS Glue ajudam a reduzir o esforço necessário para integração de dados, fornecendo a capacidade de dimensionar perfeitamente seus fluxos de trabalho de extração, transformação e carga (ETL). Com três interfaces diferentes para escolher, engenheiros de dados, analistas e desenvolvedores podem transformar dados, permitindo que sua organização reduza o tempo de análise e obtenha insights acionáveis em minutos, em vez de meses.
Os benefícios da migração para a AWS Glue
A migração de seus pipelines de dados com a AWS permite reduzir custos, melhorar o desempenho e descarregar totalmente o gerenciamento de infraestrutura necessário para seus fluxos de trabalho de ETL.
Podemos ajudá-lo a implementar rapidamente este serviço, facilitando a transformação de dados com o EVOVE da Trianz, um IP e metodologia para migrar com automação, reduzir o tempo de análise e obter o seguinte:
Integração de dados mais rápida
Os engenheiros e desenvolvedores em toda a sua organização podem usar a AWS Glue para trabalhar em tarefas de integração de dados, como extração, limpeza, normalização, combinação, carregamento e execução de fluxos de trabalho de ETL escaláveis. Isso permite reduzir o tempo necessário para analisar seus dados e colocá-los em uso mais rapidamente.
Automatize sua integração de dados em escala
A AWS Glue automatiza grande parte do esforço necessário para rastrear suas fontes de dados, identificar formatos de dados e sugerir esquemas para armazenar seus dados. Você também pode usar a AWS Glue para executar e gerenciar facilmente milhares de trabalhos de ETL ou para combinar e replicar dados em vários armazenamentos de dados usando a linguagem SQL comum.
Sem servidor e totalmente gerenciado
A AWS Glue é executada em um ambiente sem servidor, na qual o gerenciamento de infraestruturas complexas é transferido para a AWS. Com a Glue, não há necessidade de provisionar, configurar ou dimensionar os recursos necessários para executar seus trabalhos de integração de dados.
Econômico
A AWS Glue é sete vezes mais econômica que a solução no local e 55% mais barata do que outras opções de nuvem. Como não há infraestrutura para gerenciar, você paga apenas pelos recursos que seus trabalhos usam durante a execução.
Desafios da migração ETL e soluções Trianz
A conversão de ETL legado pode ser incrivelmente problemática quando as ferramentas e processos corretos não são usados para testar e validar sua arquitetura de estado futuro. Com nossa abordagem altamente automatizada para migração de ETL, a Trianz é capaz de converter até 60% do código subjacente para obter uma transformação rápida com a menor interrupção possível dos negócios.
Veja como nossas equipes de especialistas vão além dos processos tradicionais de migração para obter mais rápida, mais consistente e mais escalável das plataformas de ETL:
Principais riscos em um projeto de migração de ETL | Solução Trianz | |
|---|---|---|
| Perda de dados | Nem todos os dados migram para o sistema de destino devido a alterações de design, incompatibilidade de tipo de dados, etc., enquanto estão no estado de destino. | Com a AWS Schema Conversion Tool (SCT), migramos 100% do esquema e dos dados. |
| Perda da lógica de negócios | Nem toda a lógica de negócios nos ETLs, scripts e relatórios é totalmente migrada. Quanto maior a intervenção manual, maior o risco de perder da lógica. | Mais de 90% da lógica de negócios é migrada automaticamente com o Trianz Evove. |
| Compreensão incompleta do cenário de migração | A falta de documentação, de especialistas, de compreensão do estado atual e de dependências resulta em requisitos comerciais e técnicos incompletos para a migração. | Nosso Analyzer Module examina todo o cenário para criar a linhagem NS do inventário de migração. |
| Estado-alvo instável | O Design e codificação inadequados podem levar a uma plataforma com baixo desempenho, resultando em redesenho/retrabalho desnecessário. | Nosso Converter Module aplica automaticamente as melhores práticas da AWS. |
| Atrasos no lançamento e na implementação | A baixa qualidade e falta de confiança atrasam as aprovações das partes interessadas de TI e negócios. | A metodologia Trianz e as regressões automatizadas garantem qualidade e confiabilidade. |
| Excesso de tempo e de orçamento | Subestimação, falta de automação e maior intervenção manual são as causas principais do excesso de tempo e custo. | Nossas calculadoras são avançadas e preveem o TCO com precisão de 5%. |
Casos de uso para migração para a plataforma de dados e análise da AWS
Um número cada vez maior de organizações está migrando para a nuvem em busca de maneiras mais rápidas de inovar a custos mais baixos. No entanto, muitas com fluxos de trabalho de ETL no local enfrentam desafios de transformação que podem interromper os negócios.
Além de usar a migração de ETL com a AWS Glue para melhorar processos complexos de integração de serviços, a Glue também pode ajudar você a superar o seguinte:
Plataformas de ETL de fim de vida útil
Migre para a AWS Glue a partir plataformas ETL legadas que estão chegando ao fim de sua vida útil ou sendo descontinuadas, como Informatica, DataStage, Ab Initio, Talend e outras.
Modernização Digital
Faça parceria com líderes de TI e negócios em iniciativas de transformação para criar estratégias, arquitetar e adotar uma plataforma de dados e análise da AWS.
Escalabilidade limitada
Ferramentas de ETL no local exigem recursos significativos para serem implantadas, gerenciadas e mantidas, o que as torna complexas e difíceis de escalonar.
Migração da Glue com banco de dados de destino homogêneo
Migre a ferramenta de ETL para proteger os investimentos no banco de dados, adote uma abordagem em fases ou migre o código SQL incorporado subjacente nos trabalhos de ETL para que sejam compatíveis com o Redshift/Snowflake.
Migração ETL com a AWS Glue em ação
Estudo de caso do setor de varejo
Uma rede de varejo global líder queria adquirir análises de vendas e marketing omnicanal e análises de 360 graus do cliente para melhorar a fidelidade do cliente e aumentar as vendas digitais. Eles precisavam migrar sua plataforma de dados e análises legada para uma arquitetura de nuvem moderna na AWS.
Para saber como a Trianz usou a AWS Glue para habilitar casos de uso de aprendizado de máquina e ajudá-los a entender melhor o comportamento do cliente, leia este estudo de caso sobre Transformação de operações de marketing digital para uma rede global de varejo.
Estudo de caso do setor de saúde
Um importante provedor global de serviços de saúde queria aproveitar a infraestrutura de nuvem para criar uma plataforma de TI em nuvem segura, escalável e compatível com o setor. Eles precisavam de recursos analíticos modernos e altamente compatíveis para gerar insights de assistência médica para suas áreas geográficas dos EUA e da UE.
Para saber como a Trianz usou o AWS Glue para criar uma plataforma de análise flexível, escalável e segura, alinhada a diretrizes e regulamentações rígidas, leia este estudo de caso sobre como criar uma plataforma de dados global na nuvem da AWS.
Migração ETL da Trianz com a vantagem da AWS Glue
Para avaliação, migração e validação da migração ETL, a Trianz usa o EVOVE, uma ferramenta e metodologia proprietárias. Ao empregar altos níveis de automação e componentes reutilizáveis, podemos conduzir migrações aceleradas e de alta precisão de suas plataformas de dados legadas para arquiteturas modernas.
Com a abordagem da Trianz, as tarefas de migração manuais e demoradas são significativamente reduzidas, ajudando você a evitar erros e a incorrer em dívidas técnicas custosas. Nossa abordagem oferece ajuste e otimização dos elementos mais complexos, economizando tempo, dinheiro e recursos.
Cronograma e metodologia de migração do Trianz
Por que escolher a Trianz e AWS para migração de ETL?
Com dados provenientes de todas as áreas da sua empresa, pode ser difícil gerenciá-los de forma que os usuários de toda a sua organização possam consumi-los, analisá-los, entendê-los e agir rapidamente.
A Trianz e a AWS podem ajudar você a conectar dados com engenheiros de dados e desenvolvedores de ETL usando a AWS Glue para facilitar a descoberta, preparação e combinação de dados para análise, aprendizado de máquina e desenvolvimento de aplicativos. Não importa o tamanho ou o escopo da sua migração, estamos aqui para ajudá-lo a migrar mais rapidamente e perceber os benefícios da transformação mais cedo.
