¿Qué es la migración ETL?
La migración de extracción, transformación y carga (ETL) es un enfoque de migración incremental para convertir el código dentro de los canales de ETL heredados para que sean compatibles con la nube. Este puede ser un proceso costoso y que requiere mucho tiempo debido a la complejidad del código y la gran cantidad de canales de ETL que se deben migrar desde los almacenes de datos y lagos de datos locales.
La migración de ETL de Trianz está impulsada por los servicios nativos de AWS y nuestro marco y metodología altamente automatizados y repetibles. Con AWS y Trianz, puede reducir el tiempo de migración de bases de datos heredadas y herramientas ETL existentes a AWS Glue/Spark hasta en un 50 %, lo que le permite retirar las plataformas de bases de datos dependientes y ETL heredadas de manera más rápida, segura y con menos recursos.
¿Qué es AWS Glue?
AWS Glue es un servicio de integración de datos totalmente administrado que facilita la modernización de su plataforma de datos para análisis, aprendizaje automático y desarrollo de aplicaciones. Al adoptar AWS Glue, puede conectar varias fuentes de datos en un único catálogo de datos con capacidad de búsqueda para transformarlo y utilizarlo en más de 170 servicios de AWS.
Las capacidades de automatización de AWS Glue ayudan a reducir el esfuerzo necesario para la integración de datos, lo que brinda la capacidad de escalar sin inconvenientes sus flujos de trabajo de extracción, transformación y carga (ETL). Con tres interfaces diferentes para elegir, los ingenieros de datos, analistas y desarrolladores pueden transformar los datos, lo que permite que su organización reduzca el tiempo de análisis y obtenga información útil en minutos en lugar de meses.
Los beneficios de migrar a AWS Glue
La migración de sus canales de datos con AWS le permite reducir costos, mejorar el rendimiento y descargar por completo la administración de la infraestructura necesaria para sus flujos de trabajo ETL.
Podemos ayudarle a implementar rápidamente este servicio, facilitando la transformación de datos con EVOVE de Trianz, una IP y metodología para migrar con automatización, reducir el tiempo de análisis y lograr lo siguiente:
Integración de datos más rápida
Los ingenieros y desarrolladores de toda su organización pueden usar AWS Glue para trabajar en tareas de integración de datos, como extracción, limpieza, normalización, combinación, carga y ejecución de flujos de trabajo ETL escalables. Esto le permite reducir el tiempo que lleva analizar sus datos y ponerlos en uso más rápido.
Automatice su integración de datos a escala
AWS Glue automatiza gran parte del esfuerzo necesario para rastrear las fuentes de datos, identificar formatos de datos y sugerir esquemas para almacenarlos. También puede utilizar AWS Glue para ejecutar y administrar fácilmente miles de trabajos ETL o para combinar y replicar datos en varios almacenes de datos mediante el lenguaje SQL común.
Sin servidor y totalmente administrado
AWS Glue se ejecuta en un entorno sin servidor, donde la gestión de la infraestructura compleja se delega en AWS. Con Glue, no es necesario aprovisionar, configurar ni escalar los recursos necesarios para ejecutar los trabajos de integración de datos.
Rentable
AWS Glue es siete veces más económico que las opciones locales y un 55 % más económico que otras opciones en la nube. Como no hay infraestructura que administrar, solo pagas por los recursos que usan tus trabajos mientras se ejecutan.
Desafíos de la migración de ETL y soluciones de Trianz
La conversión de ETL heredada puede ser increíblemente problemática cuando no se utilizan las herramientas y los procesos adecuados para probar y validar la arquitectura de su estado futuro. Con nuestro enfoque altamente automatizado para la migración de ETL, Trianz puede convertir hasta el 60 % del código subyacente para lograr una transformación rápida con la menor interrupción posible del negocio.
Así es como nuestros equipos de expertos van más allá de los procesos de migración tradicionales para lograr una conversión y modernización más rápida, más consistente y más escalable de las plataformas ETL:
Principales riesgos en un proyecto de migración ETL | La solución de Trianz | |
|---|---|---|
| Pérdida de datos | No todos los datos migran al sistema de destino debido a cambios de diseño, falta de coincidencia de tipos de datos, etc., mientras están en el estado de destino. | Con la herramienta de conversión de esquemas de AWS (SCT), migramos el 100% del esquema y los datos. |
| Pérdida de lógica empresarial | No toda la lógica empresarial de los procesos ETL, scripts e informes se migra por completo. Cuanto mayor sea la intervención manual, mayor será el riesgo de perder la lógica. | Más del 90% de la lógica empresarial se migra automáticamente con Trianz Evove. |
| Comprensión incompleta del panorama migratorio | La falta de documentación, de PYMES, de comprensión del estado actual y de dependencias dan como resultado requisitos comerciales y técnicos incompletos para la migración. | Nuestro módulo analizador escanea todo el panorama para crear el inventario de migración del linaje NS. |
| Estado objetivo inestable | Un diseño y una codificación inadecuados podrían generar una plataforma que no funcione bien, lo que daría lugar a un rediseño o una reelaboración innecesarios. | Nuestro módulo de conversión aplica automáticamente las mejores prácticas de AWS. |
| Retrasos en la transición y la puesta en marcha | La mala calidad y la falta de confianza retrasan las aprobaciones de las partes interesadas de TI y del negocio. | La metodología Trianz y las regresiones automatizadas garantizan la calidad y la confiabilidad. |
| Exceso de tiempo y costos | La subestimación, la falta de automatización y la mayor intervención manual son las causas fundamentales del sobrecosto y el sobrecosto. | Nuestras calculadoras son maduras y predicen el TCO con una precisión del 5%. |
Casos de uso para la migración a la plataforma de datos y análisis de AWS
Cada vez más organizaciones se están trasladando a la nube en busca de formas más rápidas de innovar a un menor costo. Sin embargo, muchas de ellas con flujos de trabajo ETL locales enfrentan desafíos de transformación que pueden afectar el negocio.
Además de utilizar la migración ETL con AWS Glue para mejorar los procesos complejos de integración de servicios, Glue también puede ayudarlo a superar lo siguiente:
Plataformas ETL de fin de vida útil
Migre a AWS Glue desde plataformas ETL heredadas que se acercan al final de su vida útil o están siendo retiradas, como Informatica, DataStage, Ab Initio, Talend y otras.
Modernización digital
Colaborar con líderes comerciales y de TI en iniciativas de transformación para diseñar estrategias, diseñar y adoptar una plataforma de datos y análisis de AWS.
Escalabilidad limitada
Las herramientas ETL locales requieren recursos importantes para su funcionamiento, gestión y mantenimiento, lo que las hace complejas y difíciles de escalar.
Migración de pegamento con base de datos de destino homogénea
Migre la herramienta ETL para proteger las inversiones en bases de datos, adopte un enfoque gradual o migre el código SQL integrado subyacente en los trabajos ETL para que sea compatible con Redshift/Snowflake.
Migración de ETL con AWS Glue en acción
Estudio de caso de la industria minorista
Una importante cadena minorista global quería adquirir análisis de marketing y ventas omnicanal y análisis de clientes 360 para mejorar la lealtad de los clientes y aumentar las ventas digitales. Necesitaban migrar su plataforma de datos y análisis heredada a una arquitectura de nube moderna en AWS.
Para saber cómo Trianz utilizó AWS Glue para habilitar casos de uso de aprendizaje automático y ayudarlos a comprender mejor el comportamiento del cliente, lea este estudio de caso sobre la transformación de las operaciones de marketing digital para una cadena minorista global.
Estudio de caso de la industria de la salud
Un proveedor líder mundial de servicios de salud quería aprovechar la infraestructura en la nube para construir una plataforma de TI en la nube segura, escalable y compatible con la industria. Necesitaba capacidades de análisis modernas y altamente compatibles para generar información sobre atención médica para sus áreas geográficas de EE. UU. y la UE.
Para saber cómo Trianz utilizó AWS Glue para crear una plataforma de análisis flexible, escalable y segura que estuviera alineada con pautas y regulaciones estrictas, lea este estudio de caso sobre la creación de una plataforma de datos global en la nube de AWS.
Ventajas de la migración ETL de Trianz con AWS Glue
Para la evaluación, migración y validación de la migración de ETL, Trianz utiliza EVOVE, una herramienta y metodología patentadas. Al emplear altos niveles de automatización y componentes reutilizables, podemos impulsar migraciones aceleradas y de alta precisión de sus plataformas de datos heredadas a arquitecturas modernas.
Con el enfoque Trianz, las tareas de migración manuales y que requieren mucho tiempo se reducen significativamente, lo que le ayuda a evitar errores y a incurrir en costosas deudas técnicas. Nuestro enfoque permite ajustar y optimizar los elementos más complejos, lo que le permite ahorrar tiempo, dinero y recursos.
Cronología y metodología de la migración de Trianz
¿Por qué Trianz y AWS para la migración ETL?
Dado que los datos provienen de todas las áreas de su negocio, puede resultar difícil gestionarlos de manera que los usuarios de toda la organización puedan consumirlos, analizarlos, comprenderlos y actuar en consecuencia rápidamente.
Trianz y AWS pueden ayudarlo a conectar datos con ingenieros de datos y desarrolladores de ETL mediante AWS Glue para facilitar el descubrimiento, la preparación y la combinación de datos para análisis, aprendizaje automático y desarrollo de aplicaciones. Sin importar el tamaño o el alcance de su migración, estamos aquí para ayudarlo a migrar más rápido y obtener los beneficios de la transformación antes.
