Desarrollo de un marco de almacenamiento de datos de extremo a extremo e ingesta automatizada con AWS
Cliente
Una de las empresas de QSR más grandes del mundo, generando más de 40 mil millones de dólares en ventas anuales a través de más de 30,000 restaurantes en 120 países.
Desafío Comercial
Conjuntos de datos fragmentados carecían de datos de clientes en tiempo real para campañas personalizadas.
Uso ineficaz de ideas para la innovación de productos y el compromiso
El historial de clientes y los datos de soporte necesitaban consolidación para la resolución de problemas
Integración limitada con agregadores de entregas afectaba los conocimientos sobre velocidad
Fundación de datos débil bloqueaba el análisis avanzado
Objetivo Comercial
El cliente apuntaba a habilitar análisis para ventas y marketing omnicanal:
Planificado para migrar e integrar datos de varios sistemas de origen, incluyendo proveedores externos, plataformas de datos de clientes y sistemas POS
Buscaba acelerar la innovación centrada en el análisis en iniciativas de clientes, tiendas y productos
El historial de clientes y los datos de soporte necesitaban consolidación para la resolución de problemas
Objetivo en iniciativas estratégicas para desarrollar capacidades de análisis "desde cero"
Enfoque en mejorar el crecimiento empresarial, la eficiencia operativa y la satisfacción y retención de clientes.
Enfoque
Se construyó un lago de datos seguro en AWS utilizando Glue, empleando una arquitectura sin servidor y basada en eventos.
Integración de múltiples fuentes de datos, incluidos POS, ERP, datos demográficos y API Gateway para una ingesta de datos completa.
Establecimiento de zonas seguras de caída de datos en S3, utilizando Glue Crawlers para una catalogación y partición de datos efectiva.
Implementación de zonas de datos PII para asegurar el manejo y los procesos ETL.
Habilitación de análisis casi en tiempo real para obtener información sobre clientes, tiendas y productos que apoye la inteligencia empresarial.
Supervisión de pipelines CI/CD con CloudWatch y Checkmk, activando alertas para problemas operativos y garantizando la confiabilidad del sistema.
Gestión de operaciones con runbooks basados en Confluence para facilitar el monitoreo y los procesos de resolución de problemas de manera efectiva.
Empleo de metodología Agile para el desarrollo, prueba y despliegue, con seguimiento de progreso en ServiceNow para garantizar transparencia y colaboración.
Componentes Tecnológicos
Servicios de AWS: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
Monitoreo: CloudWatch, Checkmk
Integración de Datos: API Gateway, Glue Crawlers
ETL: AWS Glue, Pyspark
Gestión de Proyectos: Confluence, ServiceNow, metodología Agile
Efectos Transformacionales
Logró más del 30% de ahorro de costos al cambiar a Instancias Reservadas para servidores EC2 y EMR.
Ahorro de más de $100K en costos de licencia al migrar cargas de trabajo de Cloud ETL a AWS Glue e Informatica.
Reducción del tiempo de resolución de problemas en un 20% mediante el monitoreo automatizado de cargas de trabajo en Glue
10+ productos de datos únicos (Customer 360, Store 360, etc.) que brindan información valiosa para mejorar la lealtad, el compromiso y la retención del cliente