使用 AWS 开发端到端数据存储和自动提取框架

客户


全球最大的 QSR 公司之一,在 120 个国家/地区拥有超过 30,000 家餐厅,年销售额超过 400 亿美元。

商业挑战


  • 碎片化的数据集缺乏用于个性化活动的实时客户数据。
  • 对产品创新和参与的洞察利用不力
  • 需要整合客户历史和支持数据来解决问题
  • 与配送聚合商的集成有限,影响了速度洞察
  • 数据基础薄弱阻碍进步

商业目标


客户旨在实现全渠道销售和营销分析:​

  • 计划迁移和集成来自各种源系统的数据,包括 3P 供应商、客户数据平台和 POS 系统
  • 寻求加速以分析为中心的客户、商店和产品计划创新
  • 需要整合客户历史和支持数据以解决问题
  • 有针对性的战略举措,开发“自上而下”的分析能力
  • 专注于提高业务增长、运营效率以及客户满意度和保留率。

方法


  • 使用 Glue 构建安全的 AWS 数据湖,采用无服务器和事件驱动的架构。
  • 集成多个数据源,包括 POS、ERP、人口统计数据和 API 网关,实现全面的数据提取。
  • 建立安全的 S3 数据放置区,利用 Glue Crawlers 对数据进行有效的分类和分区。
  • 实施 PII(个人身份信息)数据区以确保安全处理和 ETL(提取、转换、加载)过程。
  • 实现近乎实时的分析,深入了解客户、商店和产品,从而支持商业智能。
  • 使用 CloudWatch 和 Checkmk 监控 CI/CD 管道,触发操作问题警报并确保系统可靠性。
  • 使用基于 Confluence 的运行手册管理操作,以有效地促进监控和故障排除过程。
  • 采用敏捷方法进行开发、测试和部署,并在 ServiceNow 中跟踪进度以确保透明度和协作。

技术组件


  • AWS 服务: Glue、Lambda、S3、Redshift、Snowflake、CloudWatch
  • 监控:CloudWatch、Checkmk
  • 数据集成: API 网关、Glue 爬虫
  • ETL: AWS Glue、Pyspark
  • 项目管理: Confluence、ServiceNow、敏捷方法

转型效应


  • 通过切换到 EC2 和 EMR 服务器的预留实例,节省了超过30% 的成本
  • 通过将工作负载从 Cloud ETL 迁移到 AWS Glue 和 Informatica,节省了10 万美元以上的许可证成本
  • 通过自动监控 Glue 工作负载,将问题解决时间缩短了 20%
  • 10 多种独特的数据产品(客户 360、商店 360 等)为提高客户忠诚度、参与度和保留率提供了宝贵的见解

联系我们

让我们帮助您
转型和成长


提交您的信息即表示您同意我们修改后的内容  隐私声明.