Desenvolvi uma estrutura de armazenamento de dados de ponta a ponta e ingestão automatizada usando a AWS

Cliente


Uma das maiores empresas de QSR globalmente, gerando mais de 40 bilhões de dólares em vendas anuais de mais de 30.000 restaurantes em 120 países.

Desafio de Negócio


  • Conjuntos de dados fragmentados careciam de dados de clientes em tempo real para campanhas personalizadas.
  • Uso ineficaz de insights para inovação de produtos e engajamento.
  • Dados de histórico e suporte ao cliente precisavam de consolidação para a resolução de problemas.
  • Integração limitada com agregadores de entrega, afetando a velocidade dos insights.
  • Base de dados fraca bloqueava análises avançadas.

Objetivo de Negócio


O cliente pretendia habilitar análises para vendas e marketing multicanal:

  • Planejava migrar e integrar dados de diversos sistemas de origem, incluindo fornecedores de terceiros, plataformas de dados de clientes e sistemas POS.
  • Buscava acelerar a inovação centrada em análises nas iniciativas para clientes, lojas e produtos.
  • Dados de histórico e suporte ao cliente precisavam de consolidação para a resolução de problemas.
  • Iniciativas estratégicas direcionadas para desenvolver capacidades de análise "do zero".
  • Foco em impulsionar o crescimento do negócio, eficiência operacional, satisfação e retenção de clientes.

Abordagem


  • Construção de um data lake seguro na AWS usando Glue, com arquitetura sem servidor e orientada por eventos.
  • Integração de várias fontes de dados, incluindo POS, ERP, dados demográficos e API Gateway para uma ingestão de dados abrangente.
  • Estabelecimento de zonas seguras de armazenamento de dados no S3, usando Glue Crawlers para catalogação e particionamento eficazes dos dados.
  • Implementação de zonas de dados PII (informações de identificação pessoal) para assegurar o processamento seguro e os processos ETL (Extrair, Transformar, Carregar).
  • Capacitação de análises quase em tempo real para insights sobre clientes, lojas e produtos, para suportar a inteligência de negócios.
  • Monitoramento de pipelines CI/CD usando CloudWatch e Checkmk, acionando alertas para problemas operacionais e garantindo a confiabilidade do sistema.
  • Gerenciamento de operações com runbooks baseados em Confluence para facilitar os processos de monitoramento e resolução de problemas de forma eficaz.
  • Uso da metodologia Agile para desenvolvimento, teste e implantação, com o progresso monitorado no ServiceNow para garantir transparência e colaboração.

Componentes Tecnológicos


  • Serviços AWS: Glue, Lambda, S3, Redshift, Snowflake, CloudWatch
  • Monitoramento: CloudWatch, Checkmk
  • Integração de Dados: API Gateway, Glue Crawlers
  • ETL: AWS Glue, Pyspark
  • Gerenciamento de Projetos: Confluence, ServiceNow, metodologia Agile

Efeitos Transformacionais


  • Obteve mais de 30% de economia de custos ao mudar para Instâncias Reservadas para os servidores EC2 e EMR.
  • Economizou mais de $100.000 em custos de licenciamento migrando cargas de trabalho do Cloud ETL para o AWS Glue e Informatica.
  • Reduziu o tempo de resolução de problemas em 20% por meio do monitoramento automatizado das cargas de trabalho do Glue.
  • Mais de 10 produtos de dados exclusivos (Customer 360, Store 360, etc.), fornecendo insights valiosos para melhorar a lealdade, engajamento e retenção de clientes.

Entre em contato

Deixe-nos ajudá-lo
transformar e crescer


By submitting your information, you agree to our revised  Privacy Statement.