O poder da propriedade de dados federados e orientados a domínio
No ambiente hipercompetitivo de hoje, as empresas estão cada vez mais optando por data lakes que permitem a disponibilidade de dados em lote e fluxo em tempo real. As organizações estão abordando isso com a intenção de ingerir, enriquecer, transformar e servir dados por meio de uma plataforma centralizada.
Entretanto, para a maioria das organizações, essa arquitetura contém diversas deficiências:
- Os dados são isolados, restritos a essas equipes e casos de uso, limitando a capacidade de compartilhamento.
- Falta de uma visão holística e da capacidade de descobrir dados em toda a organização, limitando a capacidade de experimentar e inovar.
- Um repositório centralizado é limitado às personas e aos casos de uso associados aos quais ele pode atender.
- Essas arquiteturas enfrentam o desafio de proteger e governar dados devido à compreensão limitada da equipe central sobre as fontes de dados recebidas.
- Inevitavelmente, essas arquiteturas são caras, inflexíveis e lentas, limitando sua capacidade de dar suporte a um negócio em constante mudança.
Lagos caóticos de dados resultam em consumidores de dados impacientes e desconectados, além de equipes de dados atrasadas. Isso resulta em desvio de dados e na criação adicional de silos de dados, à medida que os usuários buscam obter acesso a dados e insights por meios alternativos.
Nossos serviços de malha de dados oferecem uma mudança de paradigma para domínios e áreas de negócios, com a capacidade de executar análises aprimoradas sem a necessidade de uma arquitetura de dados centralizada. Este sistema coloca o controle nas mãos do seu negócio, permitindo que ele seja responsável por gerenciar sua própria qualidade de dados, governança, segurança e disponibilidade.
Modelo de Maturidade de Malha de Dados Trianz
A Trianz criou o Data Mesh Maturity Model para auxiliar os clientes a avaliar e planejar sua implantação de data mesh. Isso fornece um caminho claro para pensar grande, mas começar pequeno, permitindo que a organização adote e aprenda incrementalmente em seu próprio ritmo, com base em sua maturidade, cultura e capacidade.
Experimentação. Utilizando federação de dados, as personas de negócios têm acesso imediato aos dados para explorar, entender e obter insights. Este estágio conecta vários silos de dados separados para criar um único painel de vidro para os dados.
O estágio 1 é caracterizado pela utilização de dados, mas pela falta de exploração de dados. A empresa usa dados como estão dentro de seu silo, mas não tem a capacidade de identificar insights em todos os domínios para extrair insights e valor adicionais. A análise é ad-hoc devido à arquitetura de dados em silos, criando barreiras para a geração de insights. A visibilidade do significado dos dados (fonte única da verdade) devido a recursos limitados de governança de dados leva a desafios de confiança nos dados.
Normalmente, a estratégia de dados para cada silo é de propriedade e desenvolvida pela TI com a contribuição de stakeholders do negócio. É mais difícil para uma abordagem de dados verdadeiramente focada no negócio, pois cada silo tem diferentes regras de governança e métodos de acesso alinhados com suas necessidades. Isso resulta em barreiras organizacionais e culturais ao acesso aos dados e à geração de insights.
No Estágio 2, as empresas devem começar a experimentar os elementos de propriedade de dados, onde o silo é responsável ou “possui” esses dados. Em outras palavras, ele é responsável pela qualidade, segurança, governança, consistência e disponibilidade dos dados dentro de seu domínio.
Nesta fase, a empresa começa a entender que a estratégia de dados é crítica para sua estratégia de negócios e, portanto, começa a assumir mais responsabilidade por essa estratégia. Para dar suporte a essas estratégias, a agilidade de dados se torna um foco crítico. Para dar suporte a essa agilidade, a conexão e o compartilhamento de dados entre domínios se tornam imperativos. No entanto, esta fase ainda envolve controle centralizado, com equipes centralizadas realizando a maioria das atividades em torno das operações de dados.
O negócio formou as proteções gerais para governança e acesso a dados. O próximo passo é trabalhar para federar essa estrutura de governança e controle de acesso para que o negócio possa amadurecer para propriedade federada e desenvolvimento de produtos de dados.
Os domínios estão ativamente assumindo a propriedade e a administração do desenvolvimento e compartilhamento de produtos de dados. Os conceitos e práticas de propriedade de dados federados começam a amadurecer. À medida que os produtos de dados são estabelecidos, esses produtos são compartilhados entre domínios e são usados para criar novas experiências do cliente, gerar novos insights, explorar novas oportunidades e aumentar a eficiência operacional.
O estágio 4 resulta em menor tempo de colocação no mercado para análise, bem como custos mais baixos, além de permitir recursos de autoprovisionamento e reduzir as cargas de trabalho da equipe de dados, ao mesmo tempo em que aumenta a produção.
A governança é incorporada e automatizada no desenvolvimento de produtos de dados e acesso a dados, com estruturas flexíveis de governança e segurança que permitem modelos de dados como serviço, bem como DataOps. A experiência do usuário é bastante aprimorada e a TI se torna um verdadeiro facilitador para que a organização seja orientada por dados.
Este estágio é onde as empresas atingem a maturidade total da malha de dados. Todos os dados são tratados como um produto, com governança e propriedade federadas e gerenciadas pelo proprietário dos dados de origem — com a flexibilidade de guardrails centralizados. Dados e Análise (D&A) são um pilar central da estratégia de negócios mais ampla, com dados orientando a maioria das decisões comerciais importantes. Insights são pontos de contato e tomada de decisão diários, levando a maior conscientização e agilidade.
A organização é capaz de acessar rapidamente novas fontes de dados à vontade, integrar e criar ou aprimorar produtos de dados para acelerar a vantagem dos dados. Capacidades automatizadas de governança e segurança, juntamente com transparência absoluta, reduzem muito o risco. Os domínios são realmente responsáveis pelos produtos de dados dentro de seu domínio. Isso reduz a ambiguidade ao estabelecer uma confiança de dados por meio do aumento da qualidade dos dados, ao mesmo tempo em que fornece propriedade clara para resolver problemas rapidamente.
