Resumo do Data Mesh Demo: eliminando silos de dados com o Internal Marketplace

O Data Mesh ganhou força nos últimos anos, impulsionado pela promessa de reduzir o peso sobre as equipes de dados centralizadas ao eliminar gargalos, dimensionar o gerenciamento de dados e acelerar o tempo de retorno dos dados. Para aqueles que ainda não embarcaram, o data mesh é uma estratégia sociotécnica que enfatiza a propriedade descentralizada de domínios de dados e o tratamento de dados como um produto, possibilitado por uma infraestrutura de dados de autoatendimento. O objetivo é enfrentar os desafios de dimensionar o gerenciamento, o acesso e o compartilhamento de dados diante do aumento contínuo de fontes de dados e consumidores. 

O especialista em data mesh, Matthias Nicola, tem orientado diversos clientes da Snowflake a avaliar, criar e gerenciar arquiteturas de data mesh. Essas atribuições lhe deram uma perspectiva única sobre a incrível natureza do data mesh, tanto em termos de arquitetura técnica quanto de estratégia organizacional. Neste artigo, vamos resumir os destaques de nosso recente webinar Data Mesh Demo, onde Matthias discutiu o potencial do data mesh para transformar empresas e analisou soluções Snowflake, incluindo o Internal Marketplace, para mostrar como elas podem capacitar sua organização a compartilhar produtos de dados governados e documentados entre unidades de negócios. Embora o data mesh também esteja sujeito a importantes considerações organizacionais, o webinar focou nos recursos da plataforma de dados para o gerenciamento de produtos de dados.

O dilema dos dados: por que as estratégias tradicionais falham 

As equipes tradicionais de gerenciamento de dados centralizados muitas vezes não conseguem acompanhar as contínuas pendências de solicitações de dados. Isso causa gargalos e dificulta a capacidade da empresa de se adaptar às crescentes necessidades de dados dos negócios. Além disso, as equipes centrais enfrentam a falta de conhecimento dos domínios (em marketing, produtos, vendas e outras unidades de negócios), o que leva a atrasos no fornecimento dos dados certos aos consumidores de dados certos. Cada um desses obstáculos que atrasam as equipes é influenciado negativamente pela colaboração de dados, resultando em mais tempo para o retorno e a redução da agilidade dos dados. 

Soluções Snowflake: o recurso-chave necessário para o sucesso do data mesh 

Para superar esses desafios, muitas empresas inovadoras estão adotando uma estratégia de data mesh para reduzir os gargalos organizacionais e as limitações do gerenciamento de dados centralizado tradicional. A arquitetura de data mesh oferece a possibilidade de uma estratégia de gerenciamento de dados mais ágil e dimensionável, dando às equipes maior autonomia e compartilhamento contínuo de dados. 

Os quatro princípios fundamentais de um data mesh são governança federada, arquitetura e propriedade centradas no domínio, dados como produto e infraestrutura de autoatendimento. 

A plataforma Snowflake oferece soluções e recursos que estão alinhados aos princípios de data mesh, incluindo:   

• Governança federal: oferece às organizações recursos de governança avançados, disponíveis por meio do catálogo Snowflake Horizon, para controlar o acesso, monitorar o uso e aplicar políticas de segurança de forma consistente em diversos domínios e ambientes.  

• Propriedade centrada no domínio: a arquitetura multinuvem e distribuída do Snowflake oferece suporte à propriedade centrada no domínio, fornecendo ambientes separados para diferentes domínios. Isso promove a independência e, ao mesmo tempo, permite o contínuo compartilhamento e a colaboração de dados entre domínios. 

• Dados como produto: permite que os domínios reúnam objetos de dados, metadados e políticas de governança como produtos de dados que podem ser facilmente publicados e consultados no Snowflake Internal Marketplace. Isso garante que ativos de dados confiáveis e de alta qualidade estejam prontamente acessíveis. Os produtos de dados no Snowflake também podem incluir ativos de dados que são armazenados e gerenciados fora do Snowflake.

• Infraestrutura de autoatendimento: a facilidade de uso e a interoperabilidade do Snowflake com as fontes externas simplificam o acesso aos dados e capacitam as equipes a operar de forma independente, reduzindo a dependência de equipes centrais e promovendo uma verdadeira infraestrutura de dados de autoatendimento.

Esses recursos fornecem a base necessária para criar e operar uma arquitetura de data mesh de sucesso. 

Ao simplificar o compartilhamento de dados em diversos domínios, muitas organizações estão eliminando de maneira eficaz os silos de dados tradicionais e promovendo um ecossistema de dados mais integrado. O Snowflake ajuda organizações, como a FlixBus, líder global em tecnologia de viagens, a tirar total proveito dos benefícios transformadores do data mesh. A FlixBus implementou uma arquitetura de data mesh e utilizou o Snowflake Internal Marketplace e suas ofertas, que é um método de combinar informações com metadados, descrições e muito mais como um produto de dados. A partir daí, a FlixBus pôde compartilhar e mobilizar seus dados para melhorar as operações da frota, prever oferta e demanda, medir o desempenho dos negócios e fornecer análises de autoatendimento. 

Usando o Snowflake para obter sucesso com data mesh: respostas às suas principais perguntas 

De início, o data mesh pode parecer complexo, mas não precisa ser assim. Durante o webinar, os participantes expressaram grande interesse em conhecer mais sobre os aspectos específicos das implementações de data mesh com o Snowflake. Para fins de esclarecimento e orientação, compilamos as perguntas que geraram mais interesse: 

P: Como posso escolher entre contas individuais versus várias contas Snowflake na arquitetura de data mesh?

A decisão de usar uma única conta ou várias contas Snowflake realmente depende da necessidade, dos desafios ou dos requisitos legais específicos da sua organização. Algumas considerações úteis para determinar uma abordagem com uma conta única ou múltipla: 

• Quer você exija ou não o máximo de isolamento entre os domínios de negócios, por razões legais ou de segurança, com configurações de segurança separadas e gerenciamento do usuário por domínio.

• As regiões onde sua organização opera. Você opera internacionalmente com várias empresas (equipes que residem em diferentes regiões, como Ásia, EUA ou Europa)? Ou sua organização opera em uma única região geográfica?  

• Unidades de negócios que trabalham em diferentes plataformas de nuvem (AWS, Google Cloud, Azure) em diferentes regiões e levando em conta eventuais requisitos de localização. Além disso, você tem requisitos legais ou de segurança que abrangem nuvens e regiões? 

Tendências como a medição e o controle de custos e a possibilidade para as equipes configurarem a segurança também devem ser avaliadas. Algumas organizações optam por usar uma única conta porque é mais simples e fácil de gerenciar. No entanto, outras empresas optam por várias contas para fornecer privacidade mais sólida, acomodação para um conjunto mais amplo de regiões e nuvens e necessidades de segurança distintas. 

Seja qual for a sua opção, uma conta ou várias, saiba que sua organização não está restrita a elas, pois o Snowflake Marketplace funciona perfeitamente entre uma ou mais contas e topologias de contas em evolução, como mostra a imagem abaixo.

Confira este artigo para obter mais informações!   

P: Como posso criar perfis de domínio?

Como administrador de uma organização, você pode configurar perfis de domínio usando a opção Organization Profiles no Marketplace Internal. Os perfis da organização são objetos regulares do Snowflake que podem ser criados, alterados, posicionados, exibidos e usados para listar informações sobre a origem e a propriedade dos dados. A criação ou a alteração de um perfil leva a um arquivo YAML como entrada, que contém o nome do domínio, uma descrição e vários atributos de domínio, como informações de contato ou um autor de padrão para solicitações de produtos de dados. Isso ajuda a atribuir propriedade clara dos dados e a procedência deles para promover a confiança, a qualidade e a estrutura dos dados e, ao mesmo tempo, fortalecer a governança de uma organização. 

P: Que tipos de objetos podem estar em um produto de dados no Snowflake?

Um produto de dados pode conter um ou mais objetos de vários tipos, incluindo: 

• Bancos de dados

• Esquemas

• Tabelas

• Tabelas dinâmicas

• Tabelas externas

• Dados semiestruturados, como JSON e XML

• Arquivos e documentos não estruturados, mesmo que estejam armazenados em buckets de armazenamento fora do Snowflake

• Tabelas Apache Iceberg™, mesmo que armazenadas fora do Snowflake e gerenciadas por um catálogo, como AWS Glue ou OneLake

• Visualizações

• Visualizações materializadas

• Funções definidas pelo usuário (UDFs) seguras

• Snowflake Native Apps

• Modelos de ML

• Visualizações semânticas (em versão preliminar privada)

• Dados no local, se estiverem armazenados como arquivos em um sistema de armazenamento compatível com S3.

P: Como posso criar produtos de dados com base nas tabelas Iceberg e Delta Lake?

Se você estiver gerenciando dados fora do Snowflake, por exemplo, no Apache Iceberg, você ainda pode tornar a tabela Iceberg visível no Snowflake e incluí-la como parte de um produto de dados no Internal Marketplace. Esse processo permite que esse mesmo produto de dados seja interoperável com outros mecanismos de processamento que podem acessar os mesmos dados. 

P: "Chat with your data product" é um recurso atualmente em versão preliminar privada. O que é, e como ele funciona?

A Snowflake lançou um recurso inovador que permite aos consumidores de dados usar a linguagem natural para interagir com um produto de dados. Isso requer que o proprietário do produto de dados inclua uma visão semântica na oferta, que descreva o conteúdo e a estrutura dos dados, como relações, métricas, dimensões e comentários e sinônimos opcionais. 

A visão semântica é então usada pelo Snowflake Cortex Analyst, um recurso totalmente gerenciado com tecnologia LLM que ajuda a responder a perguntas de negócios com base em seus dados estruturados no Snowflake. Um consumidor de dados pode então interrogar o produto de dados de maneiras avançadas. As consultas em linguagem natural são automaticamente convertidas em SQL e executadas para gerar respostas. O SQL gerado pode ser revisado e manipulado se desejado. O consumidor de dados também pode fazer perguntas abertas do tipo: "como esse produto de dados pode me ajudar?" ou "quais são as limitações desse produto?"

Webinar sobre Data Mesh: cinco conclusões 

Veja, a seguir, as cinco principais conclusões e os principais insights do nosso webinar sobre data mesh: 

• Um dos objetivos do data mesh é resolver as limitações do gerenciamento de dados centralizado tradicional, descentralizando a propriedade dos dados e capacitando os domínios de negócios a gerenciar seus dados. A avaliação do data mesh exige uma atenção cuidadosa para determinar se a implementação e os recursos sociotécnicos estão alinhados aos seus objetivos de negócios. 

• A plataforma Snowflake é compatível com os princípios de data mesh, permitindo a propriedade de dados dimensionável e governada, o que facilita o compartilhamento de produtos de dados e reduz a complexidade e os custos.   

• O Internal Marketplace é um recurso-chave do Snowflake. Ele permite que os domínios publiquem, descubram, compartilhem e usem produtos de dados governados dentro da empresa.   

• O Snowflake permite a autonomia das equipes de domínio, fornecendo ambientes separados com seus próprios recursos de armazenagem e processamento, além de facilitar a colaboração e o compartilhamento de dados entre os domínios.   

• O Snowflake ajuda a reduzir a complexidade e o custo de desenvolvimento e operação de uma plataforma de produtos de dados ao oferecer um serviço pré-integrado e inteiramente gerenciado com uma ampla variedade de recursos.

• O Snowflake integra-se a um amplo ecossistema de ferramentas e serviços, o que permite às empresas criar arquiteturas personalizadas para suas necessidades.    

Ao capacitar os domínios de negócios, facilitar o compartilhamento de dados e reduzir a complexidade, uma arquitetura de data mesh pode ajudar as organizações a liberar todo o potencial de seus dados e obter melhores resultados para os negócios. No entanto, para criar e operar um data mesh é necessário aliar visão e recursos técnicos. Para ter sucesso, você terá que trabalhar em conjunto com inúmeras partes interessadas, ferramentas e soluções. A plataforma Snowflake fornece uma base de soluções poderosa e abrangente para organizações que estão em pleno processo de migração para o data mesh.