Colaboração sem precedentes para produtos de IA e dados: novidades do Snowflake

Ter diferentes equipes, unidades de negócios e até mesmo empresas trabalhando juntas para atingir um objetivo comum não apenas maximiza a eficiência, como também promove a inovação. A colaboração eficaz entre dados e IA nunca foi tão estreitamente ligada ao sucesso. 

Na Snowflake, estamos removendo as barreiras que impedem a colaboração produtiva e, ao mesmo tempo, desenvolvendo as conexões para tornar o trabalho colaborativo mais fácil do que nunca. Seja ajudando sua empresa a compartilhar dados e modelos de inteligência artificial internamente ou a criar e distribuir soluções inovadoras de IA e soluções avançadas, a Snowflake tem o compromisso de ajudar você a integrar a colaboração ao seu negócio. Veja, a seguir, uma análise mais detalhada de algumas das inovações que adicionamos para facilitar ainda mais todo esse processo, mantendo a privacidade e a governança em mente.

Colaboração e descoberta entre nuvens

Reforçando nossa liderança já estabelecida em recursos de colaboração entre nuvens, a Snowflake introduz mais formas de compartilhar dados, aplicações e modelos de IA com segurança, tanto interna quanto externamente. 

Compartilhe facilmente aplicações, dados e modelos de IA em toda a empresa

Enquanto o Snowflake Marketplace ajuda as empresas a descobrir novos dados, aplicações e produtos de IA de alta qualidade, o Internal Marketplace ajuda a maximizar o seu uso. O Internal Marketplace (agora disponível ao público) fornece um diretório abrangente de produtos de dados disponíveis em uma organização. Com tudo disponível para uso em um único painel, fica fácil para os consumidores de dados encontrarem e acessarem os dados, os modelos de inteligência artificial (IA) e as aplicações de que precisam, quando precisam. Além disso, você não precisa criar (ou pagar por) várias cópias do mesmo recurso para diferentes departamentos, o que simplifica o gerenciamento e oferece uma melhor postura de segurança.

Agora, a avaliação desses produtos também é incrivelmente fácil com o Copilot for Listings (em versão preliminar privada). Esse recurso permite que os usuários façam perguntas em linguagem natural para descobrir se o conteúdo anexado a uma oferta de produtos é relevante e valioso para seu trabalho.

Compartilhe LLMs otimizados

O Snowflake agora oferece suporte ao compartilhamento contínuo de LLMs otimizados e à descoberta de pesos do modelo com o Secure Model Sharing (em versão preliminar pública). Isso facilita a colaboração com casos de uso de IA generativa e a implementação de modelos na produção, pois o destinatário pode ver o modelo ajustado em sua interface de usuário do Snowflake Model Registry. E mais, como nenhum dado real é copiado ou transferido entre as contas, apenas a camada de serviços e o armazenamento de metadados do Snowflake são usados, o compartilhamento de modelos reduz o risco de exposição de dados.

Criar produtos de IA e dados mais sofisticados, mantendo uma boa relação custo/benefício.

Empresas inovadoras estão trazendo suas tecnologias mais recentes para o Snowflake, oferecendo produtos de última geração que não precisam mover dados ou realizar orquestrações complexas. As empresas podem compartilhar e monetizar modelos e aplicações avançadas de IA e ML por meio dos Snowflake Native Apps, agora totalmente integrados ao Snowpark Container Services de modo a oferecer suporte a mais casos de uso. E com as ferramentas avançadas de otimização de custos disponíveis como parte da solução de compartilhamento seguro da Snowflake, os clientes podem compartilhar dados e colaborar em várias nuvens sem se preocupar com custos de saída entre nuvens.

O Snowflake Native App Framework se integra ao Snowpark Container Services

Desde o seu lançamento em 2022, o Snowflake Native App Framework tem fornecido uma maneira segura e econômica de criar, distribuir e monetizar produtos de dados e IA que se integram perfeitamente ao Snowflake, simplificando o desenvolvimento de aplicações para centenas de empresas. Agora, com o Snowpark Container Services disponível ao público e totalmente integrado ao Snowflake Native App Framework, é possível criar aplicações ainda mais sofisticadas e implementá-las para os clientes no AWS (disponível ao público) e no Azure (em versão preliminar pública). 

O Snowpark Container Services , agora disponível ao público para Azure e AWS, dá aos desenvolvedores a flexibilidade de poder implementar funcionalidades complexas de forma fácil e segura, desde front-ends personalizados, bem como treinamento e inferência de ML em grande escala até modelos de código aberto e home grown (saiba mais neste post). Ao incluir e registrar uma imagem de contêiner e depois criar um pacote Snowflake Native App com esses detalhes do contêiner, os desenvolvedores podem:

• Criar produtos eficazes em qualquer linguagem de programação.

• Usar GPUs ou CPUs de alta memória de forma flexível, dependendo das suas necessidades.

• Distribuir aplicações continuamente entre nuvens e regiões.

• Eliminar a necessidade de mover dados fora do seu perímetro de segurança.

Os provedores estão criando aplicações sofisticadas em todos os tipos de categorias interessantes, então é altamente provável que haja uma aplicação no Snowflake Marketplace, se você estiver procurando por uma determinada funcionalidade. Por exemplo, é possível:

• Realizar transformação complexa de dados com dbt.

• Adicionar agentes de IA autônomos à sua força de trabalho com Genesis.

• Incorporar análise de dados avançada de gráfico com RelationalAI.

• Utilizar a IA preditiva da Kumo AI.

• Transformar imagens e vídeos em inteligência visual com LandingAI.

Crie e monetize produtos de IA

Com o Snowflake Native App Framework, os modelos registrados de IA/ML agora podem ser incluídos em pacotes, compartilhados e monetizados. Usando Snowpark ML Modeling API, os provedores podem criar, treinar e logar modelos no Snowflake Model Registry e, em seguida, exportá-los para um pacote Snowflake Native App para oferta. 

Isso propicia novos fluxos de receita, permitindo que as organizações aproveitem facilmente e com segurança seus esforços de desenvolvimento de modelos e forneçam produtos de IA e ML de alto valor no Snowflake Marketplace para que outros usuários possam usar ou comprar. Com mais opções de produtos para escolher, os consumidores têm uma maior chance de encontrar a solução certa para suas necessidades. 

Removendo as taxas de saída duplicadas 

Para tornar a colaboração entre nuvens mais econômica, a Snowflake está lançando o Egress Cost Optimizer (em breve, disponível ao público), que remove basicamente os custos de saída duplicados ao compartilhar dados ou aplicações com várias regiões de nuvem. Ele ajuda os provedores a ter controle sobre os custos de distribuição dos produtos de dados e a desbloquear a demanda de outras regiões de nuvem.

Com o Egress Cost Optimizer, os clientes pagam as taxas de saída somente na primeira vez em que os dados são compartilhados com uma conta em uma região de nuvem diferente. Não há cobranças de saída incrementais para o compartilhamento desses mesmos dados com outras contas nessa região ou em qualquer outra região de nuvem, e não há custos de saída ao usar o Snowflake Secure Data Sharing dentro da mesma região de nuvem.

A tecnologia patentada entre nuvens do Snowflake usa um método baseado em replicação para permitir o acesso a dados em regiões remotas. Isso significa que o Snowflake gerencia o processo de replicação usando o Auto-Fulfillment entre nuvens, em vez de uma abordagem baseada em consulta remota, onde o provedor é cobrado pequenas taxas de saída para cada consulta. Essa última prática pode fazer com que o custo aumente rapidamente, e para grandes conjuntos de dados, o desempenho de consulta geralmente é compensado pela movimentação constante dos dados. Com o uso de uma abordagem baseada em replicação e do Egress Cost Optimizer, os provedores podem obter alto desempenho de consulta nos dados compartilhados e, ao mesmo tempo, ter controle sobre os custos de distribuição.  

O compromisso da Snowflake com a segurança permite a você criar e usar aplicações com confiança  

O compartilhamento e a colaboração podem trazer alguns desafios próprios de governança, especialmente quando os dados ou as aplicações estão expostos na Internet pública sem mecanismos de segurança implementados. É por isso que a Snowflake trabalha para fornecer ferramentas a fornecedores e consumidores para ajudar a garantir que seus dados, aplicações e modelos permaneçam seguros e protegidos. 

Suporte ao Snowflake Native App para implementações seguras 

O Snowflake Native App Framework agora oferece suporte a Virtual Private Snowflake (VPS) e AWS PrivateLink, possibilitando segurança e privacidade aprimoradas para os provedores de aplicações. Esse recurso (disponível ao público) vai ajudar as organizações a desenvolver a confiança com clientes com alta segurança e a expandir suas ofertas para mercados regulamentados. Atualmente, os clientes que exigem níveis rigorosos de segurança agora têm acesso a mais de 220 Snowflake Native Apps no Snowflake Marketplace para ajudar a acelerar suas iniciativas de dados e IA.

Selos de conformidade

Os provedores de Snowflake Native App também poderão exibir certificações de conformidade de terceiros, como a SOC 2, como parte de sua lista de aplicações (em versão preliminar privada). Depois que a Snowflake realiza uma revisão bem-sucedida dos documentos de conformidade, os provedores podem atualizar suas ofertas com o objetivo de incluir selos relevantes, permitindo que os consumidores de apps vejam, de forma rápida e confiável, se uma solução é capaz de atender aos seus requisitos de conformidade.

Saber mais

A plataforma unificada Snowflake simplifica as complexidades próprias da colaboração por meio de recursos de compartilhamento de dados que mantém a privacidade e permitem que você traga aplicações para os dados e não o contrário. Além de ser mais eficiente e seguro, também é mais fácil colaborar dentro de uma organização e com parceiros externos com o Snowflake. 

Para saber mais sobre os recursos de colaboração do Snowflake e os Snowflake Native Apps, assista à sessão What’s New, na conferência BUILD 2024, confira nossos recursos para desenvolvedores, o Snowflake Native App Bootcamp e inscreva-se no evento virtual do Snowflake Marketplace para saber como acelerar as iniciativas de IA com dados, aplicações e produtos de IA de provedores terceirizados.