Nesse dia, temos o prazer de anunciar o Snowflake Cortex AISQL, em versão preliminar pública, trazendo recursos avançados de IA diretamente para o mecanismo SQL do Snowflake. Com o Cortex AISQL, os clientes podem criar pipelines de IA dimensionáveis em dados corporativos multimodais com comandos SQL familiares. Processe texto (versão preliminar pública), imagens (versão preliminar pública) e áudio (versão preliminar pública em breve) de forma mais rápida e econômica e obtenha insights mais profundos a partir de dados estruturados e não estruturados ao mesmo tempo.

A análise de dados está passando por uma profunda transformação, movida por IA. Hoje em dia, as empresas reconhecem que os insights valiosos vão além dos dados tabulares tradicionais, sendo muitas vezes incorporados em diversas fontes não estruturadas, como documentos, imagens e arquivos de áudio. 

Com a diversidade crescente dos dados, a análise de dados requer processos cada vez mais sofisticados em várias etapas para extrair, sintetizar e combinar insights entre as fontes. No entanto, analisar esse conjunto de dados avançado em escala empresarial traz grandes desafios técnicos e operacionais. 

As organizações têm dificuldades de unir várias ferramentas e conjuntos de habilidades especializadas para processar e analisar essas informações, comprometendo a eficiência e a escalabilidade, resultando em insights atrasados e de menor qualidade.

Para lidar com esses desafios, a Snowflake está integrando recursos avançados de IA generativa diretamente ao seu mecanismo SQL central, capacitando analistas a alcançar mais em menos tempo por meio de:

• Operadores de IA expressivos e combináveis: um novo conjunto de operadores com tecnologia de IA que mapeia continuamente com os primitivos SQL existentes, como o FILTER e o AGGREGATE. Isso torna fácil para os analistas criar pipelines de IA dimensionáveis usando comandos SQL familiares para detectar pequenas anomalias nos dados operacionais, agregar insights acionáveis de transcrições de chamadas de clientes ou classificar extensas bibliotecas de imagens.

• Suporte nativo a dados multimodais: o lançamento de um novo tipo de dados FILE possibilita a referência direta de dados multimodais (incluindo texto, imagens e áudio) nas tabelas do Snowflake. Todos os operadores de IA foram desenvolvidos para trabalhar continuamente com essas várias modalidades de dados, eliminando a necessidade de sistemas de processamento separados.

• Grandes melhorias de desempenho e de custo: com funcionalidades e otimizações de desempenho nativas incorporadas ao mecanismo SQL do Snowflake, o Cortex AISQL reduz substancialmente o tempo e as despesas de processamento. Os benchmarks internos do Cortex AISQL Performance Optimization (versão preliminar privada) demonstram redução de até 70% no tempo de execução de queries para operações como FILTER e JOIN, com igual redução de custos quando comparado com as implementações manuais, lidando diretamente com as preocupações relativas à escalabilidade de IA e à viabilidade econômica para adoção por empresas.

"O Snowflake Cortex AISQL acelerou o desenvolvimento da nossa aplicação Service Technician, que permite aos nossos técnicos interagir e analisar com facilidade milhares de manuais de usuário em vários idiomas para resolver problemas do cliente mais rapidamente do que imaginávamos. O que mudou para nós foi como o Cortex AISQL integra de forma contínua diversos tipos de dados, desde texto, imagens e muito mais, possibilitando um caminho mais rápido dos dados para os insights capaz de transformar a forma como nossas equipes trabalham", disse Ahmad AI-Mashahedi, Lead Data Scientist da Toyota Material Handling Europe.

Os principais recursos do Cortex AISQL

O Cortex AISQL integra recursos de IA diretamente aos ambientes SQL, possibilitando análises sofisticadas em várias etapas em diversos tipos de dados. Nas seções a seguir, vamos analisar como esses recursos centrais podem otimizar o desempenho, reduzir os custos e viabilizar fluxos de trabalho analíticos complexos.

Usando o Cortex AISQL para realizar operações de IA unificadas para dados diversos

O ponto forte do Cortex AISQL está em sua capacidade de permitir que os usuários criem pipelines de IA sofisticados em várias modalidades de dados diretamente em seu ambiente SQL familiar. Essa integração elimina a separação entre o data stack do cliente e o stack de IA, oferecendo uma plataforma unificada para análise sofisticada em uma ampla variedade de dados.

O Cortex AISQL apresenta os operadores de IA como primitivos SQL nativos, totalmente incorporados ao ecossistema Snowflake. Por exemplo:

• AI_FILTER aplica lógica de filtragem orientada por IA diretamente na cláusula WHERE. 

• Operações JOIN agora podem ser baseadas em relacionamentos de IA em vez de apenas chaves predefinidas, permitindo conexões entre diferentes formatos de dados com base na compreensão semântica (por exemplo, aliar currículos a descrições de cargo com base em uma avaliação de correspondência feita por IA). 

• AI_AGG, um operador pioneiro de agregação com tecnologia de IA, foi projetado para trabalhar com o GROUP BY para extrair insights complexos de diversas linhas de dados. 

• AI_CLASSIFY aprimorado pode dar suporte à classificação multilabel tanto em texto quanto em imagens.

O Cortex AISQL amplia muito a superfície de dados endereçáveis, com todos os novos operadores projetados para trabalhar com eficiência em textos, imagens e, em breve, dados de áudio, por meio de operadores unificados. Como não há necessidade de serviços adicionais, isso eleva os analistas de dados ao status de super-heróis de IA, capazes de trabalhar com todos os tipos de dados.

Obtenção de insights aprofundados: análise de dados avançada em várias etapas com pipelines de IA

Os recursos de IA revelam novas dimensões de análise de dados e capacidade de lidar com questões cada vez mais complexas em várias etapas, indo além de buscas simples. Embora a geração aumentada de recuperação (retrieval augmented generation, RAG) destaque-se em tarefas de ponta, problemas analíticos mais profundos exigem a organização de várias etapas impulsionadas por IA para sintetizar insights.

A resposta a isso envolve:

• Procurar em grandes conjuntos de documentos para identificar informações relevantes.

• Filtrar os principais critérios de seções relevantes do documento, como mudanças de CEO e o vertical do setor em que a organização se encaixa (energia renovável).

• Extrair informações importantes, como dados de receita e declarações prospectivas, de dados não estruturados.

• Unir insights não estruturados a dados estruturados para cálculo do crescimento de receita ano após ano.

• Sintetizar as conclusões em um resumo claro e coerente capaz de fornecer uma compreensão aprofundada das tendências e perspectivas futuras.

O Cortex AISQL torna possível esse fluxo de trabalho analítico complexo graças aos seus operadores de IA combináveis e integração SQL nativa. Ao permitir que os analistas unam operações impulsionadas por IA, desde a filtragem de documentos até a extração semântica e a junção inteligente, tudo dentro da sintaxe SQL familiar, isso elimina a necessidade de várias ferramentas especializadas e código personalizado. Esse enfoque unificado transforma o que tradicionalmente requer especialização em ciência de dados e semanas de desenvolvimento em simples queries SQL que os analistas de negócios podem criar e modificar em minutos.

Com o olhar para o futuro, esses tipos de perguntas analíticas complexas se tornarão cada vez mais frequentes nos ambientes de negócios. As organizações precisarão combinar vários padrões analíticos entre dados estruturados e não estruturados para obter insights significativos de seus dados. O Cortex AISQL responde a essa necessidade crescente, permitindo que os analistas criem pipelines sofisticados de IA, possibilitando que as equipes respondam a essas questões compostas com SQL de forma nativa.

Reduzir o tempo e o custo de queries, mas não a precisão

Reduzir o tempo e os custos de processamento é vital para a IA para empresas. Ao executar funções de IA dentro do mecanismo de queries central do Snowflake, juntamos a IA e o processamento de dados estruturados em um só lugar, usando o paralelismo e o processamento em lotes do Snowflake warehouse para otimizar os dois ao mesmo tempo.

Essa escalabilidade é essencial para casos reais de uso corporativo. Pense em uma tarefa como “encontrar casas modernas e bonitas em um raio de 15km de São Francisco dentro da minha faixa de preço”. Nosso sistema planeja de modo inteligente a execução em várias cláusulas WHERE: aplicando filtros padrão para preços e distâncias para restringir o conjunto de dados antes de usar um modelo de linguagem visual para avaliar qualidades "modernas e bonitas", garantindo o máximo de eficiência. 

Um foco central do Cortex AISQL é oferecer esses recursos avançados de IA com desempenho e economia de custos excepcionais, sem comprometer a precisão dos insights. Implementamos o Adaptive LLM Optimization (versão preliminar privada) de forma estratégica para organizar modelos menores para tarefas mais simples, enquanto reservamos grandes LLMs para análises mais complexas. Essa estratégia por níveis garante o uso ideal dos recursos e, ao mesmo tempo, mantém a alta qualidade dos resultados. 

O Cortex AISQL ajuda os diferentes setores, desde serviços financeiros até varejo e saúde, a descobrir novos insights e a automatizar processos complexos a partir de seus dados estruturados e não estruturados.

• Serviços financeiros: as instituições do mercado de capitais agora podem automatizar o processamento de ações corporativas complexas com eficiência sem precedentes. Usando o AI_FILTER em imensos feeds de notícias e documentos regulatórios, os analistas podem identificar instantaneamente anúncios de eventos relevantes. Essas constatações são então combinadas de forma contínua com posições de participação interna por meio da correspondência inteligente de nomes e identificadores da organização com tecnologia de IA, possibilitando uma avaliação de impacto precisa e fornecendo informações para as próximas ações que antes eram impossíveis de realizar em escala.

• Varejo e comércio eletrônico: as equipes de experiência do cliente podem detectar problemas emergentes de qualidade do produto em tempo real usando o AI_AGG para agrupar e analisar milhares de avaliações de clientes por SKU. O sistema aplica o AI_FILTER para identificar produtos que apresentam padrões relevantes, como o rápido aumento de uma percepção negativa ou relatórios de defeitos específicos, permitindo que as equipes de garantia de qualidade respondam rapidamente a possíveis problemas antes de afetarem a reputação da marca ou desencadearem recalls caros.

• Saúde: os pesquisadores médicos aceleram as descobertas por meio de análises baseadas em IA que aproximam notas clínicas não estruturadas e registros estruturados de pacientes. Ao aplicar o AI_FILTER às anotações médicas, os pesquisadores podem identificar pacientes com padrões de sintomas específicos que não estão incluídos nos códigos de diagnóstico padrão. Esses insights podem ser combinados, usando a função JOIN, a resultados de exames laboratoriais e históricos de medicamentos para descobrir correlações sutis que possam indicar novos caminhos de tratamento ou fatores de risco antes não reconhecidos.

Esses casos de uso demonstram como o Cortex AISQL transforma processos lentos e manuais em fluxos de trabalho inteligentes e altamente eficientes. 

Disponibilidade do Cortex AISQL

Transforme hoje mesmo a análise de dados

O Cortex AISQL está redefinindo como as empresas vão dos seus dados para os insights. Com uma conexão fácil com todas as fontes de dados de um cliente em diferentes modalidades por meio do Openflow, o Snowflake torna mais fácil do que nunca usar operadores SQL com tecnologia de IA para analisar dados estruturados e não estruturados em conjunto. O Cortex AISQL oferece processamento de alto desempenho a um custo menor do que os pipelines de IA organizados manualmente, possibilitando insights confiáveis em toda a empresa e mantendo os recursos de segurança e governança dos quais a Snowflake é conhecida.

A versão preliminar pública do Cortex AISQL agora está disponível para todos os clientes Snowflake. Comece hoje mesmo e veja como esses recursos avançados podem transformar a análise de dados.