Snowflake Ventures investe em Twelve Labs para trazer recursos avançados de compreensão de vídeo para o Snowflake AI Data Cloud para o setor de mídia

No competitivo setor de mídia e publicidade em rápida evolução, empresas de mídia, organizações esportivas, agências de publicidade, entre outras, estão constantemente em busca de formas para melhorar a experiência do consumidor e incentivar a monetização. Isso inclui análise de conteúdo, recursos de pesquisa em vídeos e materiais criativos, personalização de conteúdo e controle de versão de criativos. Agora, todos esses recursos estão presentes ao empregar os recursos conjuntos de inteligência artificial (IA) disponíveis nas incorporações de vídeo da Snowflake e da Twelve Labs. Essas incorporações também ajudam os algoritmos de aprendizado de máquina a processar dados complexos e links entre os objetos de dados, disponibilizando os principais recursos que a Twelve Labs está trazendo para o mercado.

Twelve Labs fornece uma tecnologia de vanguarda para a incorporação multimodal

A plataforma de compreensão de vídeo da Twelve Labs usa inteligência artificial para extrair a partir de vídeos dados visuais, de áudio, de texto e contexto, possibilitando pesquisa semântica, análise de dados e insights em escala. Os modelos básicos da plataforma estão entre os líderes em criação de descrição de vídeo, detecção de cena e designação de ponto lógico de interrupção, permitindo que os vídeos se adaptem a diferentes tamanhos de telas dos dispositivos, mantendo a qualidade do vídeo. Os métodos tradicionais dependem da análise quadro a quadro ou de modelos separados para diferentes modalidades. A API da Twelve Labs captura interações complexas entre indicadores visuais, linguagem corporal, fala e contexto geral do vídeo, gerando representações vetoriais contextuais dessas interações. Esse método holístico permite que as equipes de dados das organizações de mídia trabalhem com uma compreensão mais detalhada do conteúdo dos vídeos.

No início deste ano, a Snowflake e a Twelve Labs firmaram uma parceria para disponibilizar a API de compreensão de vídeo da Twelve Labs para todos os usuários do AI Data Cloud. Com Twelve Labs e Snowflake, os clientes podem trazer o fluxo de trabalho de IA e incorporações de vídeo para seus dados. Isso os ajuda a manter uma forte privacidade e governança sobre seus dados e incorporações de vídeo, ao mesmo tempo em que se beneficiam dos recursos avançados de análise de vídeo, tudo em um ambiente seguro para analisar o comportamento e as reações dos visitantes. Os usuários também podem encontrar imagens específicas em enormes repositórios de conteúdo e reutilizar esses dados para gerar conteúdo novo que pode ser direcionado a consumidores com base em dados no Snowflake.

A API Twin Labs traz uma compreensão de vídeo próxima da humana para qualquer aplicação, mesmo com terabytes ou petabytes de vídeo. Essas incorporações de vídeo avançadas e multimodais podem ser armazenadas no Snowflake com suporte ao tipo de dados vetoriais. Isso possibilita análises de vídeo mais sofisticadas e aplicações baseadas em vídeo tendo por base inteligência artificial no AI Data Cloud. Essa integração utiliza o Snowflake Cortex AI, o serviço Snowflake de IA totalmente gerenciado que oferece um conjunto de recursos de IA generativa, e o Snowpark Container Services para processamento em escala. Os desenvolvedores podem criar aplicações personalizadas combinando a tecnologia de compreensão de vídeo da Twelve Labs e os recursos de gerenciamento de dados do Snowflake. Isso possibilita análises avançadas de vídeo, pesquisa, moderação de conteúdo e sistemas de recomendação. Essa combinação avançada permite que as organizações criem soluções sofisticadas e baseadas em IA para aplicações centradas em vídeo e, ao mesmo tempo, se beneficiem da sólida plataforma de dados da Snowflake.

Após nosso investimento, Snowflake e Twelve Labs vão trabalhar juntas para identificar oportunidades de tornar ainda mais fácil trazer recursos avançados de IA para vídeo para uma plataforma de dados unificada.