Gouvernance et découverte des données avancées et intégrées avec Snowflake Horizon Catalog
Les silos compliquent la gouvernance et la découverte efficaces
Avec l’avènement de l’IA générative et des grands modèles de langage (LLM), les entreprises se précipitent pour tirer le maximum de valeur commerciale de leurs ressources de données, y compris les applications et les modèles. Malheureusement, ces ressources de données sont souvent enfermées dans des silos entre plusieurs fournisseurs et solutions de services cloud, ainsi qu’entre différents écosystèmes de partenaires, clients et fournisseurs. Au fur et à mesure que le nombre de silos augmente, la découverte et l'accès démocratisé deviennent vraiment difficiles, et la gestion des risques de sécurité et des coûts associés au transfert des ressources de données entre différents systèmes avec différents modèles de gouvernance devient extrêmement complexe.
Simplifiez la gouvernance et la découverte à grande échelle avec Snowflake Horizon Catalog
Depuis le début, l’un des principaux objectifs de Snowflake était d’éliminer les silos de données et de rendre toutes les données disponibles de manière simple et cohérente. Faciliter l’accès aux données ne suffit cependant pas : il devrait être facile de trouver des données, de collaborer et de gouverner facilement toutes les données d'une entreprise. Ces informations nous ont inspirés pour créer Snowflake Horizon Catalog.
Avec Horizon Catalog, nous avons voulu créer un catalogue qui reflète notre quête constante de simplicité et d’uniformité. Au cœur de Horizon Catalog se trouve un référentiel mondial unifié pour l’AI Data Cloud Snowflake, qui comprend des données structurées, semi-structurées et non structurées, des modèles, des Snowflake Notebooks, Streamlit, des Snowflake Native Apps et des références. En plus de ce référentiel, nous avons développé une suite de fonctionnalités autour des cinq thèmes suivants :
Sécurité : Horizon Catalog s’appuie sur un socle de sécurité robuste, basé sur la sécurité du réseau, la gestion robuste des identités et l’authentification, associée à une surveillance continue des risques et à une protection via le Trust Center. En outre, le contrôle d’accès centralisé basé sur les rôles (RBAC) dans tous les clouds vous aide à vous assurer que les données sont protégées depuis leur arrivée jusqu’à leur utilisation.
Conformité : Horizon Catalog fournit des outils aux clients pour garantir que l'accès aux données est contrôlé et audité, que les données sont de haute intégrité et utilisées à des fins appropriées grâce à des fonctionnalités telles que la classification automatique pour la détection des données sensibles ; des politiques d'autorisation granulaires pour protéger les données, telles que le Tag-based Masking et le Dynamic Data Masking ; la surveillance de la qualité des données et la visualisation de la traçabilité des données.
Confidentialité : les entreprises limitent souvent l’utilisation des données pour des raisons de confidentialité. Les fonctionnalités de confidentialité avancées de Horizon Catalog, telles que la génération de données synthétiques, les politiques de confidentialité différentielle et les data clean rooms Snowflake, permettent l'analyse de données et la collaboration tout en préservant la confidentialité, ouvrant de nouvelles possibilités.
Découverte : les utilisateurs doivent pouvoir trouver les données, les applications et les modèles dont ils ont besoin, les comprendre et y accéder en toute transparence. Horizon Catalog offre une découverte transparente de contenu (données, applications et modèles) sur les données, quels qu’en soient le format ou l’emplacement.
- Collaboration : Horizon Catalog permet une collaboration sécurisée avec les clients et les fournisseurs sans déplacer les données, à l’intérieur et à l’extérieur de l’entreprise. Nos clients peuvent également enrichir et exploiter leurs données avec des jeux de données tierces, des applications et des produits d’IA de la Marketplace Snowflake.
Un principe central qui nous a motivés lors de la création de Horizon Catalog est la facilité d’utilisation à grande échelle : même une petite équipe devrait être en mesure de sécuriser et de conserver les domaines de données les plus complexes grâce à un ensemble d’outils unique. Horizon Catalog est conçu pour être facile à utiliser car il est :
Multi-cloud et global : votre parc de données peut s’étendre à travers les clouds et les régions, y compris là où vos partenaires, clients ou fournisseurs peuvent stocker des données. Horizon Catalog vous aide à gérer votre parc de données avec un modèle unique de gouvernance et de sécurité qui fonctionne de manière cohérente entre les régions et les trois principaux clouds (AWS, Azure et GCP), ainsi que les clouds souverains pour les marchés réglementés.
Intégré dès la conception : vous ne voulez pas passer un temps précieux à développer des intégrations personnalisées qui sont souvent fragiles et peu fiables. Les fonctionnalités de gouvernance, les surfaces de découverte et les flux de demande de Horizon Catalog sont intégrés dès la conception, ce qui vous aide à assurer la cohérence de l’application et la fiabilité. Par exemple, la marketplace interne de Horizon Catalog est entièrement intégrée à la gouvernance et aux contrôles d’accès afin de fournir un mécanisme en libre-service simple pour les utilisateurs techniques et commerciaux. En parallèle, le Trust Center Horizon Catalog fournit une vitrine unique et unifiée qui rationalise la surveillance de la sécurité cross-cloud pour détecter les risques de sécurité avec des recommandations pour y remédier.
Propulsé par Snowflake Cortex AI : Horizon Catalog exploite Snowflake Cortex AI pour automatiser et booster des tâches auparavant manuelles. Pour automatiser la conservation des données, Horizon Catalog s’intègre à Cortex AI pour générer intelligemment des descriptions d’objets et de colonnes. Vous pouvez utiliser la recherche en langage naturel basée sur l’IA pour découvrir les données dont vous avez besoin. Enfin, vous pouvez utiliser l’IA pour comprendre et analyser vos données via Snowflake Copilot, Cortex Analyst et Cortex Knowledge Extensions, le tout avec une interface intuitive de langage naturel.
Interopérable : vous voulez une plateforme qui vous donne la flexibilité de travailler avec des formats de table ouverts pour minimiser le verrouillage et qui vous donne la liberté de choisir le bon outil pour le bon workload. Horizon Catalog s’intègre à Apache Polaris (un catalogue open source pour les Apache Iceberg Tables) ainsi qu’à Snowflake Open Catalog (un service géré basé sur Apache Polaris) pour gérer en toute transparence non seulement les objets dans Snowflake, mais aussi les objets Iceberg ouverts en dehors de Snowflake. Cette intégration offre aux entreprises des niveaux sans précédent de choix, de flexibilité et de contrôle de leurs données en étendant les capacités de gouvernance et de découverte de Horizon Catalog aux Iceberg Tables créées par tout autre moteur compatible dans Apache Polaris et Snowflake Open Catalog. L’écosystème de partenaires Snowflake Horizon Catalog étend les capacités de Horizon Catalog au-delà de Snowflake et Iceberg.
Grâce à Horizon Catalog, les data governors, les stewards, les administrateurs de sécurité et les CISO peuvent comprendre, protéger et auditer des comptes et des ressources à travers les régions et les clouds, tout en permettant aux équipes data de découvrir, d'accéder à des données, des services et des applications et de les partager à l'échelle mondiale, sans ETL. Horizon Catalog s’appuie sur le leadership existant de Snowflake en matière de partage de données, avec des milliers de clients qui partagent des données au sein des entreprises et entre les entreprises et acquièrent des données ou des applications sur la Marketplace Snowflake, ainsi qu’en matière de gouvernance et sécurité des données, avec le RBAC, la classification, le balisage et les politiques affinées auxquels des milliers de clients font confiance. Dans le même temps, Horizon Catalog étend ces fonctionnalités natives de pointe en matière de gouvernance et de découverte aux formats de table ouverts pour une meilleure interopérabilité entre les systèmes de gestion des métadonnées, les moteurs de requête et les infrastructures cloud.
En savoir plus
Dans cet article de blog, nous avons expliqué pourquoi nous avons créé Horizon Catalog et comment sa facilité d’utilisation vous aide à gérer efficacement votre plateforme data d’entreprise moderne. Dans des articles de blog ultérieurs, nous expliquerons en détail comment les capacités des cinq thèmes peuvent vous aider à atteindre vos objectifs.
Pour en savoir plus sur Snowflake Horizon Catalog, consultez les ressources suivantes :
Regardez des démos sur la playlist YouTube de Snowflake Horizon Catalog.
Essayez quelques fonctionnalités clés avec ce guide quickstart.
Consultez notre documentation.
En savoir plus sur certaines des récentes annonces concernant Horizon Catalog :
Authors
