Fortschrittliche, integrierte Data Governance und Data Discovery mit Snowflake Horizon Catalog
Silos erschweren effektive Governance und Discovery
Mit der Einführung von generativer KI (GenAI) und Large Language Models (LLMs) versuchen Unternehmen, so viel unternehmerischen Mehrwert wie möglich aus ihren Daten-Assets, einschließlich Apps und Modellen, herauszuholen. Leider sind diese Daten-Assets oft in Silos verschiedener Cloud-Service-Anbieter und -Lösungen sowie verschiedener Partner-, Kunden- und Anbieter-Ökosysteme gefangen. Je mehr Datensilos entstehen, desto schwieriger wird die Auffindbarkeit und der demokratisierte Zugriff und desto komplizierter wird es, die damit verbundenen Sicherheitsrisiken und Kosten für das Verschieben von Daten-Assets zwischen verschiedenen Systemen mit unterschiedlichen Governance-Modellen zu bewältigen.
Vereinfachen Sie Governance und Discovery im großen Maßstab mit Snowflake Horizon Catalog
Ein zentrales Ziel von Snowflake war es von Anfang an, Datensilos aufzubrechen und alle Daten auf einfache, einheitliche Weise bereitzustellen. Der einfache Datenzugriff reicht jedoch nicht aus: Es muss einfach sein, Daten zu finden, einfach zusammenzuarbeiten und alle Daten eines Unternehmens einfach zu kontrollieren. Diese Erkenntnisse haben uns dazu inspiriert, Snowflake Horizon Catalog zu entwickeln.
Mit dem Horizon Catalog wollten wir einen Katalog entwickeln, der unser unerbittliches Streben nach Einfachheit und Einheitlichkeit widerspiegelt. Das Herzstück des Horizon Catalog ist ein einheitliches, globales Repository für die Snowflake AI Data Cloud, das strukturierte, semistrukturierte und unstrukturierte Daten, Modelle, Snowflake Notebooks, Streamlit, Snowflake Native Apps und Angebote umfasst. Zusätzlich zu diesem Repository haben wir eine Reihe von Funktionen für die folgenden fünf Aspekte entwickelt:
Sicherheit: Der Horizon Catalog basiert auf einer leistungsstarken Sicherheitsgrundlage aus starker Netzwerksicherheit, robustem Identitätsmanagement und Authentifizierung – verbunden mit kontinuierlicher Risikoüberwachung und Schutz durch das Trust Center. Darüber hinaus können Sie mit der zentralen rollenbasierten Zugriffskontrolle (Role-Based Access Control, RBAC) über Clouds hinweg sicherstellen, dass Daten vom Zeitpunkt ihrer Ankunft bis zum Zeitpunkt ihrer Nutzung geschützt sind.
Compliance: Der Horizon Catalog bietet Kunden Tools, mit denen sie sicherstellen können, dass der Zugriff auf Daten kontrolliert und geprüft ist, dass Daten eine hohe Integrität aufweisen und dass Daten für geeignete Zwecke verwendet werden – durch Funktionen wie automatische Klassifizierung zur Erkennung sensibler Daten; präzise Autorisierungsrichtlinien zum Schutz von Daten (z. B. durch Tag-based Masking und Dynamic Data Masking); und Datenqualitätsmonitoring und Data Lineage Visualization.
Datenschutz: Unternehmen schränken die Datennutzung oft aus Datenschutzgründen ein. Die fortschrittlichen Datenschutzfunktionen von Horizon Catalog wie Synthetic Data Generation, Differential Privacy Policies und Snowflake Data Clean Rooms ermöglichen Data Anyltics und Kollaboration unter Wahrung des Datenschutzes und eröffnen so neue Möglichkeiten.
Discovery: Nutzende müssen die benötigten Daten, Apps und Modelle finden, verstehen und nahtlos auf diese zugreifen können. Der Horizon Catalog ermöglicht nahtlose Discovery von Inhalten (Daten, Apps und Modelle), die mit Daten arbeiten, unabhängig von Format oder Speicherort.
- Kollaboration: Der Horizon Catalog ermöglicht sichere Kollaboration mit Kunden und Lieferanten ohne Datenverschiebung, sowohl innerhalb als auch außerhalb des Unternehmens. Kunden können ihre Daten auch mit Datasets, Apps und KI-Produkten von Drittanbietern aus dem Snowflake Marketplace anreichern und erschließen.
Ein zentrales Prinzip, das uns bei der Entwicklung des Horizon Catalog motiviert hat, ist die benutzerfreundliche Skalierbarkeit: Selbst ein kleines Team sollte in der Lage sein, die komplexesten Datenbestände mit nur einem Tool zu sichern und zu kuratieren. Der Horizon Catalog ist einfach zu nutzen, denn er ist:
Multi-Cloud und global: Ihr Datenbestand kann sich über Clouds und Regionen erstrecken, einschließlich der Orte, wo Ihre Partner, Kunden oder Lieferanten Daten speichern. Der Horizon Catalog unterstützt Sie bei der Verwaltung Ihres Datenbestands mit einem zentralen Governance- und Sicherheitsmodell, das über mehrere Regionen und alle drei großen Clouds – AWS, Azure und GCP – hinweg einheitlich funktioniert, sowie mit souveränen Clouds für regulierte Märkte.
Konzeptionell integriert: Sie wollen keine wertvolle Zeit und Ressourcen in die Entwicklung benutzerdefinierter Integrationen stecken, die oft spröde und unzuverlässig sind. Die Governance-Funktionen, Discovery-Oberflächen und Anfrage-Workflows von Horizon Catalog sind konzeptionell integriert und sorgen so für einheitliche Durchsetzung und Zuverlässigkeit. So ist beispielsweise der Internal Marketplace des Horizon Catalog vollständig mit Governance und Zugriffskontrollen integriert, was sowohl technischen als auch geschäftlichen Anwender:innen einen einfachen Self-Service-Mechanismus bietet. Gleichzeitig bietet das Horizon Catalog Trust Center eine einzige, einheitliche Oberfläche, die die cloudübergreifende Sicherheitsüberwachung optimiert, um Sicherheitsrisiken zu erkennen und entsprechende Empfehlungen zu geben.
Powered by Snowflake Cortex AI: Der Horizon Catalog nutzt Snowflake Cortex AI, um Aufgaben zu automatisieren und zu optimieren, die früher manuell erledigt werden mussten. Zur Automatisierung der Datenkuratierung lässt sich der Horizon Catalog in Cortex AI integrieren, um Objekt- und Spaltenbeschreibungen intelligent zu generieren. Mithilfe der KI-gestützten Suche über natürliche Sprache können Sie die benötigten Daten finden. Schließlich können Sie Ihre Daten mithilfe von KI über Snowflake Copilot, Cortex Analyst und Cortex Knowledge Extensions verstehen und analysieren – alles mit einer intuitiven Natural-Language-Schnittstelle.
Interoperabel: Sie wollen eine Plattform, die Ihnen die Flexibilität bietet, mit offenen Tabellenformaten zu arbeiten, um eine Anbieterbindung zu minimieren, und die Ihnen die Freiheit gibt, das richtige Tool für den richtigen Workload auszuwählen. Der Horizon Catalog lässt sich in Apache Polaris (einen Open-Source-Katalog für Apache Iceberg Tables) sowie den Snowflake Open Catalog (einen verwalteten Dienst, der auf Apache Polaris basiert) integrieren, um nicht nur Objekte innerhalb von Snowflake, sondern auch offene Iceberg-Objekte außerhalb von Snowflake nahtlos zu verwalten. Diese Integration bietet Unternehmen ein beispielloses Maß an Auswahl, Flexibilität und Kontrolle über ihre Daten, indem sie die Governance- und Discovery-Funktionen von Horizon Catalog auf Iceberg Tables ausweiten, die von jeder anderen kompatiblen Engine in Apache Polaris und dem Snowflake Open Catalog erstellt wurden. Das Snowflake Horizon Catalog-Partnernetzwerk erweitert die Möglichkeiten von Horizon Catalog über Snowflake und Iceberg hinaus.
Mit dem Horizon Catalog können Data Governors, Stewards, Sicherheitsadmins und Chief Information Security Officers Konten und Assets über verschiedene Regionen und Clouds hinweg verstehen, schützen und prüfen. Gleichzeitig können Datenteams Daten, Dienste und Apps weltweit entdecken, auf diese zugreifen und sie gemeinsam nutzen, ganz ohne ETL. Der Horizon Catalog baut auf der bestehenden Führungsposition von Snowflake im Bereich Data Sharing auf – Tausende von Kunden teilen Daten innerhalb von und zwischen Unternehmen und beziehen Daten oder Apps auf dem Snowflake Marketplace – sowie im Bereich Data Governance und Sicherheit mit RBAC-, Klassifizierungs-, Tagging- und fein abgestuften Richtlinien, denen Tausende von Kunden vertrauen. Gleichzeitig erweitert der Horizon Catalog diese führenden, nativen Governance- und Discovery-Funktionen auf offene Tabellenformate, um die Interoperabilität über Metadatenmanagementsysteme, Abfrage-Engines und Cloud-Infrastrukturen hinweg zu verbessern.
Weitere Informationen
In diesem Blogbeitrag stellen wir vor, warum wir den Horizon Catalog entwickelt haben und wie seine Benutzerfreundlichkeit Ihnen hilft, Ihre moderne Unternehmensdatenplattform effektiv zu verwalten. In folgenden Blogbeiträgen untersuchen wir, wie Funktionen in den fünf Themenbereichen Ihnen dabei helfen können, Ihre Ziele zu erreichen.
Um mehr über den Snowflake Horizon Catalog zu erfahren, sehen Sie sich diese Ressourcen an:
Sehen Sie sich Demos auf der Playlist von Snowflake Horizon Catalog an.
Probieren Sie mit diesem Quickstart einige wichtige Funktionen aus.
Lesen Sie unsere Dokumentation.
Erfahren Sie mehr über einige der aktuellen Ankündigungen zu Horizon Catalog:
Authors
