Snowflake vereinfacht Datenarchitektur, Data Governance und Sicherheit zur Beschleunigung des Mehrwerts über alle Workloads hinweg
Heutzutage sieht die Dateninfrastruktur eines Unternehmens leicht aus wie ein Labyrinth mit einer Anhäufung von Punktlösungen hier und da. Zwar finden einige Unternehmen Wege, viele Tools mit komplexen Pipelines zusammenzufügen, doch wäre es nicht besser, wenn Sie einige der Schritte weglassen könnten? Was, wenn Sie Ihre Bemühungen optimieren und gleichzeitig eine Architektur entwickeln könnten, die Ihren Geschäfts- und Technologieanforderungen am besten entspricht?
Snowflake hat sich genau diesem Ziel verschrieben, indem es kontinuierlich Funktionen hinzufügt, die unsere Kunden bei der Vereinfachung ihrer Dateninfrastruktur unterstützen. Ob es darum geht, Transaktions- und Analysedaten mit Hybridtabellen zu vereinen, die Governance für ein offenes Lakehouse mit Snowflake Open Catalog zu verbessern oder die Bedrohungserkennung und -überwachung mit Snowflake Horizon Catalog zu verbessern – Snowflake reduziert die Anzahl der zu bewegenden Teile, um Kunden einen vollständig verwalteten Service zu bieten, der einfach funktioniert.
Auf der BUILD 2024 haben wir verschiedene Erweiterungen und Innovationen angekündigt, die Ihnen helfen, Ihre Datenarchitektur nach Ihren Bedingungen aufzubauen und zu verwalten. Sehen Sie sich das hier genauer an.
Optimierte Datenarchitektur zur Wertsteigerung
Für hybride transaktionale und analytische Anwendungsfälle können Sie zusammen mit Streaming- und unstrukturierten Daten Lösungen mit Snowflake entwickeln, die weniger manuellen Aufwand erfordern, was bedeutet, dass Sie weniger Zeit und Geld für manuelle Konfigurationen und Silomanagement ausgeben und diese Ressourcen stattdessen für innovative neue Arten der Datennutzung einsetzen können.
Einheitliche transaktionale und analytische Workloads in Snowflake für mehr Einfachheit
Viele Unternehmen müssen zwei separate Datenbanken pflegen: eine für transaktionale Workloads und eine für analytische Workloads. Snowflake Unistore konsolidiert beides in einer einzigen Datenbank, sodass Benutzer:innen eine drastisch vereinfachte Architektur mit weniger Datenbewegungen und einheitlichen Sicherheits- und Governance-Kontrollen erhalten.
Unistore wird durch Hybrid Tables ermöglicht (jetzt allgemein verfügbar in AWS-Handelsregionen), die schnelles, einzeiliges Lesen und Schreiben ermöglichen, um transaktionale Workloads zu unterstützen. Mit den schnellen, parallelitätsintensiven Punktoperationen von Hybrid Tables können Sie Anwendungs- und Workflow-Status direkt in Snowflake speichern, Daten ohne Reverse ETL bereitstellen und kompakte transaktionale Apps entwickeln, während Sie ein einziges Governance- und Sicherheitsmodell sowohl für transaktionale als auch analytische Daten beibehalten – alles auf einer Plattform.
Effizientere Datenerfassung und Kostenmanagement
Für von Snowflake verwaltete Daten führen wir Funktionen ein, mit denen Sie einfach und kostengünstig auf Daten zugreifen können. Mit Snowpipe für Apache Kafka (demnächst in Public Preview in AWS und Microsoft Azure) können Sie Apache Kafka-Ereignisse extrahieren und direkt in Ihrem Snowflake-Konto erfassen, ohne Ihren eigenen Kafka Connect-Cluster zu hosten. Dies reduziert die Gesamtkomplexität der Bereitstellung von Streaming-Daten: Erstellen Sie einfach eine externe Zugriffsintegration mit Ihrer bestehenden Kafka-Lösung.
SnowConvert ist ein benutzerfreundliches Tool zur Code-Umwandlung, das die Migration älterer relationaler Datenbank-Management-Systeme (RDBMS) zu Snowflake beschleunigt. Neben kostenlosen Assessments und kostenlosen Tabellenumwandlungen unterstützt SnowConvert nun auch die kostenlose Konvertierung von Datenbankansichten aus Teradata, Oracle oder SQL Server.
Neue Speicherrichtlinien (Private Preview) bieten eine weitere Möglichkeit, Kosten zu senken, indem Datensätze automatisch gelöscht oder kostengünstig archiviert werden, wenn Sie Ihrer individuellen Richtlinienbedingung entsprechen. So optimieren Sie den Speicher bei gleichzeitig einfacher, skalierbarer Einhaltung gesetzlicher Vorschriften.
Wertschöpfung unstrukturierter Dokumente durch KI-gestützte automatische Datenextraktion und -integration
Unternehmen aller Art werden täglich mit Dokumenten überschwemmt, darunter Rechnungen, Quittungen, Mitteilungen, Formulare usw. Doch die darin enthaltenen Informationen zu erhalten und zu verwenden, bleibt manuell, zeitaufwendig und fehleranfällig. Mit Document AI (allgemein verfügbar auf AWS und Microsoft Azure), einem vollständig verwalteten Snowflake-Workflow, der unstrukturierte Dokumente mithilfe eines integrierten LLM, Arctic-TILT, in strukturierte Tabellen umwandelt, können Sie Dokumente intelligent und skalierbar verarbeiten. Mit der Option zur Feinabstimmung über eine benutzerfreundliche Benutzeroberfläche können geschäftliche Benutzer:innen und Fachleute ohne KI-Kenntnisse stark in die Erstellung und Optimierung von Modellen einbezogen werden, bevor Data Engineers mit der Operationalisierung von Pipelines beauftragt werden. Die Florida State University nutzt Document AI, um Daten aus PDFs und Drittanbieterquellen effizient zu extrahieren. Das vereinfacht die Datenprüfung und eliminiert den wochenlangen manuellen Aufwand.
Besserer Schutz und Verständnis Ihrer Konten und Daten-Assets mit Snowflake Horizon Catalog
Zu den größten Vorteilen von Snowflake gehören die branchenführenden, integrierten Funktionen für Compliance, Sicherheit, Datenschutz, Discovery und Kollaboration, die Teil des Horizon Catalog sind. Diese helfen, die Privatsphäre Ihres Kontos, Ihrer Benutzer:innen und Daten-Assets zu schützen und zu wahren. Wir verbessern unsere Plattform ständig, um unseren Kunden zu helfen, den Überblick über potenzielle Bedrohungen zu behalten.
Verhindern Sie Bedrohungen, bevor sie auftreten – mit verbesserten Sicherheitsfunktionen und Trust Center-Innovationen
In einem weiteren wichtigen Schritt auf dem Weg zur Eliminierung nur passwortbasierter Anmeldungen setzt Snowflake für alle neu erstellten menschlichen Benutzer:innen in jedem Snowflake-Konto standardmäßig die Multi-Faktor-Authentifizierung durch. Außerdem ermöglichen wir Leaked Password Protection (demnächst allgemein verfügbar), bei dem Benutzerpasswörter, die im Dark Web gefunden wurden, überprüft und automatisch deaktiviert werden. Dies bietet integrierten Schutz vor offengelegten Passwörtern und hilft, potenzielle Datenexfiltration zu begrenzen. Kompromittierte Benutzer:innen können sich an die Kontoadministratoren wenden, um ihre Passwörter zurückzusetzen.
Zur API-Authentifizierung unterstützt Snowflake entwicklerfreundliche, vielseitige Programmatic Access Token (demnächst in Private Preview), um die Entwicklererfahrung für den Anwendungszugriff zu vereinfachen und gleichzeitig die Sicherheit zu erhöhen, indem Umfang und Ablauf solcher Token berücksichtigt werden. Und die neue Outbound Private Link Connectivity (External Access ist allgemein auf AWS und Azure verfügbar; External Stage ist in Public Preview auf Azure und demnächst in Public Preview auf AWS; External Function ist allgemein auf Azure verfügbar) verbindet sich mit externen Diensten für Cloud-Service-Anbieter und hält den Datenverkehr immer innerhalb des CSP-Netzwerks und gelangt nie zum öffentlichen Internet, um das Risiko von Datenexposition und anderen Cyberbedrohungen zu minimieren.
Zu den Verbesserungen im Trust Center, einer Schnittstelle, die Ihnen hilft, die Sicherheitslage Ihres Snowflake-Kontos zu bewerten und zu überwachen, gehört ein neues Threat Intelligence Scanner Package (allgemein verfügbar), um zu erkennen, welche Benutzer:innen – egal ob Mensch oder Dienst – ein Risiko darstellen, mit klarer Eindämmung dieser Schwachstellen. Mit Trust Center Extensibility (demnächst in Private Preview) können Kunden benutzerdefinierte Scannerpakete unserer Partner zum Trust Center hinzufügen, die als Snowflake Native Apps im Snowflake Marketplace verfügbar sind.
Implementieren Sie bessere Data Governance durch einfaches Tracking und Handling sensibler Daten
Mit dem Lineage Visualization Interface (Public Preview) können Anwender:innen über eine interaktive Oberfläche in Snowsight ganz einfach den Fluss von Daten und ML-Assets verfolgen. Für Daten-Assets können Kundenunternehmen mühelos erkennen, wie Downstream-Objekte durch Upstream-Veränderungen beeinträchtigt werden könnten. Darüber hinaus können Governors umfangreiche Maßnahmen ergreifen, um Tags und Richtlinien zum Schutz nachgelagerter Spalten zu verbreiten. Bei ML-Assets können Kunden End-to-End-Features und -Modelle anhand von Daten bis hin zu Erkenntnissen zurückverfolgen, um Reproduzierbarkeit, Compliance und Beobachtbarkeit zu verbessern.
Benutzer:innen können außerdem mit Sensitive Data Auto-Classification (demnächst in Public Preview) mithilfe von sofort einsatzbereiten oder mit SQL erstellten benutzerdefinierten Klassifikatoren die Klassifizierung, Kennzeichnung und Maskierung sensibler Daten in jedem Schema automatisieren.
Sensible Daten können einen enormen Wert haben, sind aber oft aus Datenschutzgründen nicht zugänglich. Was, wenn Sie mehr Personen Zugriff auf die Daten gewähren und so den Umfang und die Tiefe sensibler Daten erweitern könnten, die analysiert werden können? Snowflake bietet hierfür unterschiedliche Datenschutzrichtlinien (allgemein verfügbar), die das Risiko der Identifizierung oder Änderung sensibler Daten reduzieren, sowie eine synthetische Datengenerierung (Public Preview), bei der anhand von Originalproduktionsdaten eine genaue Kopie für Tests und Analysen erstellt wird.
Eine neue Ansicht für den unternehmensweiten Zugriffsverlauf (demnächst in Public Preview) gibt Data Stewards und Governors, die sensible Daten über Konten innerhalb desselben Unternehmens hinweg teilen, eine zentrale Aufzeichnung darüber, wer auf welche sensiblen Daten zugegriffen hat. Das erleichtert die Erstellung von Auditberichten und sorgt für die nötige präzise Transparenz, um die Einhaltung gesetzlicher Anforderungen nachzuweisen. Data Stewards können auch Request for Access (Private Preview) einrichten, indem sie eine neue Transparenzeigenschaft für Objekte zusammen mit Kontaktdaten festlegen, sodass die richtige Person leicht erreicht werden kann, um den Zugriff zu gewähren.
Vereinfachen Sie Data Engineering und Data Governance in einem offenen Lakehouse
Von Datenerfassung und -integration bis hin zu Transformation und Sicherheit kann der Prozess der Verwaltung eines Data Lakes überwältigend und kostspielig sein. Für Unternehmen mit Lakehouse-Architekturen hat Snowflake Funktionen entwickelt, die den Aufbau von Pipelines und die Sicherung von Data Lakehouses mit Apache IcebergTM vereinfachen, dem führenden Open-Source-Tabellenformat.
Vereinfachung von „bronze“- und „silver“-Pipelines für Apache Iceberg vereinfachen
Wir vereinfachen mit Snowflake die Verwendung von Iceberg-Tabellen in jeder Phase.
Für die Datenerfassung können Sie Snowpipe Streaming verwenden, um Streaming-Daten kostengünstig mit einem SDK (allgemein verfügbar) oder einem Push-basierten Kafka Connector (Public Preview) in Iceberg-Tabellen zu laden. Für Batch- und Microbatch-Anwendungsfälle, die Iceberg zu bestehenden Data Lakes hinzufügen, führen wir neue Lademodi für COPY und Snowpipe (allgemein verfügbar) ein, die Apache Parquet-Dateien zu Iceberg-Tabellen hinzufügen, ohne Dateien neu zu schreiben. Dieser neue Parameter für COPY und Snowpipe, der vorher in der Private Preview-Phase als Parquet Direct bekannt war, hilft Ihnen, die Performance älterer Data Lakes zu verbessern und gleichzeitig die Wechselkosten zu senken. Mit Snowflakes Delta Lake Direct (Public Preview) können Sie auf Ihre Delta Lake-Tabellen als Iceberg-Tabellen für „bronze“- und „silver“-Ebenen zugreifen, ohne alle Anforderungen von Universal Format (UniForm). Delta Lake Direct unterstützt demnächst automatische Aktualisierungen und Iceberg-Metadaten.
Es gibt zwar noch weitere Tools im Iceberg-Ökosystem, die CDC-Pipelines (Change Data Capture) unterstützen, aber sie verursachen Komplexität bei der Orchestrierung, um Aktualitätanforderungen zu erfüllen. Die dynamischen Apache Iceberg Tables von Snowflake (allgemein verfügbar in dieser Woche) vereinfachen CDC-Pipelines für Iceberg erheblich mit einem deklarativen Ansatz: Schreiben Sie die Abfrage des gewünschten Ergebnisses, geben Sie eine Verzögerung (lag) an und überlassen Sie Snowflake den Rest. In Private Preview können Sie demnächst Iceberg Tables aus externen Katalogen als Quelle für Dynamic Iceberg Tables verwenden. Snowpark Python hat zwar bereits das Lesen von und Schreiben in Iceberg-Tabellen unterstützt, aber Sie können jetzt auch Iceberg-Tabellen mit Snowpark Python erstellen (allgemein verfügbar). Zu guter Letzt können Sie Iceberg-Tabellen klonen (Public Preview), ohne den Speicher zu duplizieren. So können Sie während des Tests und der Entwicklung sicher und kostengünstig mit Iceberg-Tabellen experimentieren.
Die Integration von Snowflake und Iceberg-Tabellen in Ihr Data Lakehouse wird durch eine Fülle von Tools vereinfacht, darunter die Unterstützung für das Schreiben in Microsoft Fabric OneLake (Public Preview) als Speicherort. In diesem Schritt-für-Schritt-Quickstart Guide erfahren Sie, wie gemeinsame Kunden nun beide Plattformen auf einer einzigen Datenkopie nutzen können, was zu geringeren Speicher- und Pipelinekosten beitragen kann. Snowflake ermöglicht außerdem die einfache Abfrage von Iceberg-Tabellen aus jedem Iceberg REST-Katalog (allgemein verfügbar) oder aus extern verwalteten Iceberg-Tabellen mit Merge-on-Read (Private Preview). Um sicherzustellen, dass Sie die neuesten Versionen Ihrer Tabellen abfragen, können Sie Ihren Iceberg-Tabellen- und Katalogintegrationsdefinitionen in SQL eine Einstellung für die automatische Aktualisierung hinzufügen (demnächst allgemein verfügbar).
Einfache und sichere Zusammenarbeit mit Snowflake Open Catalog, einem von Snowflake verwalteten Dienst für Apache Polaris
Im Juli 2024 erhielt Snowflake einen Katalog für Apache Iceberg, der heute als Apache PolarisTM (Inkubation) bekannt ist und die Interoperabilität über viele Engines hinweg auf einer einzigen Datenkopie ermöglicht, ohne dass Datenkopien oder -bewegungen nötig sind. Snowflake Open Catalog, ein vollständig verwalteter Dienst für Apache Polaris, ist ab sofort allgemein verfügbar und bietet Anwender:innen alle Vorteile von Polaris – keine Anbieterbindung, Flexibilität bei den Engines, engineübergreifende Sicherheit – sowie die Zuverlässigkeit, Sicherheit, Skalierbarkeit und Unterstützung, die den Einstieg und die sichere Verwendung erleichtern. Teams in Ihrem Unternehmen können nun auf sichere Weise mit einheitlichen Zugriffskontrollen für viele Engines (lesende und schreibende) wie Apache FlinkTM, Apache SparkTM, Presto und Trino an Data Lakes zusammenarbeiten.
Um die Zusammenarbeit und Geschäftskontinuität weiter zu unterstützen, haben wir auch Iceberg-Unterstützung für Funktionen wie Replikation (Private Preview) und cloudübergreifendes Auto-Fulfillment (Private Preview) eingeführt. Sie können mit Ihrem eigenen Objektspeicher die von Snowflake verwalteten Iceberg-Tabellen von der Quelle bis zum Zielkonto replizieren, indem Sie die übergeordnete Datenbank und das externe Volumen zu einer Failover-Gruppe hinzufügen. Durch einfaches Konfigurieren eines Angebots mit einer von Snowflake verwalteten Iceberg-Tabelle, die in mehreren Regionen verfügbar ist, können Kunden diese Tabellen mit Verbrauchenden in anderen Clouds und Regionen teilen.
Mehr erfahren
Datenarchitektur muss kein Labyrinth von Punktlösungen sein, die nicht nur die Produktivität beeinträchtigen, sondern auch Sicherheit und Governance gefährden. Mit diesen Verbesserungen an unserer einheitlichen Plattform möchte Snowflake das Komplexe weiter vereinfachen und gleichzeitig Flexibilität bieten, damit Kunden Architekturen entwickeln können, die ihren Anforderungen am besten entsprechen.
Um mehr über diese Ankündigungen zu erfahren und zu erfahren, wie Snowflake Unternehmen dabei unterstützt, Daten ihren jeweiligen Ansprüchen entsprechend zu verwenden, sollten Sie nicht die Eröffnungs-Keynote von BUILD 2024 oder die What’s New Sessions verpassen:
Authors
