Snowflake simplifica la arquitectura, la gobernanza y la seguridad de los datos para acelerar la obtención de valor en todos los workloads
Hoy en día, es fácil que la infraestructura de datos de una organización empiece a verse como un laberinto, con una acumulación de soluciones puntuales aquí y allá. Aunque algunas empresas encuentran formas de unir muchas herramientas con flujos complejos, ¿no sería mejor que pudieran eliminar algunos de los pasos? ¿Y si pudieras optimizar tus esfuerzos y seguir creando la arquitectura que mejor se adapte a tus necesidades empresariales y tecnológicas?
Snowflake se compromete a hacerlo mediante la adición continua de funciones que ayuden a nuestros clientes a simplificar la forma de diseñar su infraestructura de datos. Tanto si se trata de unificar datos transaccionales y analíticos con Hybrid Tables como de mejorar la gobernanza de un lakehouse abierto con Snowflake Open Catalog o la detección y supervisión de amenazas con Snowflake Horizon Catalog, Snowflake reduce el número de “piezas móviles” para ofrecer a los clientes un servicio totalmente gestionado que simplemente funciona.
En BUILD 2024, anunciamos varias mejoras e innovaciones diseñadas para ayudarte a crear y gestionar tu arquitectura de datos cómo quieras. A continuación, se ofrece una visión más detallada.
Optimiza la arquitectura de datos para acelerar la obtención de valor
En los casos de uso transaccionales y analíticos híbridos, junto con la transmisión y los datos no estructurados, puede crear soluciones con Snowflake que requieran menos piezas móviles, lo que significa que puede gastar menos tiempo y dinero en configuraciones manuales y gestión de silos para, en su lugar, dirigir esos recursos a buscar nuevas formas de hacer uso de los datos.
Unifica los workloads transaccionales y analíticos en Snowflake para una mayor simplicidad
Muchas empresas deben mantener dos bases de datos independientes: una para gestionar workloads transaccionales y otra para workloads analíticos. Snowflake Unistore se consolida en una única base de datos para que los usuarios puedan crear una arquitectura drásticamente simplificada con menos movimientos de datos y con controles de seguridad y gobernanza uniformes.
Unistore es posible gracias a Hybrid Tables (ahora de disponibilidad general en regiones comerciales de AWS), que permite lecturas y escrituras rápidas de una sola fila para admitir workloads transaccionales. Gracias a las operaciones puntuales rápidas de alta simultaneidad de Hybrid Tables, puedes almacenar el estado de las aplicaciones y los flujos de trabajo directamente en Snowflake, ofrecer datos sin extracción, transformación y carga (extract, transform, load; ETL) inversa y crear aplicaciones transaccionales ligeras al tiempo que mantienes un único modelo de gobernanza y seguridad para los datos transaccionales y analíticos, todo en una misma plataforma.
Ingiere datos de forma más eficiente y gestiona costes
Para los datos gestionados por Snowflake, presentamos funciones que te ayudan a acceder a los datos de forma fácil y rentable. Con Snowpipe para Apache Kafka (en vista previa pública próximamente en AWS y Microsoft Azure), un mecanismo de “pull”, en lugar del conector “push” existente, permite extraer eventos de Apache Kafka de su cuenta de Snowflake, e incorporarlos, directamente sin alojar su propio clúster Kafka Connect. Esto reduce la complejidad general de tener los datos de transmisión listos para usar: simplemente crea una integración de acceso externo con la solución de Kafka que ya tienes.
SnowConvert es una herramienta de conversión de código fácil de usar que acelera las migraciones heredadas del sistema de gestión de bases de datos relacionales (RDBMS) a Snowflake. Además de las evaluaciones y conversiones de tablas gratuitas, SnowConvert ahora admite la conversión precisa de vistas de bases de datos de Teradata, Oracle o SQL Server, también de forma gratuita.
Las nuevas políticas del ciclo de vida del almacenamiento (en vista previa privada) ofrecen otra oportunidad para reducir los costes, ya que permiten eliminar registros automáticamente o archivarlos en un nivel de bajo coste cuando coinciden con las condiciones de tu política personalizada. Esto ayuda a optimizar el almacenamiento a la vez que respeta el cumplimiento normativo de una forma fácil y escalable.
Aprovecha el valor de los documentos no estructurados con la extracción e integración automatizadas de datos basadas en IA
Empresas de todo tipo se llenan de documentos todos los días —facturas, recibos, avisos, formularios y mucho más—, pero obtener y utilizar la información que contienen sigue siendo un proceso manual, lento y propenso a errores. Con Document AI (de disponibilidad general en AWS y Microsoft Azure), un flujo de trabajo de Snowflake totalmente gestionado que transforma documentos no estructurados en tablas estructuradas mediante un LLM integrado (Arctic-TILT), puedes procesar documentos de forma inteligente y a escala. Gracias a una opción que permite configurar una interfaz de usuario fácil de usar, los usuarios empresariales y los expertos en la materia sin experiencia en IA pueden participar activamente en la creación y el perfeccionamiento de modelos antes de llamar a los ingenieros de datos para que operacionalicen los flujos. La Universidad Estatal de Florida ha estado utilizando Document AI para extraer datos de PDF y fuentes de terceros de manera eficiente, lo que simplifica la auditoría de datos y elimina semanas de trabajo manual.
Protege y comprende mejor tus cuentas y activos de datos con Snowflake Horizon Catalog
Entre las mayores ventajas de Snowflake se encuentran las funciones líderes del sector en materia de cumplimiento, seguridad, privacidad, descubrimiento y colaboración integradas que forman parte del catálogo Horizon Catalog. Estas funciones ayudan a proteger y preservar la privacidad de la cuenta, los usuarios y los activos de datos. Estamos mejorando constantemente nuestra plataforma para ayudar a nuestros clientes a mantenerse al tanto de las amenazas potenciales.
Evita las amenazas antes de que ocurran con funciones de seguridad mejoradas e innovaciones del Trust Center
En otro paso clave para eliminar los inicios de sesión solo con contraseña, Snowflake está implementando la autenticación multifactor (multi-factor authentication, MFA) de forma predeterminada para todos los usuarios humanos recién creados en cualquier cuenta de Snowflake. También vamos a habilitar Leaked Password Protection (disponible pronto a nivel general), que verificará y desactivará automáticamente las contraseñas de usuario descubiertas en la dark web. Esto proporciona protección integrada contra contraseñas filtradas y ayuda a limitar el potencial de filtración de datos. Los usuarios que hayan experimentado esto pueden ponerse en contacto con los administradores de cuentas para restablecer sus contraseñas.
Para la autenticación de API, Snowflake admite Programmatic Access Tokens versátiles y fáciles de desarrollar (próximamente en vista previa privada) a fin de simplificar la experiencia del desarrollador en cuanto al acceso a las aplicaciones y, al mismo tiempo, mejorar la seguridad al incluir el alcance y la caducidad de dichos tokens. Además, la nueva función Outbound Private Link Connectivity (External Access está disponible de forma general en AWS y Azure; External Stage está en vista previa pública en Azure y pronto en vista previa pública en AWS; External Function está disponible de forma general en Azure) se conecta a servicios externos para proveedores de servicios en la nube y mantiene el tráfico de datos siempre dentro de la red CSP, sin llegar nunca a Internet público, para minimizar el riesgo de exposición de datos y otras ciberamenazas.
Las mejoras de Trust Center, una interfaz que ayuda a evaluar y supervisar la posición de seguridad de tu cuenta de Snowflake, incluyen una nueva función llamada Threat Intelligence Scanner Package (de disponibilidad general) para detectar qué usuarios —personas o servicios— representan un riesgo, con una forma clara de cómo abordar esas vulnerabilidades. De cara al futuro, Trust Center Extensibility (próximamente en vista previa privada) permitirá a los clientes agregar paquetes de escáner personalizados a Trust Center de nuestros partners, que están disponibles como Snowflake Native Apps en Snowflake Marketplace.
Implementa una mejor gobernanza de datos haciendo un seguimiento y gestionando datos confidenciales fácilmente
Lineage Visualization Interface (en vista previa pública) permite a los clientes llevar un seguimiento sencillo del flujo de datos y activos de aprendizaje automático (machine learning, ML) con una interfaz interactiva en Snowsight. Con esta nueva interfaz de usuario, los clientes pueden consultar con facilidad cómo afectan las modificaciones en etapas anteriores a los objetos posteriores. Además, las personas encargadas de la gobernanza pueden realizar acciones en bloque para propagar etiquetas y políticas a fin de proteger las columnas posteriormente. En el caso de los activos de ML, los clientes pueden hacer un seguimiento integral de las funciones y el linaje de los modelos desde los datos hasta la información para lograr la reproducibilidad, un cumplimiento más sólido y una observabilidad simplificada.
Los usuarios también pueden automatizar fácilmente la clasificación, el etiquetado y el enmascaramiento de datos confidenciales en cualquier esquema con Sensitive Data Auto-Classification (próximamente en vista previa pública) a través de clasificadores listos para usar o clasificadores personalizados creados con SQL.
Los datos confidenciales pueden tener un valor enorme, pero a menudo quedan bloqueados debido a los requisitos de privacidad. ¿Y si pudieras hacer que más personas colaboraran con los datos, ampliando así la amplitud y profundidad de los datos confidenciales que se pueden analizar? Snowflake lo hace posible con políticas de privacidad diferenciales (de disponibilidad general), que reducen el riesgo de identificación o reestructura de datos confidenciales, y la generación de datos sintéticos (en vista previa pública), que utiliza datos de producción originales para crear una réplica cercana para las pruebas y el análisis.
El nuevo aspecto del historial de acceso para toda la organización (próximamente en vista previa pública) proporciona a los administradores y los responsables de la gobernanza de los datos que comparten datos confidenciales entre cuentas de la misma organización un registro centralizado de quién accedió a qué datos confidenciales, lo que simplifica la generación de informes de auditoría y proporciona la visibilidad detallada necesaria para demostrar el cumplimiento de los requisitos normativos. Los administradores de datos también pueden configurar Request for Access (en vista previa privada) estableciendo una nueva propiedad de visibilidad en los objetos junto con los datos de contacto para poder contactar fácilmente con la persona adecuada y conceder el acceso.
Simplifica la ingeniería y gobernanza de datos en un data lakehouse abierto
Desde la ingesta y la integración hasta la transformación y la seguridad, el proceso de gestión de un data lake puede ser abrumador y costoso. Para las organizaciones con arquitecturas de data lakehouse, Snowflake ha desarrollado funciones que simplifican la experiencia de crear flujos y proteger data lakehouses con Apache Iceberg™, el formato de tabla de código abierto líder.
Simplifica los flujos “bronze” y “silver” Apache Iceberg
Estamos facilitando aún más el uso de Iceberg Tables con Snowflake en cada fase.
Para la ingesta de datos, puedes utilizar Snowpipe Streaming para cargar los datos de transmisión en las Iceberg Tables de forma rentable con un SDK (de disponibilidad general) o un conector Kafka basado en push (en vista previa pública). Para los casos de uso por lotes y microlotes que añaden Iceberg Tables a data lakes existentes, vamos a introducir nuevos modos de carga para COPY y Snowpipe (de disponibilidad general) que añaden archivos de Apache Parquet a las tablas de Iceberg tal cual sin reescribir los archivos. Anteriormente conocido como Parquet Direct durante la fase de vista previa privada, este nuevo parámetro para COPY y Snowpipe ayuda a mejorar el rendimiento de los data lakes heredados, al tiempo que reduce los costes de conmutación. Delta Lake Direct de Snowflake (en vista previa pública) permite acceder a las tablas de Delta Lake como Iceberg Tables para las capas “bronze” y “silver” sin todos los requisitos de Universal Format (UniForm). La compatibilidad con la actualización automática y la generación de metadatos de Iceberg Tables llegará pronto a Delta Lake Direct.
Si bien existen otras herramientas en el ecosistema de Iceberg que respaldan los flujos de captura de cambios en los datos (CDC), conllevan complejidad de orquestación para satisfacer los requisitos de actualización. Dynamic Apache Iceberg Tables de Snowflake (disponible de forma general esta semana) simplifica sustancialmente los flujos de los CDC para Iceberg con un enfoque declarativo: escribe la consulta del resultado deseado, especifica un retraso y deja que Snowflake se ocupe del resto. Pronto en vista previa privada, puedes utilizar Iceberg Tables de catálogos externos como fuente de Dynamic Iceberg Tables. Aunque Snowpark Python admite la lectura y escritura en Iceberg Tables, ahora también puedes crear Iceberg Tables con Snowpark Python (de disponibilidad general). Por último, puedes clonar Iceberg Tables (en vista previa pública) sin duplicar el almacenamiento, lo que te permite experimentar con Iceberg Tables de forma segura y rentable durante las pruebas y el desarrollo.
La integración de tablas de Snowflake e Iceberg en tu data lakehouse se simplifica con un sinfín de herramientas, incluida la compatibilidad para escribir en Microsoft Fabric OneLake (en vista previa pública) como ubicación de almacenamiento. Utiliza esta guía paso a paso para ver cómo los clientes conjuntos ahora pueden utilizar ambas plataformas en una sola copia de los datos, lo que puede ayudar a reducir los costes de almacenamiento y flujo. Snowflake también permite a los usuarios consultar fácilmente Iceberg Tables de cualquier catálogo Iceberg REST (de disponibilidad general) o cualquier Iceberg Table gestionada externamente que utilice la fusión en lectura (en vista previa privada). Para ayudarte a tener la seguridad de que consultas las versiones más recientes de tus tablas, puedes añadir una configuración de actualización automática (pronto disponible a nivel general) a las definiciones de integración de las tablas y el catálogo Iceberg en SQL.
Colabora de forma fácil y segura con Snowflake Open Catalog, un servicio gestionado de Snowflake para Apache Polaris
En julio de 2024, Snowflake creó un catálogo de Apache Iceberg con código abierto, ahora conocido como Apache Polaris™ (en incubadora), que permite la interoperabilidad entre muchos motores en una sola copia de los datos, sin copias de datos ni movimientos superfluos. Snowflake Open Catalog, un servicio totalmente gestionado para Apache Polaris, ahora está disponible de forma general. Ofrece a los usuarios todas las ventajas de Polaris —independencia de los proveedores, flexibilidad de los motores y seguridad entre motores—, así como la fiabilidad, seguridad, escalabilidad y asistencia que facilitan el inicio y la seguridad de uso. Ahora, los equipos de tu organización pueden colaborar en data lakes de forma segura con controles de acceso coherentes para muchos motores —de lectura y escritura— como Apache FlinkTM, Apache SparkTM, Presto y Trino.
Para seguir apoyando la colaboración y la continuidad del negocio, también hemos introducido la compatibilidad de Iceberg con funciones como Replication (en vista previa privada) y Cross-Cloud Auto-Fulfillment (en vista previa privada). Puedes replicar Iceberg Tables gestionadas por Snowflake desde el origen hasta la(s) cuenta(s) de destino con tu propio almacenamiento de objetos añadiendo tu base de datos principal y tu volumen externo a un grupo de conmutación por error. Y con solo configurar un listado que contenga una Iceberg Table gestionada por Snowflake para que esté disponible en varias regiones, los clientes pueden compartir estas tablas con los consumidores de otras nubes y regiones.
Más información
La arquitectura de datos no tiene por qué ser un laberinto de soluciones puntuales que, además de empobrecer la productividad, amenazan la seguridad y la gobernanza. Con estas mejoras en nuestra plataforma unificada, Snowflake trata de simplificar aún más cuestiones complejas y, al mismo tiempo, proporcionar flexibilidad para que los clientes puedan crear las arquitecturas que mejor se adapten a sus necesidades.
Para obtener más información sobre estos anuncios y cómo Snowflake ayuda a las organizaciones a utilizar los datos en sus propios términos, no te pierdas el keynote de apertura del BUILD 2024 ni las sesiones de novedades:
Authors
