Catálogo de datos: la capa de contexto para los datos gobernados y la IA

Un catálogo de datos solía responder a una pregunta relativamente sencilla: ¿qué datos tenemos disponibles? Esa pregunta sigue siendo importante, pero ya no es suficiente. Antes de que un equipo pueda usar un activo de datos, debe saber qué significa, si es adecuado para la tarea en cuestión y qué condiciones de gobernanza se aplican. Encontrar datos es solo una parte del desafío. Entenderlos es donde las cosas suelen fallar.

Este problema se complica aún más cuando intervienen sistemas de IA. Los agentes de IA y los flujos de trabajo automatizados no se detienen a evaluar la idoneidad de los datos: consumen lo que se les proporciona y propagan los resultados a los sistemas posteriores. Un catálogo de datos moderno resuelve ambas cosas. Proporciona a los equipos y a los sistemas de IA el contexto necesario para actuar sobre los datos con confianza: linaje para entender la procedencia, propiedad para establecer la responsabilidad y políticas para determinar qué está permitido. A medida que la automatización se generaliza, esta capa de contexto es lo que separa el acceso a los datos de la preparación de los datos.

Un catálogo de datos es la capa de descubrimiento y gobernanza del conjunto de herramientas de gobernanza de datos. Ayuda a los equipos a encontrar activos de datos, interpretar su contexto, rastrear su linaje y entender las condiciones que determinan un uso adecuado. A medida que más organizaciones conectan datos gobernados con analíticas, aplicaciones y sistemas de IA, el catálogo actúa como una capa de contexto que ayuda tanto a las personas como a los sistemas automatizados a decidir si un conjunto de datos es fiable y apto para su propósito.

Un catálogo de datos moderno debe ayudar a los usuarios a responder varias preguntas prácticas con rapidez:

• ¿Qué es este activo?
• ¿Quién es su propietario?
• ¿Cómo se ha generado?
• ¿Qué cambios ha tenido a lo largo del tiempo?
• ¿Es fiable para este caso de uso?
• ¿Qué políticas o restricciones de acceso se le aplican?

Diferencias entre los catálogos de datos modernos y los inventarios de metadatos básicos

Los inventarios de metadatos básicos enumeran los activos, registran las estructuras y ayudan a los equipos a ver lo que tienen a su disposición. Lo que normalmente no hacen bien es ayudar a los usuarios a decidir si debe usarse un activo, cómo encaja en un flujo de trabajo más amplio o qué dependencias y controles determinan su significado.

Un catálogo de datos conecta los metadatos técnicos con el significado empresarial y el contexto de gobernanza para que los usuarios puedan interpretar los activos en el flujo de trabajo real. Puede mostrar qué relación tiene el activo con los sistemas anteriores y posteriores, si se ha sometido a revisión o certificaciones, cuál fue su última actualización y qué condiciones de gobernanza se aplican antes de su reutilización.

Esa diferencia entre los inventarios de metadatos y los catálogos de datos modernos suele describirse como el paso de un catálogo pasivo a un catálogo activo:

• Un catálogo pasivo documenta los metadatos en un momento concreto, a menudo mediante actualizaciones manuales, análisis periódicos o entradas estáticas que pueden quedarse obsoletas a medida que los esquemas cambian, los propietarios rotan y las definiciones evolucionan. Puede ser preciso en el momento de su creación, pero su utilidad disminuye cuando el entorno cambia más rápido de lo que las personas pueden mantenerlo actualizado.
• Un catálogo activo utiliza metadatos activos para mantener el contexto más cerca de los sistemas y flujos de trabajo que describe. Puede actualizar los metadatos cuando cambian los esquemas, enriquecer las entradas con señales de uso, mostrar las políticas durante el descubrimiento y conectar los metadatos con los flujos de trabajo de administración de datos, acceso y gobernanza. En lugar de actuar como una referencia estática, se convierte en una capa de contexto dinámica para el uso de datos.

Escucha a Raja Balakrishnan, de Snowflake, y a sus colegas mientras hablan sobre cómo Horizon Catalog puede ayudar a los usuarios a descubrir al instante datos, aplicaciones y modelos relevantes, y a colaborar en torno a ellos.

El descubrimiento de datos es una de las funciones más conocidas de un catálogo de datos, pero su valor va mucho más allá de la localización de activos. Ayuda a las personas a encontrar datos de una manera adaptada a su forma de trabajar y, luego, les ofrece el contexto necesario para usarlos con confianza.

Búsqueda que refleja cómo trabajan los usuarios empresariales

Los usuarios empresariales rara vez parten del mismo punto. Una persona realiza búsquedas por término empresarial, otra por objeto de esquema y otra por dominio, propietario o etiqueta. En los grandes entornos de datos, los usuarios también suelen empezar por una pregunta de negocio en lugar del nombre exacto de una tabla o vista.

Un catálogo útil se adapta a todos estos puntos de partida. Esto significa que el descubrimiento no puede depender únicamente de la recuperación de coincidencias exactas. A medida que los patrimonios de datos se vuelven más complejos, cobra más importancia la capacidad de búsqueda inteligente y en lenguaje natural porque, con una sola pregunta, los usuarios pueden acceder al activo correspondiente a través del contexto semántico, no solo mediante convenciones de nomenclatura.

Descubrimiento contextual de activos más allá de resultados de búsqueda aislados

Un catálogo sólido permite a los usuarios explorar conjuntos de datos relacionados, ver qué activos se usan ampliamente en un dominio e identificar recursos relevantes para su función o patrones de uso anteriores.

Este tipo de descubrimiento contextual es esencial porque rara vez se trabaja con un activo aislado. Se comparan las alternativas, se inspeccionan los modelos relacionados y se intenta averiguar dónde entra en juego un activo dentro de un flujo de trabajo más amplio. El descubrimiento se vuelve más productivo cuando el catálogo ayuda a los usuarios a explorar esas relaciones en lugar de obligarlos a comenzar cada búsqueda desde cero.

Cuando la gobernanza se hace visible por primera vez

Para muchos usuarios, el descubrimiento es también el primer punto en el que se hace visible la gobernanza. El catálogo les ayuda a ver no solo que un activo existe, sino si el acceso está restringido, si se trata de datos confidenciales y si el activo se ha revisado o aprobado para hacer de él un uso más general.

Esta información determina cómo deciden los equipos qué pueden utilizar, cómo pueden hacerlo y si se requiere una revisión adicional. La gobernanza resulta más fácil de seguir cuando se integra en el descubrimiento en lugar de mostrarse como un proceso independiente que se revela a los usuarios más adelante.

Por qué la calidad del descubrimiento afecta a la reutilización y la adopción

La calidad de búsqueda define el comportamiento. Es más probable que los equipos reutilicen los activos que están bien gestionados y documentados, y que son fáciles de encontrar e interpretar. Si el descubrimiento es deficiente, los usuarios recurrirán a extractos locales, modelos duplicados y soluciones alternativas informales porque es más rápido que tener que hacer frente a la incertidumbre. Este es uno de los argumentos empresariales más claros a favor de la calidad del catálogo.

La gestión de metadatos mantiene un catálogo organizado, pero, más importante aún, determina si el catálogo puede respaldar decisiones reales sobre el uso de los datos. En entornos empresariales, rara vez basta con una descripción técnica de un activo. Los usuarios también suelen necesitar el contexto operativo y empresarial que ayude a los equipos de ingeniería de datos a hacer que los datos sean fiables y útiles, y estén listos para las analíticas.

Los usuarios de metadatos necesitan evaluar los activos

En la práctica, los usuarios precisan de varios tipos de metadatos al mismo tiempo. Necesitan descripciones que expliquen lo que representa el activo, referencias sobre quién es el propietario del mismo, información actualizada que les ayude a determinar su vigencia y el contexto normativo que aclare si existen restricciones en cuanto a su uso. También pueden necesitar referencias de linaje, activos relacionados e información sobre el papel del activo en un flujo de trabajo más amplio.

Estos metadatos permiten evaluar un activo rápidamente. Sin ellos, los usuarios se ven obligados a reconstruir el contexto a partir de fragmentos dispersos entre documentación, tickets y conocimiento personal.

Tipos de metadatos

Es útil clasificar los metadatos en varios grupos generales. Por ejemplo:

• Los metadatos técnicos abarcan estructuras, esquemas, columnas y relaciones con las fuentes.
• Los metadatos de negocio añaden definiciones, propietarios, dominios y uso previsto.
• Los metadatos operativos indican la cadencia de actualización, la hora de la última actualización y los patrones de uso.
• Los metadatos de gobernanza describen clasificaciones, certificaciones, condiciones de acceso y otras señales que afectan a la reutilización.

Cada capa responde a una pregunta diferente, pero el valor del catálogo se deriva de presentarlas todas de forma conjunta.

Mantener la vigencia de los metadatos a gran escala

Los metadatos deben actualizarse a medida que los activos cambian de propietario, se modifican las definiciones, surgen nuevos usos posteriores y evolucionan las condiciones de las políticas. Si un catálogo depende por completo de actualizaciones manuales, quedará obsoleto en poco tiempo.

La ingesta automática, el enriquecimiento basado en patrones y la descripción asistida por IA pueden ayudar a mantener los metadatos más completos y actualizados, tanto a través de análisis por lotes programados como a través de la captura basada en eventos, a medida que los pipelines se ejecutan en tiempo real.

La administración de datos sigue siendo importante, especialmente en lo que respecta al significado empresarial y las aprobaciones, pero el modelo operativo no puede depender de que el contexto de los activos se reescriba manualmente cada vez que cambia el entorno.

El linaje de datos ayuda a los usuarios a comprender cómo se creó un conjunto de datos, y el análisis de impacto les permite ver qué otros elementos dependen de él.

El linaje como contexto para la confianza y la interpretación

El linaje es importante porque un resultado o una métrica suelen basarse en suposiciones que no se ven a simple vista. Un conjunto de datos puede parecer fiable, pero es posible que dependa de una transformación que excluya ciertos registros, redefina campos clave o aplique lógica empresarial que otro equipo no espera. Gracias al linaje, es más fácil analizar esas relaciones.

Tanto los analistas como los administradores y los equipos de negocio se benefician de saber cómo se ha generado un activo y qué sistemas o transformaciones definen su significado.

Análisis de impacto antes del cambio

La misma visibilidad es importante cuando hay algo a punto de cambiar. La actualización de la lógica de un modelo, una nueva definición de campo o un cambio en el comportamiento del sistema de origen pueden tener muchos efectos más adelante en la cadena. Sin análisis de impacto, los equipos suelen detectar esas dependencias una vez que se producen fallos en los informes, se interrumpen los flujos de trabajo o surgen disputas en torno a las métricas.

Un catálogo de datos ayuda a reducir ese riesgo al mostrar lo que está conectado antes de que el cambio entre en vigor, lo que ofrece a los equipos la oportunidad de planificar, comunicarse y hacer validaciones, en lugar de arreglar problemas inesperados cuando ya es tarde.

Por qué el linaje es importante para la solución de problemas, la gobernanza y la modernización

El linaje tiene valor práctico en varios tipos de trabajo. Facilita la resolución de problemas cuando los datos presentados pierden coherencia. Ayuda a los administradores a rastrear cómo los campos de datos confidenciales se someten a transformaciones a nivel de columna, no solo a nivel de conjunto de datos, algo importante a efectos de las auditorías reglamentarias y la gobernanza de datos personales (PII). Además, ayuda en las iniciativas de modernización al identificar qué depende de los activos heredados antes de que comience la migración.

En cada caso, reduce la incertidumbre sobre cómo se mueven los datos y otorga a los equipos más confianza en las decisiones que se derivan de esa comprensión.

Saber qué es un activo y de dónde procede no resuelve la cuestión de si es apto para su uso. La calidad de los datos y el perfilado añaden un nivel adicional de valoración, al identificar si el activo está desactualizado, incompleto, es inusualmente volátil o se creó para un propósito distinto al que el usuario tiene ahora en mente.

La creación automática de perfiles examina el contenido y los patrones reales de los conjuntos de datos para detectar posibles problemas de calidad. Esto incluye la detección de valores atípicos, la identificación de valores ausentes y la validación de formatos de datos.

Los mejores catálogos incorporan funciones avanzadas de supervisión de la calidad que utilizan el aprendizaje automático (ML) para establecer patrones habituales y señalar automáticamente las anomalías que requieren atención. Los resultados del perfilado se almacenan junto con el resto de metadatos, lo que proporciona a los consumidores de datos un contexto importante sobre la fiabilidad del conjunto de datos y ayuda a los administradores de datos a priorizar las iniciativas de mejora de la calidad.

Los activos pueden parecer similares a simple vista, pero conllevar obligaciones de uso muy distintas. Los procesos de clasificación de datos y etiquetado ayudan a los usuarios a comprobar si un activo contiene datos confidenciales, si está sujeto a algún requisito normativo o si debe tratarse de forma diferente a los resultados exploratorios o temporales.

Estas funciones cobran especial importancia cuando el mismo entorno contiene capas de ingesta de datos sin procesar, modelos optimizados, productos de datos gobernados y resultados exploratorios temporales.

Cómo las etiquetas mejoran el descubrimiento y la administración

Las etiquetas son útiles en varios sentidos a la vez. Facilitan la búsqueda al acotar los resultados a los activos relevantes. Ayudan con la administración al aclarar quiénes son los propietarios, dirigir la tareas de revisión e indicar los activos que requieren atención. Además, respaldan la gobernanza al facilitar el reconocimiento de las características relevantes para las políticas y la adopción de medidas al respecto.

Etiquetado manual y automatización

La clasificación a gran escala requiere una combinación de automatización y revisión manual. Los catálogos modernos pueden usar IA para identificar datos confidenciales y sugerir clasificaciones, a la vez que ayudan a los equipos a aplicar etiquetas de forma más coherente en entornos grandes y que cambian con rapidez.

Sin embargo, la administración sigue siendo necesaria para el significado empresarial, las decisiones sobre políticas, las excepciones y la aprobación final. Los expertos en la materia pueden enriquecer las clasificaciones automatizadas con etiquetas personalizadas que reflejen la terminología específica del sector, las taxonomías internas y los procesos empresariales.

Esta estrategia híbrida combina la eficiencia de la automatización con la precisión del criterio humano, lo que garantiza que los activos de datos estén debidamente categorizados tanto con fines de cumplimiento como empresariales.

Una parte importante del contexto en torno a un activo se encuentra en las decisiones que toman los equipos sobre cómo debe utilizarse, como las advertencias conocidas, los usos aprobados, las excepciones y los avisos sobre los tiempos o la idoneidad. Los comentarios, las valoraciones y las señales de uso proporcionan una forma de captar este tipo de conocimientos prácticos.

Señales de uso, reseñas y comentarios de administración

Las señales de uso ayudan a los usuarios a ver en qué activos se confía ampliamente y cuáles siguen siendo marginales o inciertos. Las reseñas y los comentarios de administración aportan otro nivel al hacer más visible la confianza. En conjunto, permiten distinguir entre un activo que simplemente existe y uno que está activo, en buen estado de mantenimiento y que se considera lo suficientemente fiable como para un uso más amplio.

Por qué son importantes los mecanismos de contribución ágiles

La colaboración solo funciona cuando contribuir es sencillo. Si los propietarios y los administradores tienen que seguir procesos manuales complejos para mantener el contexto actualizado, el catálogo quedará rezagado respecto al entorno que pretende describir. Por este motivo, los mecanismos de contribución importan tanto como las propias funciones de colaboración. Cuanto más fácil sea añadir una nota, actualizar el propietario o aclarar el uso aprobado, más probable será que el catálogo siga siendo útil a lo largo del tiempo.

La adopción de catálogos de datos suele fracasar cuando la curación manual se convierte en el cuello de botella. Los catálogos nativos de IA reducen la cantidad de esfuerzo manual necesario para describir, clasificar, enriquecer y buscar activos de datos.

Enriquecimiento automatizado de metadatos

El enriquecimiento automatizado de los metadatos utiliza la IA y métodos basados en reglas para generar o mejorar entradas de catálogo. Esto puede incluir sugerir descripciones para tablas y columnas, identificar relaciones entre activos, inferir contexto empresarial a partir de nombres o patrones de uso, y marcar entradas que necesitan la revisión por parte de un administrador de datos.

Los metadatos generados por large language models (LLM) son especialmente útiles cuando existen metadatos técnicos, pero falta la descripción en lenguaje natural o está incompleta. Un sistema puede inspeccionar nombres de tablas, nombres de columnas, valores de muestra y objetos cercanos, y después sugerir una descripción que el propietario o el administrador de datos puede revisar.

La IA no puede sustituir la labor de los administradores de datos, pero sí cambia el trabajo que realizan. En lugar de escribir cada descripción desde cero, los administradores de datos pueden revisar descripciones sugeridas por la IA, corregir el significado empresarial, aprobar clasificaciones y centrar la atención en activos de alto valor o de alto riesgo.

Búsqueda inteligente y búsqueda mediante PLN

La IA también mejora el descubrimiento. La búsqueda inteligente puede usar metadatos, descripciones, etiquetas, linaje, patrones de acceso y similitud semántica para devolver activos que coincidan con la intención del usuario, incluso cuando este no conoce el nombre exacto del objeto.

La búsqueda mediante procesamiento del lenguaje natural (PLN) resulta útil cuando los usuarios empresariales hacen preguntas en lenguaje corriente, como “¿qué conjunto de datos aprobado debo usar para los ingresos actuales de los clientes?” o “¿dónde puedo encontrar datos gobernados sobre el uso de productos del último trimestre?”. El catálogo puede usar el contexto semántico para devolver activos candidatos y, después, mostrar las señales de propiedad, linaje, calidad y políticas que ayudan al usuario a decidir qué usar.

Clasificación y etiquetado automatizados

La clasificación de datos y el etiquetado también son buenos candidatos para la automatización. Un catálogo puede analizar esquemas y valores para identificar campos que probablemente sean confidenciales, sugerir etiquetas para datos personales o financieros, aplicar etiquetas de dominio y derivar las clasificaciones inciertas a los administradores de datos para su revisión.

En entornos de datos grandes, un proceso de etiquetado totalmente manual resulta difícil de mantener porque aparecen continuamente nuevas tablas, columnas y activos derivados. La curación automatizada ayuda a seguir el ritmo, mientras que la revisión humana preserva el criterio en los casos en que la clasificación afecta a las políticas, el cumplimiento o el significado empresarial.

La IA puede facilitar la creación y el mantenimiento del catálogo, como acabamos de explicar, pero un catálogo de datos también puede servir a los agentes de IA al proporcionarles los metadatos, el linaje, la propiedad y el contexto normativo que necesitan para usar los datos empresariales de forma responsable. Un agente de IA que consulta datos en tiempo de ejecución necesita contexto antes de recuperar, resumir o actuar sobre la información. Puede necesitar saber qué tabla está certificada, qué definición de métrica está vigente, si un campo contiene datos confidenciales, qué política de acceso se aplica y si una fuente está lo bastante actualizada para la tarea.

En este sentido, un catálogo de datos también sirve como una capa de contexto para la gobernanza de IA que ayuda a los sistemas de IA a entender el entorno de datos antes de producir resultados. La calidad del catálogo puede afectar directamente a la calidad de los resultados de IA: un catálogo obsoleto puede dirigir a un agente hacia tablas desactualizadas, descripciones incompletas, métricas en desuso o activos que carecen del contexto normativo necesario para un uso seguro.

“A medida que las empresas pasan de la experimentación con IA a la producción, el verdadero reto consiste en garantizar que los sistemas de IA puedan acceder de manera sistemática a datos conectados, gobernados y detectables en toda la empresa”, afirma Christian Kleinerman, EVP of Product de Snowflake. “Eso significa eliminar silos de datos, pipelines frágiles y sistemas cerrados que ralentizan la implementación de la IA y aumentan el riesgo”.

La distinción entre catálogos pasivos y catálogos activos explica por qué algunos programas de catálogo pierden valor con el tiempo, mientras que otros pasan a formar parte del trabajo diario con datos.

Catálogos pasivos

Un catálogo pasivo es un inventario estático o, en gran medida estático, de activos de datos. Puede documentar esquemas, tablas, columnas y propietarios, pero los metadatos suelen depender de actualizaciones manuales o periódicas. Para un equipo pequeño con esquemas estables y necesidades de gobernanza limitadas, eso puede ser suficiente.

El problema es la escala. En un entorno más grande, el deterioro de los metadatos comienza casi de inmediato. El propietario de una tabla cambia de rol, en un panel de control posterior se añade una dependencia, se revisa la definición de una métrica o aparece un campo confidencial en una tabla derivada. Un catálogo pasivo puede seguir mostrando la estructura original, pero ya no refleja el contexto necesario para utilizar los datos con confianza.

Catálogos activos

Un catálogo activo se actualiza a medida que cambia el entorno. Puede capturar cambios de esquema, eventos de linaje, señales de uso, actualizaciones de políticas y enriquecimiento de metadatos generado por IA. Puede mostrar los controles de acceso en la capa de descubrimiento y conectar las entradas del catálogo con los flujos de trabajo de administración de datos.

Los catálogos activos están diseñados en torno a metadatos activos: metadatos que no solo se almacenan, sino que se utilizan para impulsar el descubrimiento, la gobernanza, la automatización y la toma de decisiones. La sincronización de metadatos en tiempo real, la curación automatizada y el descubrimiento con reconocimiento de políticas ayudan a mantener el catálogo alineado con el entorno de datos que describe.

Por qué los catálogos pasivos fallan a escala empresarial

Los catálogos pasivos fallan cuando la tasa de deterioro de los metadatos supera la capacidad humana de curación. Con el tiempo, los usuarios dejan de confiar en el catálogo porque no pueden saber si refleja la realidad.

El cambio empresarial de catálogos pasivos a activos responde a una necesidad práctica: el catálogo debe seguir el ritmo de unos sistemas de datos en constante cambio. Los catálogos nativos de IA representan la siguiente evolución, ya que utilizan la automatización y metadatos generados por LLM para que el mantenimiento activo del catálogo sea más escalable.

La gobernanza resulta más eficaz cuando es visible allí donde los usuarios ya están tomando decisiones sobre los datos. Los usuarios necesitan conocer las restricciones, aprobaciones y condiciones de las políticas mientras evalúan un activo, y no después de haber comenzado ya a trabajar con él.

Descubrimiento con reconocimiento de políticas

Un catálogo con reconocimiento de políticas ayuda a los usuarios a entender si el acceso está restringido, si se aplican reglas de enmascaramiento o de nivel de fila, y si se requiere un paso de aprobación antes de la reutilización. Estas señales determinan qué trabajo puede llevarse a cabo y en qué condiciones.

Cuando la gobernanza de datos se integra en el catálogo de datos, los equipos dedican menos tiempo a planificar en torno a activos que no pueden usar como esperaban, y los equipos de gobernanza dedican menos tiempo a resolver preguntas que podrían haberse respondido en contexto.

Controles de acceso

Los catálogos de datos modernos están diseñados para integrarse con los sistemas de gestión de acceso para poder aplicar permisos basados en roles y políticas de acceso a los datos. Al mantener registros detallados de quién puede acceder a determinados activos de datos y con qué fin, las organizaciones pueden proteger mejor la información confidencial, a la vez que facilitan un uso adecuado de los datos.

Administración, certificación y apoyo a auditorías

La gobernanza también necesita un modelo operativo basado en la administración, la certificación y el apoyo a auditorías.

• La administración ayuda a asignar la responsabilidad de la calidad, el significado y el cumplimiento normativo de los activos.
• La certificación indica qué activos se han revisado y aprobado para un uso más amplio.
• El apoyo a auditorías depende de poder mostrar no solo qué política existe, sino dónde se aplica y cómo está conectada con los activos reales.

Un catálogo ayuda a reunir esas piezas, lo que facilita la inspección, aplicación y explicación de la gobernanza.

La elección de un catálogo de datos empieza por el problema operativo que la organización necesita resolver. Un equipo de analíticas pequeño puede necesitar una capacidad mejorada de búsqueda y documentación, mientras que una empresa sujeta a regulación puede necesitar linaje, clasificación, visibilidad de las políticas y apoyo a auditorías. Una organización centrada en la IA puede necesitar un catálogo que admita recuperación gobernada, búsqueda semántica y flujos de trabajo de agentes de IA.

Entre los criterios de evaluación clave se incluyen los siguientes:

• Amplitud y profundidad de la cobertura de metadatos: El catálogo debe capturar metadatos técnicos, de negocio, operativos y de gobernanza en los activos más importantes.
• Capacidad de descubrimiento automático: La ingesta y el enriquecimiento automatizados ayudan a mantener el catálogo actualizado a medida que cambian los esquemas, los pipelines y los patrones de uso.
• Profundidad del linaje: El linaje a nivel de columna proporciona una visibilidad más precisa que el linaje a nivel de tabla cuando los equipos necesitan análisis de impacto, auditabilidad o propagación de políticas.
• Integración con la gobernanza: Las políticas, clasificaciones, certificaciones y condiciones de acceso deben aparecer en la experiencia de descubrimiento, no en un proceso de gobernanza independiente.
• Experiencia de búsqueda: Los usuarios deben poder buscar por término empresarial, objeto técnico, dominio, etiqueta, propietario o mediante una pregunta en lenguaje natural.
• Compatibilidad con estándares abiertos: La compatibilidad con estándares de catálogo abiertos y formatos interoperables es importante cuando los datos abarcan varios motores, nubes o capas de almacenamiento.
• Integración nativa frente a soluciones de terceros: Un catálogo nativo de Snowflake puede ser la opción adecuada cuando el entorno principal y los flujos de trabajo de gobernanza residen en Snowflake. Un catálogo independiente del proveedor o una herramienta de un partner puede resultar útil cuando la organización necesita unificar metadatos en muchas herramientas externas, plataformas y sistemas operacionales.

Un catálogo de datos puede mejorar el descubrimiento, la confianza y la gobernanza, pero esos resultados no aparecen de forma automática una vez que la plataforma está en marcha. Dependen del alcance de la implementación, de cómo se asigne la administración y de la facilidad con la que los equipos puedan contribuir al catálogo y confiar en él a lo largo del tiempo. Las siguientes prácticas recomendadas ayudan a los equipos a sacar el máximo partido a su inversión en un catálogo de datos:

Comenzar con dominios de alto valor y activos fiables

Por lo general, lo mejor es empezar por los dominios y activos que sean más importantes para el trabajo interfuncional, la gobernanza o la elaboración de informes ejecutivos. Esto permite obtener una funcionalidad real antes y facilita el mantenimiento de la adopción inicial.

Definir la propiedad y la administración desde el principio

Si no está claro quiénes son los propietarios, el catálogo puede reflejar incertidumbre en lugar de eliminarla. La administración no tiene por qué ser complicada, pero sí lo suficientemente explícita como para que los usuarios sepan quién puede responder preguntas, revisar actualizaciones y mantener la confianza en activos importantes.

Facilitar la contribución y mejorar la visibilidad de la gobernanza

La adopción mejora cuando los usuarios no tienen que salir de sus flujos de trabajo habituales para comprender el contexto básico o aportar actualizaciones pequeñas pero importantes. La gobernanza también resulta más fácil de seguir cuando se muestra en el catálogo, en lugar de quedar oculta entre sistemas de políticas y aprobaciones independientes. El objetivo práctico es que la visibilidad y la contribución sean suficientes para que el catálogo mantenga su utilidad a medida que cambia el entorno.

Recurrir a la automatización cuando lo exija la carga de trabajo

La automatización cobra más importancia a medida que crece el patrimonio de datos. La ingesta de metadatos, la captura del linaje, la clasificación y la propagación de políticas se benefician mucho más de la gestión sistemática que de las actualizaciones manuales puntuales. Eso no elimina la revisión humana, pero reduce la cantidad de trabajo repetitivo necesario para que el catálogo refleje los activos reales.

Medir el éxito según la reutilización, la confianza y la adopción

Un catálogo tiene éxito cuando cambia el comportamiento. Los equipos deberían reutilizar los activos fiables más a menudo, duplicar el trabajo con menos frecuencia y depender menos de las confirmaciones informales para avanzar. Esos resultados importan más que el tamaño del inventario, ya que muestran si el catálogo está mejorando el uso real de los datos.

La catalogación y la gobernanza son más complejas cuando los datos abarcan varios motores, formatos y nubes. Un catálogo nativo puede reducir la necesidad de moverse entre herramientas independientes de catálogo, acceso y gobernanza. Snowflake Horizon Catalog está diseñado para ofrecer una experiencia de catálogo gobernada tanto para los datos de Snowflake como para los datos almacenados externamente, a la vez que ofrece metadatos y permisos coherentes para Snowflake, Spark y los motores que leen Iceberg.

Snowflake también admite patrones de catálogo abiertos para entornos de Apache Iceberg y admite servidores de catálogo externos que cumplen la especificación REST de Iceberg. Esto ayuda a las organizaciones a trabajar en entornos con varios motores, y mantiene al mismo tiempo el contexto del catálogo para las tablas de Iceberg.

Un catálogo de datos es un componente fundamental de una estrategia de gobernanza de datos más amplia. En Snowflake, la catalogación se conecta con el flujo de trabajo de gobernanza más amplio: descubrir activos, aplicar etiquetas y clasificaciones, gestionar el acceso, trazar el linaje y favorecer un uso gobernado en el ámbito de la analítica y la IA.

El contexto de los datos cobra cada vez más importancia a medida que los datos se incorporan a aplicaciones de IA, flujos de trabajo de agentes y sistemas de decisión automatizados. Un catálogo obsoleto puede dirigir a los usuarios al activo equivocado, ocultar restricciones de políticas o dejar a los sistemas de IA sin el contexto que necesitan para recuperar e interpretar datos de forma responsable. Un catálogo activo y nativo de IA ayuda a cerrar esa brecha al mantener los metadatos actualizados, la gobernanza visible y los activos fiables más fáciles de reutilizar.