Snowflake

Modelo de integración

Extracción de metadatos

 Para la extracción de metadata de un objeto se utilizan los métodos que ofrece el driver de JDBC Snowflake mediante los cuales se accede a la definición de esquemas y tablas.

Extrae los siguientes atributos que deben llamarse igual en la tabla attribute_definition, campo name para que aparezcan en la plantilla.

• catalog con el valor de catalog en la base de datos.

• schema con el valor de schema en la base de datos.

• physicalName y name con el mismo valor, el nombre de la tabla

• path con la concatenación de los valores de catalog, schema and table.

• infrastructure con el valor seleccionado.

• technology con el valor seleccionado.

• zone con el valor seleccionado.

• tags para tags creado de forma explicita en el activo

• inheritedTags para tags heredados de activos ancestros (Cuenta > Databse > Schema)

También nos enviará los siguientes atributos relativos a los dataset_fields del recurso pedido:

• name con el valor del campo correspondiente.

• physicalName con el valor del campo correspondiente

• defaultValue con el valor por defecto definido para el campo correspondiente.

• fieldDataType con el tipo de dato definido para el campo correspondiente.

• length con el tamaño del campo correspondiente.

• incrementalField indicando si es un campo incremental.

• position posición que ocupa el campo correspondiente.

• precision con el valor de la precisión del campo correspondiente.

• nullable indicando si el campo correspondiente es nullable.

• pk indicando si el campo es una pk.

• description con el valor correspondiente para el campo.

• tags para tags creado de forma explicita en el activo

• inheritedTags para tags heredados de activos ancestros (Cuenta > Databse > Schema > Tabla/Vista)

En ambos casos se recuperan atributos extra (dependiendo del driver y el metadato específico de la tabla) que el driver proporciona sobre tanto la tabla como las columnas.

Los atributos a crear en Anjana deben de tener los siguientes tipos:

El plugin es capaz de realizar la extracción de metadatos de los siguientes tipos de elementos:

• Tablas de bases de datos

• Vistas

Muestreo de datos

Utilizando el driver de JDBC Snowflake se ejecuta una query simple de SELECT para acceder a un número limitado de elementos de la tabla para recuperar una muestra de los datos almacenados. Adicionalmente se sustituyen los valores de los campos sensibles por asteriscos.

Configuración

Formato de la conexión

El formato de la url de conexión es jdbc:snowflake://<orgname>-<account>.snowflakecomputing.com/?db=<database>&warehouse=<warehouse>&JDBC_QUERY_RESULT_FORMAT=JSON

Permisos

Usuario o rol con permisos USAGE sobre la base de datos y el esquema donde están las tablas/vistas que se quieren gobernar.

Usuario o rol con permisos REFERENCE sobre las tablas o vistas que se quieran extraer el metadata.

Usuario o rol con permisos SELECT sobre las tablas o vistas que se quieran obtener un muestreo de datos.

Extracción de metadatos

A continuación se adjunta la documentación de Snowflake donde se observan los distintos campos que se extraen de las tablas *:

https://docs.snowflake.com/en/developer-guide/jdbc/jdbc-api#object-databasemetadata

Tablas con caracteres en el nombre