Redshift

Modelo de integración

Extracción de metadatos

Para la extracción de metadata de un objeto se utilizan los métodos que ofrece el driver de JDBC Redshift mediante los cuales se accede a la definición de esquemas y tablas.

Extrae los siguientes atributos que deben llamarse igual en la tabla attribute_definition, campo name para que aparezcan en la plantilla.

• catalog con el valor de catalog en la base de datos.

• schema con el valor de schema en la base de datos.

• physicalName y name con el mismo valor, el nombre de la tabla

• path con la concatenación de los valores de catalog, schema and table.

• infrastructure con el valor seleccionado.

• technology con el valor seleccionado.

• zone con el valor seleccionado.

También nos enviará los siguientes atributos relativos a los dataset_fields del recurso pedido:

• name con el valor del campo correspondiente.

• physicalName con el valor del campo correspondiente

• defaultValue con el valor por defecto definido para el campo correspondiente.

• fieldDataType con el tipo de dato definido para el campo correspondiente.

• length con el tamaño del campo correspondiente.

• incrementalField indicando si es un campo incremental.

• position posición que ocupa el campo correspondiente.

• precision con el valor de la precisión del campo correspondiente.

• nullable indicando si el campo correspondiente es nullable.

• pk indicando si el campo es una pk.

• description con el valor correspondiente para el campo.

En ambos casos se recuperan atributos extra (dependiendo del driver y el metadato específico de la tabla) que el driver proporciona sobre tanto la tabla como las columnas.

Los atributos a crear en Anjana deben de tener los siguientes tipos:

El plugin es capaz de realizar la extracción de metadatos de los siguientes tipos de elementos:

Tabla de base de datos

Muestreo de datos

Utilizando el driver de JDBC Redshift se ejecuta una query simple de SELECT para acceder a un número limitado de elementos de la tabla para recuperar una muestra de los datos almacenados. Adicionalmente se sustituyen los valores de los campos sensibles por asteriscos.

Credenciales requeridas

Extracción de metadatos

Usuario con permisos/roles necesarios para hacer SELECT sobre los catálogos, esquemas y tablas que se quieran gobernar.

Muestreo de datos

Usuario con permisos/roles necesarios para hacer SELECT las tablas que se quieran gobernar.

Configuración

En la Configuración técnica y en Tot despliegue de plugins hay algunas directrices.

Existe un YAML de ejemplo para facilitar la configuración en Nexus / com / anjana / documentation (necesario login previo) con explicaciones de las propiedades y valores por defecto.

Este plugin puede conectarse a varias instancias de la misma tecnología, también se puede ver el YAML de ejemplo.