Integraciones
Breadcrumbs

GCP Storage

Modelo de integración

Extracción de metadatos

Se utilizan los métodos que ofrece el driver de Google mediante el cual se accede a los distintos recursos.

Extrae los siguientes atributos que deben llamarse igual en la tabla attribute_definition, campo name para que aparezcan en la plantilla.

  • schema con el valor del bucket.

  • physicalName y name con el mismo valor, el nombre del blob correspondiente.

  • path con el path del bucket y el nombre del recurso si es un fichero.

  • infrastructure con el valor seleccionado

  • technology con el valor seleccionado

  • zone con el valor seleccionado

También enviará atributos relativos a los campos del recurso pedido, siempre dependiendo del contenido y tipo del recurso. Para más información leer el documento de ‘Anjana Data - PROD.INS - Extracción de metadata de ficheros’.

Al finalizar el workflow de creación cuando un objeto es gobernado se mandan a Tot todo el metadato disponible para ese objeto, es decir, todos los atributos existentes del objeto creado.


Muestreo de datos

Para realizar el sampleo de datos se hace la consulta al blob correspondiente obteniendo el dato según el contenido especificado en el objeto a samplear y según un número limitado de los mismos especificados por configuración. Se ofusca el contenido de la columna en cuestión si es necesario.


Gobierno activo

La gestión de acceso requiere el plugin “Tot plugin GCP IAM” para que genere los roles (funciones) custom que representan a los DSA.


Se pueden aplicar ciertas restricciones a la cantidad de usuarios relacionados con cada recurso. Estas limitaciones se pueden consultar en https://cloud.google.com/iam/quotas


Edición de objetos

Para la edición de objetos requiere el plugin “Tot plugin GCP IAM” encargado de la gestión de identidades y accesos para recuperar (y crear si es necesario) los grupos. Una vez recuperado, este plugin se encargará de dar el acceso adecuado a los usuarios en los recursos solicitados.

Actualmente se soporta la activación/desactivación de entidades y la edición de DSAs


Credenciales requeridas

Las credenciales requeridas se deben configurar en el fichero yaml en la parte de “credentialsContent” de cada instancia configurada.

Crear la cuenta de servicio

Para GCP será necesario crear una cuenta de servicio en IAM para cada plugin de forma individual y tras eso asignarle los permisos necesarios para la ejecución de las tareas específicas de cada plugin.


att_1_for_171933815.png


Para personalizar los permisos de forma más acorde será necesaria la creación de roles personalizados en los cuáles se engloban los permisos que luego son asociados a las cuentas de servicio.


att_4_for_171933815.png

Extracción de metadatos

Los permisos utilizados son los siguientes:

  • storage.objects.get

  • storage.objects.list


Muestreo de datos

Los permisos utilizados son los siguientes:

  • storage.objects.get

  • storage.objects.list


Gobierno activo

La gestión de acceso requiere el plugin “Tot plugin GCP IAM” para que genere los roles(funciones) custom que representan a los DSA.

Los permisos utilizados son los siguientes:

  • storage.buckets.getIamPolicy

  • storage.buckets.setIamPolicy

  • storage.objects.get

  • storage.objects.list

En resumen los permisos utilizados para el rol personalizado serán los siguientes:

att_2_for_171933815.png

Para asignar los permisos a la cuenta de servicio de storage tendremos que:

att_5_for_171933815.png

Edición de objetos

La edición de objetos requiere el plugin “Tot plugin GCP IAM” para que genere los roles (funciones) custom que representan a los DSA.

Los permisos utilizados son los siguientes:

  • storage.buckets.getIamPolicy

  • storage.buckets.setIamPolicy

  • storage.objects.get

  • storage.objects.list

Configuración

En la Configuración técnica y en Tot despliegue de plugins hay algunas directrices.

Existe un YAML de ejemplo para facilitar la configuración en Nexus / com / anjana / documentation (necesario login previo) con explicaciones de las propiedades y valores por defecto.

Este plugin puede conectarse a varias instancias de la misma tecnología, también se puede ver el YAML de ejemplo.