Azure: Guia y enlaces para Migracion de datos (Database Migration Services)

En este articulo, voy a publicar una recopilación de enlaces que pueden ser utiles para escenarios de migracion de bases de datos a Azure.

Como sabeis, Azure dispone de Azure Database Migration Service para hacer un evaluación y herramientas que podemos utilizar para llevar nuestros datos a la nube según cada tipo de base de datos a migrar como MariaDB, MySQL, SQL Server, Mongo, Oracle y otras.

En general, el proceso de migración de base de datos consiste en las siguientes fases:

• Analisis de requisitos previos: conectividad, usuarios, permisos, versiones soportadas, etc.

• Pre Migración: Evaluar la base de datos a migrar mediante algún asistente y haciendo inspección manual que nos indica cada guia según la base de datos.

• Realizar Migracion: Si todo es correcto y no hay discrepancias o problemas detectados durante la evaluación previa se realiza la migración con la herramienta adecuda para cada base de datos.

• Post Migración: Validar que todos los son correctos, si tenemos test ejecutarlos para asegurar que los datos se han volcado correctamente. Importante tambien validar el SKU, DTU,etc. de la base de datos en Azure para detectar problemas de rendimiento en funcion de la capa de precios seleccionada.
• Herramientas: En la documentacion de Azure encontraremos una lista de tooling, pdf, excel, herramientas de comparación de esquemas y datos, otros «assets» para ayudarnos en los procesos de migración que recomienda Microsoft como, por ejemplo: Azure Data Studio.

Lo bueno de tener la lista de enlaces es que nos ahorra tiempo de busqueda a la hora de encontrar todos los pasos y procesos que recomienda Microsoft para cada tipo de base de datos que os comparto aqui.

Migrar Access a Azure

• SQL Server
• Azure SQL Database

Migrar SQL Server a Azure

• SQL Server (actualización)
• Azure SQL Database
• Instancia administrada de Azure SQL
• SQL Server en máquinas virtuales de Azure
• Azure Synapse Analytics

Migrar Oracle a Azure

• Azure Database for PostgreSQL
• SQL Server
• Azure SQL Database
• Instancia administrada de Azure SQL
• SQL Server en máquinas virtuales de Azure
• Azure Synapse Analytics

Migrar MariaDB a Azure

• De MariaDB a Azure Database for MariaDB

Migrar MySQL a Azure

• Azure Database for MySQL
• SQL Server
• Azure SQL Database
• MySQL a Azure Database for MySQL

Migrar PostgreSQL a Azure

• De PostgreSQL a Azure Database for PostgreSQL

Migrar desde NoSQL a Azure

• De relacional a Azure Cosmos DB
• De MongoDB a Azure Cosmos DB
• De Cassandra a Azure Cosmos DB
• De DynamoDB a Azure Cosmos DB
• De CouchBase a Azure Cosmos DB
• De HBase a Azure Cosmos DB
• De Azure Table Storage a Azure Cosmos DB

Migrar desde DB2 a Azure

• SQL Server
• Azure SQL Database
• Instancia administrada de Azure SQL
• SQL Server en máquinas virtuales de Azure

Como siempre, espero que os sea de utilidad.

Azure: Error Data Factory V2 expression limit exceeded maximum ‘8192’

Esta semana realizando unas actividades con Azure DataFactory hemos encontrado un error a la hora de procesar una pipeline para la carga y movimiento de datos entre cuentas storage y bases de datos.

El error que aparecía era: «ErrorMessage=The expression limit exceeded: maximum ‘8192’ and actual ‘8280’, al principio nos despisto un poco, pero después de investigarlo os comparto el origen del problema y como solucionarlo.

Azure subscription y Data Factory limites

Como sabéis, los recursos en Azure están limitados por Microsoft para cada suscripción y evitar afectar al rendimiento de los datacenters distribuidos globalmente, por ello, existen limites para cada servicio contratado.

Lo cierto, es que muchas veces no encontramos a la primera en la documentación el detalle del error o incluso el portal de Azure no informa adecuadamente del problema para depurarlo.

Afortunadamente, Microsoft nos ofrece una pagina bastante extensa donde encontrar y consultar toda la información referente a los limites de servicios que nos sirve de ayuda para estos temas.

Azure Data Factory V2 limits

En el caso de Azure DataFactory V2 tenemos todas estas limitaciones (copia del original) y podéis encontrar en la lista «Characters per expression = 8192″

Resource	Default limit	Maximum limit
Total number of entities, such as pipelines, data sets, triggers, linked services, Private Endpoints, and integration runtimes, within a data factory	5,000	Contact support.
Total CPU cores for Azure-SSIS Integration Runtimes under one subscription	256	Contact support.
Concurrent pipeline runs per data factory that’s shared among all pipelines in the factory	10,000	10,000
Concurrent External activity runs per subscription per Azure Integration Runtime region External activities are managed on integration runtime but execute on linked services, including Databricks, stored procedure, Web, and others. This limit does not apply to Self-hosted IR.	3,000	3,000
Concurrent Pipeline activity runs per subscription per Azure Integration Runtime region Pipeline activities execute on integration runtime, including Lookup, GetMetadata, and Delete. This limit does not apply to Self-hosted IR.	1,000	1,000
Concurrent authoring operations per subscription per Azure Integration Runtime region Including test connection, browse folder list and table list, preview data. This limit does not apply to Self-hosted IR.	200	200
Concurrent Data Integration Units1 consumption per subscription per Azure Integration Runtime region	Region group 12: 6,000 Region group 22: 3,000 Region group 32: 1,500 Managed virtual network2: 2,400	Region group 12: 6,000 Region group 22: 3,000 Region group 32: 1,500 Managed virtual network: Contact support.
Maximum activities per pipeline, which includes inner activities for containers	40	40
Maximum number of linked integration runtimes that can be created against a single self-hosted integration runtime	100	Contact support.
Maximum number of node that can be created against a single self-hosted integration runtime	4	Contact support
Maximum parameters per pipeline	50	50
ForEach items	100,000	100,000
ForEach parallelism	20	50
Maximum queued runs per pipeline	100	100
Characters per expression	8,192	8,192
Minimum tumbling window trigger interval	5 min	15 min
Maximum timeout for pipeline activity runs	7 days	7 days
Bytes per object for pipeline objects3	200 KB	200 KB
Bytes per object for dataset and linked service objects3	100 KB	2,000 KB
Bytes per payload for each activity run4	896 KB	896 KB
Data Integration Units1 per copy activity run	256	256
Write API calls	1,200/h	1,200/h This limit is imposed by Azure Resource Manager, not Azure Data Factory.
Read API calls	12,500/h	12,500/h This limit is imposed by Azure Resource Manager, not Azure Data Factory.
Monitoring queries per minute	1,000	1,000
Maximum time of data flow debug session	8 hrs	8 hrs
Concurrent number of data flows per integration runtime	50	Contact support.
Concurrent number of data flows per integration runtime in managed vNet	20	Contact support.
Concurrent number of data flow debug sessions per user per factory	3	3
Data Flow Azure IR TTL limit	4 hrs	4 hrs
Meta Data Entity Size limit in a factory	2 GB	Contact support.

La solución en nuestro caso, por temas de timming, fue rediseñar la actividad en Datafactory para hacerla más pequeña y no llegar al limite establecido.

También tenéis la posibilidad de abrir un ticket a Microsoft para aumentar la cuota del limite, aunque no siempre es posible en todos los escenarios: New support request desde el Portal de Azure

El link con todos los limites de servicios, que os recomiendo guardar en favoritos es este: https://docs.microsoft.com/en-us/azure/azure-resource-manager/management/azure-subscription-service-limits

Espero que os sea de utilidad.