Inserción masiva de datos en MySQL con Make (ex Integromat)

En el mundo actual, donde la información y los datos son vitales para la toma de decisiones, el proceso de inserción masiva de registros en MySQL se ha convertido en una tarea imprescindible para muchas empresas. Sin embargo, a menudo se requiere de herramientas de automatización para agilizar esta tarea, como lo es Make. En este artículo, te enseñamos cómo optimizar este proceso para minimizar el consumo de operaciones y ahorrar tiempo y recursos valiosos.

MySQL es posiblemente el sistema de gestión de bases de datos más usado en el mundo, por lo que es un proceso habitual la inserción de datos en este sistema a través de herramientas de automatización como Make, que permitan agilizar la tarea. Sin embargo, crear cada uno de estos registros de forma individual puede requerir del consumo de un gran número de operaciones de tu cuenta.

Para evitar gastar todo tu plan de Make en pocas ejecuciones, lo ideal es seguir el planteamiento que te explicaré a continuación, donde se genera un e scenario optimizado para la inserción masiva de registros en MySQL con Make.

Ventajas de la inserción masiva de registros MySQL con Make

La inserción masiva de registros en MySQL con Make ofrece numerosas ventajas, como la automatización del proceso de carga, lo que reduce significativamente la carga de trabajo manual y minimiza la posibilidad de errores. Además, permite una mayor velocidad de carga, lo que a su vez acelera la toma de decisiones y mejora la eficiencia operativa.

Escenario tradicional en Make

El proceso tradicional para realizar la inserción de datos a MySQL es por medio de un escenario básico formado por 3 escenarios:

• El primero es un módulo FTP con la acción de “Descargar un archivo”, en el cual se debe establecer la conexión e indicar la ruta del archivo que se desea descargar.
• Lo siguiente es agregar un módulo CSV con la acción de “Parsear CSV”, de manera que se pueda leer la estructura del archivo con los datos de cada una de las columnas que lo conforman.
• Por cada una de las columnas que haya en el archivo, se deberá hacer una inserción en la base de datos de MySQL. Para ello será indispensable agregar el módulo de MySQL con la acción de “Insertar fila en una tabla”. En este último módulo se debe vincular cada una de las columnas de salida del módulo CSV según la misma estructura de la tabla.

La dificultad de este escenario es que cada una de las filas que se encuentren en el archivo, se insertarán de forma individual en MySQL, consumiendo una operación por cada registro que se suba.

Automatización optimizada en Make

Para poder minimizar la cantidad de operaciones que se consumen con el escenario tradicional, es necesario agregar un módulo adicional, que permita agrupar todos los registros en un solo texto. Para ello, será necesario hacer los siguientes cambios:

• Agregar una herramienta de “Text aggregator”, que tenga la estructura de la tabla con el mismo orden de los registros que se van a agregar en MySQL, indicando las columnas entre comillas (""), y separando cada uno de los registros una coma (,) es decir, la información de cada fila se separará por una coma.
• En el módulo de MySQL , se deberá seleccionar la acción de “Ejecutar una consulta (avanzado)”. En la configuración de la query, se debe indicar la acción de insertar datos en la tabla especificada, y enseguida indicar la estructura que debe tener la tabla, la cual debe reflejar el mismo orden que tiene la base de datos, obteniendo los valores desde el módulo de “Text Aggregator”.

Cabe destacar que tanto el módulo FTP como el módulo CSV se mantienen sin cambios respecto al escenario tradicional.

En un mundo cada vez más competitivo, el rendimiento es crucial para el éxito de cualquier empresa. Es por eso que la inserción masiva de registros en MySQL debe ser lo más rápida y eficiente posible. El escenario optimizado que se presenta en este artículo reduce significativamente la cantidad de operaciones necesarias para insertar los registros, lo que se traduce en un ahorro de tiempo y recursos valiosos.

Comparación de los resultados

Al realizar esta optimización, se pueden obtener resultados muy positivos para minimizar el consumo de recursos en Make:

• En relación con la cantidad de operaciones , en el escenario optimizado solo se consumirán 3 (una por cada módulo), sin importar la cantidad de registros. En este caso representó una optimización de 96 %.
• El tiempo se disminuyó en un 80 %.
• La transferencia de datos aumenta ligeramente, aunque se compensa por la increíble diferencia en la cantidad de operaciones reducidas.

En resumen, la inserción masiva de registros en MySQL con Make es una tarea relevante para muchas empresas en la actualidad. Siguiendo el escenario optimizado presentado en este artículo, podrás reducir significativamente la cantidad de operaciones necesarias para insertar registros, lo que te permitirá ahorrar tiempo y recursos importantes.

Si aún no lo has hecho, ¡prueba este escenario optimizado y comienza a maximizar la eficiencia de tus procesos de carga de datos!