Subir Archivos de Forma Masiva a servidor FTP con Make (ex Integromat)

Si quieres obtener información específica de una base de datos, clasificándola según un criterio de búsqueda particular, puedes hacer una automatización con Make que permita segmentar el contenido de forma individual. Sin embargo, al cargar esta información a un servidor FTP, se podrán consumir muchos recursos de tu cuenta de Make.

En este caso te indicaré un proceso optimizado que te ayudará a minimizar la cantidad de operaciones que se requieren para hacer la subida masiva de archivos a un servidor FTP a través de Make.

Escenario tradicional en Make

El proceso habitual para hacer la subida masiva de archivos a un servidor FTP con Make es un escenario formado por 4 módulos:

• El primero es un módulo FTP con la acción de “Descargar un archivo”.
• Luego el archivo descargado es pasado a un módulo CSV con la acción de “Parsear CSV”, donde se deben indicar la cantidad de columnas y especificar que el delimitador será una coma (,).
• Lo siguiente es agregar otro módulo CSV, pero esta vez con la acción de “Crear CSV (avanzado)”. En este será necesario indicar la estructura de las columnas, pero en el campo de “Agrupar por” se debe indicar cuál es la columna específica de la que se desea extraer información. Esto generará una serie de archivos agrupados según las variaciones que existan en dicha columna.
• Finalmente, se debe agregar un módulo FTP, pero esta vez con la acción de “Cargar un archivo”, para subir al servidor todos los archivos agrupados que se han generado en el módulo anterior.

Según sea la cantidad de paquetes de datos que se obtengan, se consumirá una operación por cada uno de ellos.

Automatización optimizada en Make

Una forma para evitar que se consuman tantas operaciones al hacer la subida, es por medio de este escenario optimizado:

• Los 3 primeros módulos se deben mantener con la misma configuración del escenario tradicional.
• Antes de agregar el módulo FTP, se deberá incluir un módulo de “Archivo”, que permitirá crear un archivo comprimido con todos los paquetes de datos que se han generado a través del módulo CSV.
• Ahora será necesario agregar un módulo SFTP con la acción de “Cargar un archivo”, que permita subir el archivo comprimido al servidor FTP.
• Finalmente, se debe agregar un módulo SSH con la acción de “Ejecutar un comando”, por medio del cual se hará el proceso de descompresión de los archivos.

Comparación de los resultados

Al ejecutar ambos escenarios para extraer información de un archivo de más de 10.000 filas, y subir la información a un servidor FTP, se obtuvieron los siguientes resultados:

• Al realizar la compresión de archivos, se pudo disminuir la cantidad de operaciones de 642 a solo 6 (1 por cada módulo), de modo que sin importar cuántos grupos de archivos se suban, el consumo de operaciones siempre será el mismo.
• El tiempo de ejecución se optimizó en un 81 %.
• Los datos consumidos son un 19 % más que los del caso tradicional por el proceso extra que se configura en este escenario.

En resumen, la automatización con Make nos permite mejorar la eficiencia y reducir los recursos necesarios para la subida masiva de archivos a un servidor FTP. Si bien es cierto que puede requerir un poco más de tiempo y configuración inicial, los resultados finales valen la pena.

Si deseas optimizar la subida masiva de archivos a un servidor FTP, te recomendamos que pruebes este escenario optimizado con Make y compruebes por ti mismo la diferencia en términos de eficiencia y ahorro de recursos.

¡No dudes en probarlo y compartir tus resultados con nosotros!