«Rclone» es una excelente y útil aplicación de código abierto para terminal (consola) multiplataforma usada para realizar sincronizaciones de data (archivos/directorios). Sincronizar archivos y directorios en linux es bastante sencillo con rsync, pero Rclone que es una herramienta que es como rsync pero para el almacenamiento en la nube. También existe rclone browser, una interfaz gráfico para utiilizar rclone con GUI, desde Windows, Linux o macOS

¿Qué es RClone?

Rclone tiene los comandos equivalentes de Unix rsync, cp, mv, mount, ls, ncdu, tree, rm y cat pero en la nube. La sintaxis familiar de Rclone incluye soporte de tubería de shell y protección --dry-run. Se utiliza en la línea de comandos, en scripts o mediante su API. 

Es una herramienta de código abierto, desarrollada utilizando Lenguaje Go por Nick Craig que nos permite sincronizar archivos y directorios entre diversos servicios de la nube, entre los que destacan Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage, Yandex Files, Mega entre otros

De igual manera la herramienta soporta transferencia de archivos desde servicios locales y mediante SFTP, por lo tanto podemos definir a Rclone como «rsync para almacenamiento en la nube».

Un programa abierto de línea de comandos utilizado para gestionar archivos sobre el almacenamiento en la nube. Es una alternativa rica en características a las interfaces de almacenamiento web de los proveedores de la nube. Más de 40 productos de almacenamiento en la nube soportan a Rclone actualmente, incluyendo almacenes de objetos S3, servicios de almacenamiento de archivos para empresas y consumidores, así como protocolos de transferencia estándar. Además, tiene potentes equivalentes en la nube a los comandos unix, tales como: rsync, cp, mv, mount, ls, ncdu, tree, rm y cat. La sintaxis familiar de Rclone incluye soporte de tuberías de shell y protección –dry-run. Y se puede utilizar sobre la línea de comandos, en scripts o a través de su API.”

Características de Rclone

 

• De código abierto y fácil uso.
• Compatible nativamente con más de 14 servicios de almacenamiento en la nube.
• Chequeo controlado de la integridad del archivo mediante MD5 / SHA1.
• Se preserva el Timestamps de los archivos.
• Permite sincronizaciones parciales,
• Permite copiar todo tipo de archivo.
• Incluye un modo de sincronización (sólo ida) para hacer replica idéntica de un directorio.
• Puede sincronizar archivos desde una red a otra, es decir, puede sincronizar los archivos de dos nubes diferentes.
• Utiliza Crypt como método de encriptación opcional
• Montaje FUSE opcional.
• Amplia documentación que puede ser consultada desde aquí, para aprender a utilizar la herramienta a detalle.
• Comandos similares a los de rsync.

Para comenzar a disfrutar de esta excelente herramienta debemos ir a la página oficial y descargar el paquete correspondiente a nuestra arquitectura, descomprimirlo e instalarlo, para luego elegir que archivos y a donde sincronizarlo.

O bien usar instalador: 

curl https://rclone.org/install.sh | sudo bash

Utilizar rclone con Google Drive

rclone config

Configuración 

No remotes found - make a new one

n) New remote

r) Rename remote

c) Copy remote

s) Set configuration password

q) Quit config

n/r/c/s/q> n

name> gdrive

Type of storage to configure.

Choose a number from below, or type in your own value

[snip]

16 / Google Drive

   \ "drive"

[snip]

Storage> drive

Google Application Client Id - leave blank normally.

client_id>

Google Application Client Secret - leave blank normally.

client_secret>

Scope that rclone should use when requesting access from drive.

Choose a number from below, or type in your own value

 1 / Full access all files, excluding Application Data Folder.

   \ "drive"

 2 / Read-only access to file metadata and file contents.

   \ "drive.readonly"

   / Access to files created by rclone only.

 3 | These are visible in the drive website.

   | File authorization is revoked when the user deauthorizes the app.

   \ "drive.file"

   / Allows read and write access to the Application Data folder.

 4 | This is not visible in the drive website.

   \ "drive.appfolder"

   / Allows read-only access to file metadata but

 5 | does not allow any access to read or download file content.

   \ "drive.metadata.readonly"

scope> 1

ID of the root folder - leave blank normally.  Fill in to access "Computers" folders. (see docs).

root_folder_id> 

Service Account Credentials JSON file path - needed only if you want use SA instead of interactive login.

service_account_file>

Remote config

Use auto config?

 * Say Y if not sure

 * Say N if you are working on a remote or headless machine or Y didn't work

y) Yes

n) No

y/n> y

If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth

Log in and authorize rclone for access

Waiting for code...

Got code

Configure this as a Shared Drive (Team Drive)?

y) Yes

n) No

y/n> n

--------------------

[remote]

client_id = 

client_secret = 

scope = drive

root_folder_id = 

service_account_file =

token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"x"}

--------------------

y) Yes this is OK

e) Edit this remote

d) Delete this remote

y/e/d> y 

Obtener las credenciales de Google para rclone

Para que todo funcione debes crear primero en la consola de desarrollador de Google:

• https://console.developers.google.com/
• Crear nuevo proyecto , después click en el botón + para Habilitar API y Servicios
•  Añadir Google Drive API añadiendo primero un nuevo proyecto

• En Crear Credenciales "Crear ID de cliente de OAuth" tipo Escritorio  y después bajar el ID de clientes OAuth 2.0
  
• Descargar fichero JSON con el client_id y client_secret
  

Recuerda que debes el client_id y el client_secret y no usar los de rclone por defecto.

• https://rclone.org/drive/#making-your-own-client-id

También puedes editar el fichero rclone.conf

[gdrive]

type = drive

client_id = 

client_secret = 

scope = drive

token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"xxx"}

Ver contenidos:

rclone lsd gdrive:

rclone ls gdrive:

Copiar la carpeta local /home/backup a la carpeta backup de google drive (gdrive)

rclone copy /home/backup gdrive:backup

Sintaxis completa

rclone copy source:sourcepath dest:destpath

Para ver la quota de espacio:

rclone about gdrive:

o

rclone size gdrive: 

Consideraciones

Parece que sólo es posible cargar 750 GiB de datos en Google Drive al día.

Drive tiene bastante limitación de velocidad. Esto hace que rclone se limite a transferir aproximadamente 2 archivos por segundo solamente. Los archivos individuales pueden transferirse mucho más rápido a cientos de MiB / s, pero muchos archivos pequeños pueden llevar mucho tiempo. 

Sintaxis básica

rclone copy gdrive:backup/backup.zip /home/backup/

Puedes añadir la fecha al backup usando date:

# backup directorios /home/backup con fecha

rclone -vv copy /home/backup gdrive:backup-backup-mes-`date +%m-%y`

Opciones importantes

Para ver la salida de errores (depuración)

rclone -vv

Para efectuar pruebas pero no en real:

rclone --dry-run

Mostrar estadísticas del progreso:

rclone -P o --progress

Cifrado con rclone (crypt)

Para el cifrado, usaremos el control remoto crypt de Rclone. Vale la pena señalar desde el principio que solo los archivos copiados/sincronizados en el control remoto crypt se cifrarán, por lo que puedes continuar cargando archivos sin cifrar si lo deseas, exactamente como antes; Esto también significa que los archivos cargados previamente en el almacenamiento en la nube no están cifrados, y esto no los cifrará a menos que elimines los archivos del almacenamiento en la nube y luego los almacenes en el nuevo crypt remoto.

La opción crypt de Rclone puede cifrar los archivos, los nombres de archivo (cifrado de nombre de archivo estándar u ofuscación de nombre de archivo simple) y los nombres de directorio. La longitud del archivo y el tiempo de modificación no están cifrados.

Digamos que tenemos un archivo de copia de seguridad llamado importante.zip en mi computadora y quiero cargarlo cifrado a Google Drive, en una carpeta llamada /ehn. Para lograr esto, creo una cifrado Rclone remota (llamada encrypt:) que cifra una ruta remota establecida en drive:ehn.

Entonces, cuando copie este archivo important.zip en encrypt:, se cargará como cifrado en mi carpeta Drive ehn:

Cada vez que quieras acceder a este archivo, tendré que acceder al control remoto encrypt: a través de Rclone. El sitio web de GDrive tiene este archivo cifrado, por lo que no se puede usar hasta que se descifre con el control remoto crypt de Rclone.

Cifrar una Carpeta con Crypt

Para crear una carpeta cifrada, utilizaremos el mismo proceso que para vincular rclone a una nube pública:

    rclone config
    Nombre que utilizaremos en rclone, para sincronizar o copiar esa carpeta cifrada
    Seleccionamos:

9 / Encrypt/Decrypt a remote
  \ "crypt"

En la versión de rclone 1.47, aparece en el número nueve. Esto puede variar según la versión.
La carpeta cifrada, será una carpeta que crearé en la raíz de Google Drive, que llamaré "Mis Fotos".

Se da por hecho que has seguido la primera parte del tutorial, donde hemos conectado ya la cuenta de Google Drive, creando una unidad con rclone llamada drive, y dentro de esta unidad, ahora voy a crear una carpeta llamada Mis Fotos.

De este modo, dentro de Google Drive tendré mis fotos cifradas.

remote> drive:Mis_Fotos

• Te preguntará si quieres que los archivos permanezcan ocultos para Google Drive, utilicen el nombre original del archivo (aun estando cifrados) o utilice un nombre complejo compuesto de números y letras.
• Añadir una o dos contraseñas para cifrar los archivos:

Es opcional el añadir la contraseña, yo prefiero ponerla.

Recuerda que conservando el archivo de configuración, esta carpeta cifrada podrás montarla en otro dispositivo con rclone.

Montar unidad de red remota

GUI oficial rclone 

 Rclone ya dispone de una web-gui, basada en una web oficial. Permite desde el navegador configurar todas las opciones:

• Muestra estadísticas trabajos, velocidad
• Cambiar o añadir configuración remotos
• Montar unidades con FUSE (sistema archivos VFS)

Utiliza las opciones oficiales de la API de rc (remote controlling)

Capturas de pantalla:

Opciones:

• https://rclone.org/gui/
• https://github.com/rclone/rclone-webui-react
• https://rclone.org/rc/

Rclone Browser GUI

 

Novedades rclone

Y para su versión estable actual, la número 1.54.1 de fecha 08/03/2021, la misma incorporo varias novedades y/o correcciones, entre las que podemos mencionar las siguientes:

1. Errores corregidos (Bug Fix): En «accounting», se arregló «–bwlimit» para cuando el ascenso o descenso está desactivado; en «docs» se arregló el anidamiento de paréntesis y puntos suspensivos en los documentos de ftp (edwardxml), se corrigió el enlace roto en la página de sftp (edwardxml) y se corrigió un error tipográfico en el archivo crypt.md.
2. Montaje (Mount): Se arregló la caída del montaje en macOS estableciendo «–daemon-timeout 10m».
3. VFS: Se implementó, el uso simultáneo de documentos con el mismo caché, ya que, no debería ser utilizado.
4. B2: Se aumentó automáticamente el límite de carga para evitar errores falsos, y se arregló el fallo al crear sistema de archivos con clave de aplicación limitada a un prefijo.
5. Drive: Se cambió la referencia a Shared Drives en lugar de Team Drives.
6. Dropbox: Se añadió ámbitos a la solicitud «oauth» y opcionalmente a «members.read».
7. S3: Se corrigieron fallos en la creación del sistema de archivos con la política de permisos en cuanto a carpeta, además de, correcciones de solicitudes HEAD de Wasabi que devuelven datos obsoletos al utilizar solo un transporte.

Estas y otras novedades más, pueden profundizarse en el siguiente enlace. Mientras que, para su descarga e instalación se puede explorar este otro enlace

Fuentes:

https://blog.desdelinux.net/rclone-1-54-1-novedades-caracteristicas-version-estable-actual/

https://blog.desdelinux.net/rclone-sincronizar-archivos-y-directorios-entre-nubes/

https://ugeek.github.io/blog/post/2019-07-03-dale-almacenamiento-ilimitado-a-tu-raspberry-servidor-o-pc-con-rclone.html