Tienda Wifi

Tienda Wifi
CiudadWireless es la tienda Wifi recomendada por elhacker.NET

Entradas Mensuales

Síguenos en:

Canal Oficial Telegram de elhacker.NET Grupo Facebook elhacker.NET Twitter elhacker.NET Canal Youtube elhacker.NET Comunidad Steam: Grupo elhacker.NET Mastodon

Entradas populares

PostHeaderIcon Rclone: herramienta para clonar y sincronizar directorios en la nube


«Rclone» es una excelente y útil aplicación de código abierto para terminal (consola) multiplataforma usada para realizar sincronizaciones de data (archivos/directorios). Sincronizar archivos y directorios en linux es bastante sencillo con rsync, pero Rclone que es una herramienta que es como rsync pero para el almacenamiento en la nube. También existe rclone browser, una interfaz gráfico para utiilizar rclone con GUI, desde Windows, Linux o macOS


 
Rclone es una utilidad de línea de comandos que permite a los usuarios de Gnu/Linux conectarse de forma rápida y fácil a cualquier servicio soportado de almacenamiento en la nube (Dropbox, Google Drive, Open Drive, servidor FTP y otros).

¿Qué es RClone?

Rclone tiene los comandos equivalentes de Unix rsync, cp, mv, mount, ls, ncdu, tree, rm y cat pero en la nube. La sintaxis familiar de Rclone incluye soporte de tubería de shell y protección --dry-run. Se utiliza en la línea de comandos, en scripts o mediante su API. 

Es una herramienta de código abierto, desarrollada utilizando Lenguaje Go por Nick Craig que nos permite sincronizar archivos y directorios entre diversos servicios de la nube, entre los que destacan Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage, Yandex Files, Mega entre otros

De igual manera la herramienta soporta transferencia de archivos desde servicios locales y mediante SFTP, por lo tanto podemos definir a Rclone como «rsync para almacenamiento en la nube».

Un programa abierto de línea de comandos utilizado para gestionar archivos sobre el almacenamiento en la nube. Es una alternativa rica en características a las interfaces de almacenamiento web de los proveedores de la nube. Más de 40 productos de almacenamiento en la nube soportan a Rclone actualmente, incluyendo almacenes de objetos S3, servicios de almacenamiento de archivos para empresas y consumidores, así como protocolos de transferencia estándar. Además, tiene potentes equivalentes en la nube a los comandos unix, tales como: rsync, cp, mv, mount, ls, ncdu, tree, rm y cat. La sintaxis familiar de Rclone incluye soporte de tuberías de shell y protección –dry-run. Y se puede utilizar sobre la línea de comandos, en scripts o a través de su API.”

Características de Rclone


 
  • De código abierto y fácil uso.
  • Compatible nativamente con más de 14 servicios de almacenamiento en la nube.
  • Chequeo controlado de la integridad del archivo mediante MD5 / SHA1.
  • Se preserva el Timestamps de los archivos.
  • Permite sincronizaciones parciales,
  • Permite copiar todo tipo de archivo.
  • Incluye un modo de sincronización (sólo ida) para hacer replica idéntica de un directorio.
  • Puede sincronizar archivos desde una red a otra, es decir, puede sincronizar los archivos de dos nubes diferentes.
  • Utiliza Crypt como método de encriptación opcional
  • Montaje FUSE opcional.
  • Amplia documentación que puede ser consultada desde aquí, para aprender a utilizar la herramienta a detalle.
  • Comandos similares a los de rsync.

Para comenzar a disfrutar de esta excelente herramienta debemos ir a la página oficial y descargar el paquete correspondiente a nuestra arquitectura, descomprimirlo e instalarlo, para luego elegir que archivos y a donde sincronizarlo.

O bien usar instalador: 

curl https://rclone.org/install.sh | sudo bash

Utilizar rclone con Google Drive

Añadir:
rclone config

Configuración 

No remotes found - make a new one

n) New remote

r) Rename remote

c) Copy remote

s) Set configuration password

q) Quit config

n/r/c/s/q> n

name> gdrive

Type of storage to configure.

Choose a number from below, or type in your own value

[snip]

16 / Google Drive

   \ "drive"

[snip]

Storage> drive

Google Application Client Id - leave blank normally.

client_id>

Google Application Client Secret - leave blank normally.

client_secret>

Scope that rclone should use when requesting access from drive.

Choose a number from below, or type in your own value

 1 / Full access all files, excluding Application Data Folder.

   \ "drive"

 2 / Read-only access to file metadata and file contents.

   \ "drive.readonly"

   / Access to files created by rclone only.

 3 | These are visible in the drive website.

   | File authorization is revoked when the user deauthorizes the app.

   \ "drive.file"

   / Allows read and write access to the Application Data folder.

 4 | This is not visible in the drive website.

   \ "drive.appfolder"

   / Allows read-only access to file metadata but

 5 | does not allow any access to read or download file content.

   \ "drive.metadata.readonly"

scope> 1

ID of the root folder - leave blank normally.  Fill in to access "Computers" folders. (see docs).

root_folder_id> 

Service Account Credentials JSON file path - needed only if you want use SA instead of interactive login.

service_account_file>

Remote config

Use auto config?

 * Say Y if not sure

 * Say N if you are working on a remote or headless machine or Y didn't work

y) Yes

n) No

y/n> y

If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth

Log in and authorize rclone for access

Waiting for code...

Got code

Configure this as a Shared Drive (Team Drive)?

y) Yes

n) No

y/n> n

--------------------

[remote]

client_id = 

client_secret = 

scope = drive

root_folder_id = 

service_account_file =

token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"x"}

--------------------

y) Yes this is OK

e) Edit this remote

d) Delete this remote

y/e/d> y 

Obtener las credenciales de Google para rclone

Para que todo funcione debes crear primero en la consola de desarrollador de Google:



  • En Crear Credenciales "Crear ID de cliente de OAuth" tipo Escritorio  y después bajar el ID de clientes OAuth 2.0
  • Descargar fichero JSON con el client_id y client_secret

Recuerda que debes el client_id y el client_secret y no usar los de rclone por defecto.

También puedes editar el fichero rclone.conf

[gdrive]

type = drive

client_id = 

client_secret = 

scope = drive

token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"xxx"}


Ver contenidos:

rclone lsd gdrive:

rclone ls gdrive:


Copiar la carpeta local /home/backup a la carpeta backup de google drive (gdrive)

rclone copy /home/backup gdrive:backup

Sintaxis completa

rclone copy source:sourcepath dest:destpath

Para ver la quota de espacio:

rclone about gdrive:

o

rclone size gdrive: 

Consideraciones

Parece que sólo es posible cargar 750 GiB de datos en Google Drive al día.

Drive tiene bastante limitación de velocidad. Esto hace que rclone se limite a transferir aproximadamente 2 archivos por segundo solamente. Los archivos individuales pueden transferirse mucho más rápido a cientos de MiB / s, pero muchos archivos pequeños pueden llevar mucho tiempo. 

Sintaxis básica

rclone origen destino

para subir (de origen a remoto)
 
Ejemplos:
 
rclone -vv copy /home/backup gdrive:backup

para bajar (de drive a local)
 

rclone copy gdrive:backup/backup.zip /home/backup/


Comandos típicos:

Ejemplos copy (dry run probar y max-age 24h, solo ficheros nuevos)

Puedes añadir la fecha al backup usando date:

# backup directorios /home/backup con fecha
rclone -vv copy /home/backup gdrive:backup-backup-mes-`date +%m-%y`


Cifrar credenciales

Excluir extensiones
--exclude ".*"

Opciones importantes

Para ver la salida de errores (depuración)

rclone -vv

Para efectuar pruebas pero no en real:

rclone --dry-run

Mostrar estadísticas del progreso:

rclone -P o --progress

Cifrado con rclone (crypt)

Para el cifrado, usaremos el control remoto crypt de Rclone. Vale la pena señalar desde el principio que solo los archivos copiados/sincronizados en el control remoto crypt se cifrarán, por lo que puedes continuar cargando archivos sin cifrar si lo deseas, exactamente como antes; Esto también significa que los archivos cargados previamente en el almacenamiento en la nube no están cifrados, y esto no los cifrará a menos que elimines los archivos del almacenamiento en la nube y luego los almacenes en el nuevo crypt remoto.

La opción crypt de Rclone puede cifrar los archivos, los nombres de archivo (cifrado de nombre de archivo estándar u ofuscación de nombre de archivo simple) y los nombres de directorio. La longitud del archivo y el tiempo de modificación no están cifrados.

Digamos que tenemos un archivo de copia de seguridad llamado importante.zip en mi computadora y quiero cargarlo cifrado a Google Drive, en una carpeta llamada /ehn. Para lograr esto, creo una cifrado Rclone remota (llamada encrypt:) que cifra una ruta remota establecida en drive:ehn.

Entonces, cuando copie este archivo important.zip en encrypt:, se cargará como cifrado en mi carpeta Drive ehn:

Cada vez que quieras acceder a este archivo, tendré que acceder al control remoto encrypt: a través de Rclone. El sitio web de GDrive tiene este archivo cifrado, por lo que no se puede usar hasta que se descifre con el control remoto crypt de Rclone.

 

Cifrar una Carpeta con Crypt


Para crear una carpeta cifrada, utilizaremos el mismo proceso que para vincular rclone a una nube pública:

    rclone config
    Nombre que utilizaremos en rclone, para sincronizar o copiar esa carpeta cifrada
    Seleccionamos:

9 / Encrypt/Decrypt a remote
  \ "crypt"

En la versión de rclone 1.47, aparece en el número nueve. Esto puede variar según la versión.
La carpeta cifrada, será una carpeta que crearé en la raíz de Google Drive, que llamaré "Mis Fotos".

Se da por hecho que has seguido la primera parte del tutorial, donde hemos conectado ya la cuenta de Google Drive, creando una unidad con rclone llamada drive, y dentro de esta unidad, ahora voy a crear una carpeta llamada Mis Fotos.

De este modo, dentro de Google Drive tendré mis fotos cifradas.

remote> drive:Mis_Fotos

No voy a detallar todos los pasos, pero los siguientes son:

  • Te preguntará si quieres que los archivos permanezcan ocultos para Google Drive, utilicen el nombre original del archivo (aun estando cifrados) o utilice un nombre complejo compuesto de números y letras.
  • Añadir una o dos contraseñas para cifrar los archivos:


Es opcional el añadir la contraseña, yo prefiero ponerla.

Recuerda que conservando el archivo de configuración, esta carpeta cifrada podrás montarla en otro dispositivo con rclone.

Montar unidad de red remota

Montando nuestra nube de Google Drive en nuestro disco duro local con:

rclone mount --allow-other gdrive: gdrive

También podemos utilizar la unidad de red montada en Google Drive para acceder vía WebDAV con 
rclone serve webdav

Ejecutar servicio al iniciar sistema

Montar unidad rclone al arrancar el sistema 

Crear y editar el servicio:

sudo nano /etc/systemd/system/rclonemount.service

Fichero  rclonemount.service

[Unit]

Description=rclone 

After=network-online.target

Wants=network-online.target

[Service]

Environment=RCLONE_CONFIG=/home/usuario/.config/rclone/rclone.conf


ExecStart=/usr/bin/rclone mount gdrive: /home/usuario/gdrive \

--allow-other \

--log-level INFO \

--log-file /home/usuario/logs/rclone.log \

--cache-dir=/home/usuario/cache-rclone \

--vfs-cache-mode full \

--vfs-cache-max-size 1000G \

--vfs-cache-max-age 5000h \

--poll-interval 5m \

--vfs-cache-poll-interval 20m \

--dir-cache-time 24h

ExecStop=/bin/fusermount -uz /home/usuario/gdrive


User=usuario

Group=usuario


[Install]

WantedBy=multi-user.target


Activar el servicio al arrancar:

sudo systemctl enable rclonemount.service 

Podemos usar arrancar, parar o mirar el estado:

sudo systemctl [star] [stop] [staus] rclonemount.service 

Para montar la unidad debemos activar:

user_allow_other

Desactivado por defecto en:

 /etc/fuse.conf

 –allow-other permite que todos los usuarios del sistema operativo puedan acceder a esa unidad 

GUI oficial rclone 

 Rclone ya dispone de una web-gui, basada en una web oficial. Permite desde el navegador configurar todas las opciones:

  • Muestra estadísticas trabajos, velocidad
  • Cambiar o añadir configuración remotos
  • Montar unidades con FUSE (sistema archivos VFS)

Utiliza las opciones oficiales de la API de rc (remote controlling)

Capturas de pantalla:







Opciones:

Rclone Browser GUI



Esta aplicación elimina la dificultad a la hora de hacerlo todo, desde conectarse hasta cargar / descargar archivos con una interfaz de usuario elegante.
 




 
  • Permite navegar y modificar cualquier conexión de Rclone, incluidas las cifradas.
  • Utiliza el mismo archivo de configuración que Rclone, por esto no se requiere una configuración adicional.
  • Admite ubicación personalizada y cifrado para el archivo de configuración .rclone.conf.
  • Podremos navegar simultáneamente por múltiples repositorios, en pestañas separadas.
  • Enumera los archivos de forma jerárquica con nombre de archivo, tamaño y fecha de modificación.
  • Todos los comandos Rclone se ejecutan de forma asincrónica, sin congelar la GUI.
  • La jerarquía de archivos se almacena en la memoria caché, para un recorrido más rápido por las carpetas.
  • Nos va a permitir cargar, descargar, crear nuevas carpetas, renombrar o eliminar archivos y carpetas.
  • Permite calcular el tamaño de la carpeta, exportar la lista de archivos y copiar al portapapeles.
  • Puede procesar múltiples trabajos de carga o descarga en segundo plano.
  • Incluye soporte de arrastrar y soltar. Podremos arrastrar archivos desde el explorador de archivos local para cargarlos.
  • Transmisión de archivos multimedia para su reproducción en un reproductor como mpv o similar.
  • También vamos a poder montar y desmontar carpetas en macOS y GNU/Linux.
  • Opcionalmente se minimiza a la bandeja, con notificaciones cuando finaliza la carga / descarga.
 Descargar versión antigua (descontinuada)
 

Carpetas de montaje (punto de montaje)

Si quieres montar tu almacenamiento remoto de Rclone Browser en una carpeta existente en tu PC, haz clic en el botón ‘Mount‘. Después utiliza la ventana emergente del navegador de archivos para seleccionar una carpeta en la que montar la carpeta remota.

Novedades rclone

Y para su versión estable actual, la número 1.54.1 de fecha 08/03/2021, la misma incorporo varias novedades y/o correcciones, entre las que podemos mencionar las siguientes:

  1. Errores corregidos (Bug Fix): En «accounting», se arregló «–bwlimit» para cuando el ascenso o descenso está desactivado; en «docs» se arregló el anidamiento de paréntesis y puntos suspensivos en los documentos de ftp (edwardxml), se corrigió el enlace roto en la página de sftp (edwardxml) y se corrigió un error tipográfico en el archivo crypt.md.
  2. Montaje (Mount): Se arregló la caída del montaje en macOS estableciendo «–daemon-timeout 10m».
  3. VFS: Se implementó, el uso simultáneo de documentos con el mismo caché, ya que, no debería ser utilizado.
  4. B2: Se aumentó automáticamente el límite de carga para evitar errores falsos, y se arregló el fallo al crear sistema de archivos con clave de aplicación limitada a un prefijo.
  5. Drive: Se cambió la referencia a Shared Drives en lugar de Team Drives.
  6. Dropbox: Se añadió ámbitos a la solicitud «oauth» y opcionalmente a «members.read».
  7. S3: Se corrigieron fallos en la creación del sistema de archivos con la política de permisos en cuanto a carpeta, además de, correcciones de solicitudes HEAD de Wasabi que devuelven datos obsoletos al utilizar solo un transporte.

Estas y otras novedades más, pueden profundizarse en el siguiente enlace. Mientras que, para su descarga e instalación se puede explorar este otro enlace

Fuentes:

https://blog.desdelinux.net/rclone-1-54-1-novedades-caracteristicas-version-estable-actual/

https://blog.desdelinux.net/rclone-sincronizar-archivos-y-directorios-entre-nubes/

https://ugeek.github.io/blog/post/2019-07-03-dale-almacenamiento-ilimitado-a-tu-raspberry-servidor-o-pc-con-rclone.html


2 comentarios :

Anónimo dijo...

hola, por favor alguien me puede ayudar........... al momento de llegar aqui...
If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth

Log in and authorize rclone for access

Waiting for code...

Got code

se queda y no realiza ningún proceso y no se que debo hacer....

el-brujo dijo...

Cuando te pregunte

Use auto config?

Di que NO.

Publicar un comentario

Los comentarios pueden ser revisados en cualquier momento por los moderadores.

Serán publicados aquellos que cumplan las siguientes condiciones:
- Comentario acorde al contenido del post.
- Prohibido mensajes de tipo SPAM.
- Evite incluir links innecesarios en su comentario.
- Contenidos ofensivos, amenazas e insultos no serán permitidos.

Debe saber que los comentarios de los lectores no reflejan necesariamente la opinión del STAFF.