Voici la méthode pour synchroniser les données d’un NAS avec l’interface utilisateur QNAP sur une ressource rsync configurée sur un serveur Linux Debian. Cela peut être réalisé pour migrer des données, ou tout simplement pour sauvegarder les données ailleurs.
Préparer le serveur rsync sous Debian
Activer le service rsync
Pour commencer, nous allons activer le service rsync sur le Debian en activant la ligne RSYNC_ENABLE=true dans /etc/default/rsync puis en redémarrant le service avec service rsync restart .
On peut vérifier que le service rsync tourne ainsi :
|
1 2 |
root@ordinateur:/# ps ax |grep rsync 1301 ? Ss 0:00 /usr/bin/rsync --daemon --no-detach |
Consultez cet article si votre service Rsync ne démarre pas automatiquement à l’allumage du serveur.
Configurer le service rsync
Nous allons créer les fichiers /etc/rsyncd.conf et /etc/rsyncd.secrets. Le manuel du fichier de configuration du service rsync est visible avec man rsyncd.conf.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
# Propriétaire des fichiers transférés (nobody:nogroup par défaut) uid = root gid = root # Donne la liste des modules configurés sans authentification list = true # Mode lecture seule (sauf mention contraire) read only = yes # Chrooter le service rsync use chroot = yes # Nombre de connexions simultanés max connections = 50 # Authentification autorisée pour l'utilisateur Rsync (cf. rsyncd.secrets) auth users = utilisateur # Timeout de connexion du client timeout = 30 # Chaque fichier transféré est notifié dans le log transfer logging = yes # Fichier de log log file = /var/log/rsyncd.log # Fichier de mots de passe Rsync secrets file = /etc/rsyncd.secrets # Fichier PID pid file = /var/run/rsyncd.pid # Modules [test] path=/data/test read only=false [test2] path=/data/test2 read only=false |
Le service rsync lit le fichier de configuration à chaque connexion entrante donc il n’est pas nécessaire de le relancer après une modification du fichier de configuration.
En ce qui concerne le NAS QNAP, une ligne capitale est list = true . Sans cette option, le NAS ne sera pas en mesure de proposer une liste défilante pour sélectionner le module distant à utiliser. Le NAS QNAP ne propose malheureusement pas de saisir au clavier le nom du module distant.
Le fichier rsyncd.secrets contient des lignes au format utilisateur:mdp .
Configurer la tâche de synchronisation sur le NAS
Sur le NAS on peut configurer une tâche de synchronisation Rsync avec le menu Gestionnaire de sauvegarde > Réplication distante > Rsync (sauvegarde niveau fichier) > Créer une tâche de réplication.
Là les paramètres seront :
- Nom de la tâche de réplication à distance : ce que vous voulez
- Site distant : IP du serveur Rsync, Nom « utilisateur » et mot de passe « mdp » (en concordance avec votre rsyncd.secrets). Port 873 par défaut.
- Dossier source : dossier du NAS à synchroniser
- Dossier destination : module Rsync qui recevra les données
- Options : « Activer le cryptage » est une option qui utilise un tunnel SSH en conjonction avec des modules Rsync. Mais le listage des modules est réalisé sur le port 873 et non le port 22 du coup cela ne fonctionne pas dans tous les contextes. A réserver aux sysadmins qui savent comment tromper le NAS pour obtenir un rafraichissement de la liste des modules malgré tout…
- Options : cocher la compression de fichiers sur réseaux < 100 Mbits. C’est en réalité la compression à la volée des blocs transférés, et son coût CPU peut être supérieur à son économie de bande passante sur les réseaux rapides.
- Options : laisser « Copier uniquement les fichiers qui diffèrent » pour bénéficier des capacités différentielles de l’algorithme Rsync.
- Options : cocher si vous voulez « Supprimer les fichiers supplémentaires sur la destination distante » afin que la cible soit toujours l’image parfaite de la source (mode miroir). Attention cette option peut être dangereuse : si un crypto-virus ou une personne mal intentionnée a renommé tous vos fichiers, les fichiers originaux seront supprimés de la sauvegarde distante. Si vous ne cochez pas cette option, une consommation d’espace disque supplémentaire peut être constatée coté serveur Rsync.
- Options : cocher « Traitement efficace des fichiers creux ». Voir les limites de l’option rsync –sparse.
- Fréquence de sauvegarde : activer la fréquence souhaitée.
Voici à quoi cela ressemble sur l’interface du NAS.
Configuration d’une tâche Rsync sur NAS QNAP. Vous reconnaissez les modules test et test2.
Bien entendu, si vous configurez une tâche Rsync sur port 873 sans tunnel de chiffrement, elle ne doit pas sortir de votre réseau local pour éviter les interceptions de données. Si vous configurez une tâche Rsync avec tunnel de chiffrement sur port 22, alors la sécurité des échanges est garantie.
Pour aller plus loin
Coté client NAS
Version Rsync utilisée
En se connectant par SSH sur le NAS on voit qu’il utilise une version modifiée de Rsync sur base de v3.0.7 (protocol 30).
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 |
[~] # rsync rsync version 3.0.7 protocol version 30 Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others. Web site: http://rsync.samba.org/ Capabilities: 64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints, no socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace, append, ACLs, xattrs, iconv, no symtimes rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you are welcome to redistribute it under certain conditions. See the GNU General Public Licence for details. rsync is a file transfer program capable of efficient remote update via a fast differencing algorithm. Usage: rsync [OPTION]... SRC [SRC]... DEST or rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST or rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST or rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST or rsync [OPTION]... [USER@]HOST:SRC [DEST] or rsync [OPTION]... [USER@]HOST::SRC [DEST] or rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] The ':' usages connect via remote shell, while '::' & 'rsync://' usages connect to an rsync daemon, and require SRC or DEST to start with a module name. Options -v, --verbose increase verbosity -q, --quiet suppress non-error messages --no-motd suppress daemon-mode MOTD (see manpage caveat) -c, --checksum skip based on checksum, not mod-time & size -a, --archive archive mode; equals -rlptgoD (no -H,-A,-X) --no-OPTION turn off an implied OPTION (e.g. --no-D) -r, --recursive recurse into directories -R, --relative use relative path names --no-implied-dirs don't send implied dirs with --relative -b, --backup make backups (see --suffix & --backup-dir) --backup-dir=DIR make backups into hierarchy based in DIR --suffix=SUFFIX set backup suffix (default ~ w/o --backup-dir) -u, --update skip files that are newer on the receiver --inplace update destination files in-place (SEE MAN PAGE) --append append data onto shorter files --append-verify like --append, but with old data in file checksum -d, --dirs transfer directories without recursing -l, --links copy symlinks as symlinks -L, --copy-links transform symlink into referent file/dir --copy-unsafe-links only "unsafe" symlinks are transformed --safe-links ignore symlinks that point outside the source tree -k, --copy-dirlinks transform symlink to a dir into referent dir -K, --keep-dirlinks treat symlinked dir on receiver as dir -H, --hard-links preserve hard links -p, --perms preserve permissions -E, --executability preserve the file's executability --chmod=CHMOD affect file and/or directory permissions -A, --acls preserve ACLs (implies --perms) -X, --xattrs preserve extended attributes -o, --owner preserve owner (super-user only) -g, --group preserve group --devices preserve device files (super-user only) --specials preserve special files -D same as --devices --specials -t, --times preserve modification times -O, --omit-dir-times omit directories from --times --super receiver attempts super-user activities --fake-super store/recover privileged attrs using xattrs -S, --sparse handle sparse files efficiently -n, --dry-run perform a trial run with no changes made -W, --whole-file copy files whole (without delta-xfer algorithm) -x, --one-file-system don't cross filesystem boundaries -B, --block-size=SIZE force a fixed checksum block-size -e, --rsh=COMMAND specify the remote shell to use --rsync-path=PROGRAM specify the rsync to run on the remote machine --existing skip creating new files on receiver --ignore-existing skip updating files that already exist on receiver --remove-source-files sender removes synchronized files (non-dirs) --del an alias for --delete-during --delete delete extraneous files from destination dirs --delete-before receiver deletes before transfer, not during --delete-during receiver deletes during transfer (default) --delete-delay find deletions during, delete after --delete-after receiver deletes after transfer, not during --delete-excluded also delete excluded files from destination dirs --ignore-errors delete even if there are I/O errors --force force deletion of directories even if not empty --max-delete=NUM don't delete more than NUM files --max-size=SIZE don't transfer any file larger than SIZE --min-size=SIZE don't transfer any file smaller than SIZE --partial keep partially transferred files --partial-dir=DIR put a partially transferred file into DIR --delay-updates put all updated files into place at transfer's end -m, --prune-empty-dirs prune empty directory chains from the file-list --numeric-ids don't map uid/gid values by user/group name --timeout=SECONDS set I/O timeout in seconds --contimeout=SECONDS set daemon connection timeout in seconds -I, --ignore-times don't skip files that match in size and mod-time --size-only skip files that match in size --modify-window=NUM compare mod-times with reduced accuracy -T, --temp-dir=DIR create temporary files in directory DIR -y, --fuzzy find similar file for basis if no dest file --compare-dest=DIR also compare destination files relative to DIR --copy-dest=DIR ... and include copies of unchanged files --link-dest=DIR hardlink to files in DIR when unchanged -z, --compress compress file data during the transfer --compress-level=NUM explicitly set compression level --skip-compress=LIST skip compressing files with a suffix in LIST -C, --cvs-exclude auto-ignore files the same way CVS does -f, --filter=RULE add a file-filtering RULE -F same as --filter='dir-merge /.rsync-filter' repeated: --filter='- .rsync-filter' --exclude=PATTERN exclude files matching PATTERN --exclude-from=FILE read exclude patterns from FILE --include=PATTERN don't exclude files matching PATTERN --include-from=FILE read include patterns from FILE --files-from=FILE read list of source-file names from FILE -0, --from0 all *-from/filter files are delimited by 0s -s, --protect-args no space-splitting; only wildcard special-chars --address=ADDRESS bind address for outgoing socket to daemon --port=PORT specify double-colon alternate port number --sockopts=OPTIONS specify custom TCP options --blocking-io use blocking I/O for the remote shell --stats give some file-transfer stats -8, --8-bit-output leave high-bit chars unescaped in output -h, --human-readable output numbers in a human-readable format --progress show progress during transfer -P same as --partial --progress -i, --itemize-changes output a change-summary for all updates --out-format=FORMAT output updates using the specified FORMAT --log-file=FILE log what we're doing to the specified FILE --log-file-format=FMT log updates using the specified FMT --password-file=FILE read daemon-access password from FILE --list-only list the files instead of copying them --bwlimit=KBPS limit I/O bandwidth; KBytes per second --write-batch=FILE write a batched update to FILE --only-write-batch=FILE like --write-batch but w/o updating destination --read-batch=FILE read a batched update from FILE --protocol=NUM force an older protocol version to be used --iconv=CONVERT_SPEC request charset conversion of filenames --qnap-mode=mode 0:Normal, 1:QRAID1, 2:USB copy 3:HD copy USB --check-dest Check if the destination path is valid --password=WORD the password of QNAP mode --sever-mode=mode 0:Normal, 1:QNAP in daemon-mode --schedule=name specify the schedule name -4, --ipv4 prefer IPv4 -6, --ipv6 prefer IPv6 --version print version number (-h) --help show this help (-h works with no other options) Use "rsync --daemon --help" to see the daemon-mode command-line options. Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation. See http://rsync.samba.org/ for updates, bug reports, and answers |
On voit notamment les options --qnap-mode ou --server-mode qui ont été rajoutées.
Listage des modules Rsync
Pour revenir à l’option list = true vous pouvez lancer la commande suivante sur le NAS. C’est vraisemblablement ce genre de commande qui est lancée par l’interface graphique.
|
1 2 3 |
[~] # rsync <ip-serveur>:: test test2 |
A noter que le premier module de la liste a un rôle particulier puisque c’est lui qui est utilisé par défaut pour les tests de débit (cf ci-dessous).
Pour finir, l’interface QNAP a un énorme défaut : elle requiert que le serveur Rsync écoute sur le port 873 pour répondre aux demandes de listage des modules, même si par la suite le port 22 est utilisé pour les transferts. C’était pourtant possible de faire la demande de listage en mode SSH comme suit (ici user-ssh vaut utilisateur et user-rsync également).
|
1 2 3 4 |
root@ordinateur:/# rsync -e "ssh -l <user-ssh>" <user-rsync>@<ip-serveur>:: user-ssh@host's password: test test2 |
Modifier le job de synchronisation
Il est possible de consulter et d’éditer le job de synchronisation dans .config/rsync_schedule.conf situé sur le disque dur du NAS. Il est possible qu’un reboot soit nécessaire pour lancer la synchro entre l’espace persistant (disque dur) et l’espace non persistant (disque ram).
Coté serveur Rsync
Un tour du coté de rsyncd.log permet de suivre l’activité du NAS.
La demande de liste des modules :
|
1 2 3 |
2018/08/07 10:18:02 [7002] name lookup failed for <ip-nas>: Name or service not known 2018/08/07 10:18:02 [7002] connect from UNKNOWN (<ip-nas>) 2018/08/07 10:18:02 [7002] module-list request from UNKNOWN (<ip-nas>) |
La copie d’un fichier arbitraire pour déterminer la vitesse de transfert. Je soupçonne QNAP d’avoir tordu le protocole rsync (voir dernière ligne) pour supprimer leur dossier .rsyncSpeedTest@ du serveur et déterminer une vitesse de transfert depuis la copie d’un fichier temporaire de taille nulle. De plus le NAS veut à tout prix apposer les droits root:root sur ce dossier, ce qui n’est possible qu’en spécifiant dans rsyncd.conf uid=root et gid=root.
|
1 2 3 4 5 |
2018/08/07 07:45:55 [6500] rsync on test/.rsyncSpeedTest@ from utilisateur@UNKNOWN (<ip-nas>) 2018/08/07 07:45:55 [6500] building file list 2018/08/07 07:45:55 [6500] sent 72 bytes received 32 bytes total size 0 2018/08/07 07:45:55 [9988] rsync: connection unexpectedly closed (105 bytes received so far) [generator] 2018/08/07 07:45:55 [9988] rsync error: error in rsync protocol data stream (code 12) at io.c(235) [generator=3.1.2] |
La copie d’un fichier de données :
|
1 2 3 4 |
2018/08/07 09:42:31 [6456] connect from UNKNOWN (<ip-nas>) 2018/08/07 07:42:31 [6456] rsync to test/ from utilisateur@UNKNOWN (<ip-nas>) 2018/08/07 07:42:31 [6456] receiving file list 2018/08/07 07:42:31 [6456] recv UNKNOWN [<ip-nas>] test (utilisateur) abc.pdf 1376502 |
Le mot de la fin
Sur l’App Center de QNAP vous pouvez installer un paquet « Hybrid Backup Sync » qui vient supplanter l’outil de sauvegarde Rsync qui est montré ici en copies d’écran. Son fonctionnement est similaire et fait appel aux mêmes fichiers de configuration dans les entrailles du NAS.
Je prévois de lancer dans les prochains mois un service commercial de sauvegarde basé sur rsync pour NAS, avec chiffrement des échanges, génération des rapports de sauvegarde et facturation au volume. Si cela vous intéresse, contactez-nous !
