HowTo: Massendaten effizient synchronisieren

[localhorst]

Um Massendaten möglichst schnell von einem Datenträger auf einen anderen zu kopieren / synchronisieren, bietet sich die parallelisierte Ausführung von rsync an. rsync stellt dabei sicher, dass Quelle und Ziel synchron sind und der Befehl "parallel" sorgt für die zeitgleiche Ausführung mehrerer rsync-Jobs.
Mit dieser Methodik wird auch die vorhandene Netzwerkbandbreite optimal ausgenutzt.

parallel benötigt zunächst eine Dateiliste, die dann zu mehreren rsync-Jobs abgearbeitet wird (eingehängte Laufwerke ignorieren):

Code: Alles auswählen

find ./ -mount -type f >dateiliste.txt

(rel. Pfadangabe notwendig)

Vorgang starten:

Code: Alles auswählen

cat dateiliste.txt | parallel -j 8 rsync -a --copy-links --whole-file --relative --no-compress {} /ziel/

Zeit des Vorgangs messen:

Code: Alles auswählen

time(cat dateiliste.txt | parallel -j 8 rsync -a --copy-links --whole-file --relative --no-compress {} /ziel/)

Download:
https://www.gnu.org/software/parallel/