HowTo: Massendaten effizient synchronisieren
Verfasst: 12.03.2020, 13:54
Um Massendaten möglichst schnell von einem Datenträger auf einen anderen zu kopieren / synchronisieren, bietet sich die parallelisierte Ausführung von rsync an. rsync stellt dabei sicher, dass Quelle und Ziel synchron sind und der Befehl "parallel" sorgt für die zeitgleiche Ausführung mehrerer rsync-Jobs.
Mit dieser Methodik wird auch die vorhandene Netzwerkbandbreite optimal ausgenutzt.
parallel benötigt zunächst eine Dateiliste, die dann zu mehreren rsync-Jobs abgearbeitet wird (eingehängte Laufwerke ignorieren): (rel. Pfadangabe notwendig)
Vorgang starten:
Zeit des Vorgangs messen:
Download:
https://www.gnu.org/software/parallel/
Mit dieser Methodik wird auch die vorhandene Netzwerkbandbreite optimal ausgenutzt.
parallel benötigt zunächst eine Dateiliste, die dann zu mehreren rsync-Jobs abgearbeitet wird (eingehängte Laufwerke ignorieren):
Code: Alles auswählen
find ./ -mount -type f >dateiliste.txtVorgang starten:
Code: Alles auswählen
cat dateiliste.txt | parallel -j 8 rsync -a --copy-links --whole-file --relative --no-compress {} /ziel/Code: Alles auswählen
time(cat dateiliste.txt | parallel -j 8 rsync -a --copy-links --whole-file --relative --no-compress {} /ziel/)Download:
https://www.gnu.org/software/parallel/