題 rsync已經壓縮的文件


如果輸入文件已被gzip壓縮,rysnc -z會有任何壓縮優勢嗎?我有一個大的100GB壓縮文件通過網絡跨服務器發送,並且在不同的時間後它一直失敗(斷管)。想知道我是否應該嘗試-z標誌。


4
2017-08-18 07:44


起源


我懷疑你在尋找 --partial 選項,允許恢復轉移,無論出了什麼問題。 - FauxFaux


答案:


在傳輸過程中壓縮已經壓縮的文件通常不值得CPU時間。有警告。在比較兩個文件的過程中,使用帶壓縮的rsync可以加快數據哈希的比較。

如果您只想在多個系統上同步大型文件的壓縮版本,那麼要查看的是gzip的某些版本。在Ubuntu系統上,我得到:

$ gzip -h
用法:gzip [OPTION] ... [文件] ...
壓縮或解壓縮文件(默認情況下,就地壓縮文件)。

對於空頭期權而言,長期期權的強制性論據也是強制性的。

  -c, -  stdout寫入標準輸出,保持原始文件不變
  -d, - 解壓縮
  -f, -  force強制覆蓋輸出文件並壓縮鏈接
  -h, -  help給出這個幫助
  -l, -  list列出壓縮文件內容
  -L, - 許可顯示軟件許可證
  -n, -  no-name不保存或恢復原始名稱和時間戳
  -N, -  name保存或恢復原始名稱和時間戳
  -q, -  quiet抑制所有警告
  -r, -  recursive在目錄上遞歸操作
  -S, -  suffix = SUF在壓縮文件上使用後綴SUF
  -t, -  test測試壓縮文件的完整性
  -v, -  verbose verbose模式
  -V, -  version顯示版本號
  -1, - 快速壓縮更快
  -9, - 最好壓縮
    --rsyncable製作rsync友好的存檔

如果沒有FILE,或者FILE是 - ,則讀取標準輸入。

報告錯誤。

請注意 --rsyncable 選項?它避免使用自適應壓縮,因此當源文件只有很小的變化時,只會改變壓縮文件的一小部分。二進制數據的其餘部分保持不變,因此rsync不需要重新傳輸整個事物。手冊頁指示與不使用該選項相比,此選項不應將壓縮文件的大小增加超過1%,並且該gunzip不會知道差異。

我有一個468MB的sql文件,我壓縮到57MB --rsyncable 選項。我將此文件傳輸到我的本地系統。然後我在遠程系統上的原始sql文件中添加一行註釋,並使用rsyncable選項重新壓縮。

$ rsync -avvz --progress -h fooboo:foo.sql.gz。
使用ssh fooboo rsync打開連接--server --sender -vvlogDtprz。 foo.sql.gz
接收文件列表...
1文件要考慮
啟用增量傳輸
foo.sql.gz
      59.64M 100%43.22MB / s 0:00:01(xfer#1,to-check = 0/1)
total:matches = 7723 hash_hits = 9468 false_alarms = 0 data = 22366

發送54.12K字節接收22.58K字節17.05K字節/秒
總大小為59.64M,加速為777.59

不錯。 Rsync只需要傳輸少量較新的壓縮文件。


8
2017-11-20 16:13



將比較傳輸將使用的內容將是很好的 --rsyncable 選項。 - Kevin Cox


rsync在傳輸過程中不會使已壓縮的文件明顯變小。

通過添加-z標誌,不太可能修復失敗的傳輸。我建議嘗試rsync未壓縮的文件。 rsync然後將動態壓縮。然後,您有一個優勢,即如果源文件發生更改並且您需要再次進行rsync,則只會傳輸更改的字節。如果更改壓縮文件,rsync很可能必須完全重新傳輸。有關詳細信息,請參見此處

http://beeznest.wordpress.com/2005/02/03/rsyncable-gzip/


2
2017-08-18 08:21





運用 rsync -z 不會有任何優勢 rsync 處理已使用良好壓縮格式壓縮的文件時。但是,您可能會考慮將壓縮文件拆分為較小的部分,因此您可以使用rsync進行傳輸。

這是linux的指南: http://www.techiecorner.com/107/how-to-split-large-file-into-several-smaller-files-linux/ 對於Windows: http://www.online-tech-tips.com/computer-tips/how-to-split-a-large-file-into-multiple-smaller-pieces/


2
2017-08-18 08:40