題 如何遞歸下載整個網絡目錄?


我有一個Web目錄,其中包含許多文件夾和許多包含文件的子文件夾。

我需要使用wget或bash下載所有內容。


7
2018-02-03 22:43


起源




答案:


嘗試: wget -r 看看是否有效。


13
2018-02-03 22:45





最好的方法是:

wget -m <url>

這是wget“鏡子”的縮寫:

  -m,  --mirror             shortcut for -N -r -l inf --no-remove-listing.

8
2018-02-03 22:50





$ wget \
 --recursive \
 --no-clobber \
 --page-requisites \
 --html-extension \
 --convert-links \
 --restrict-file-names=windows \
 --domains website.org \
 --no-parent \
     www.website.org/tutorials/html/

此命令下載網站www.website.org/tutorials/html/。

選項是:

  • --recursive:下載整個網站。
  • --domains website.org:不要關注website.org以外的鏈接。
  • --no-parent:不要關注目錄tutorials / html /之外的鏈接。
  • --page-requisites:獲取組成頁面的所有元素(圖像,CSS等)。
  • --html-extension:保存擴展名為.html的文件。
  • --convert-links:轉換鏈接,使它們在本地工作,脫機。
  • --restrict-file-names = windows:修改文件名,以便它們也能在Windows中運行。
  • --no-clobber:不覆蓋任何現有文件(用於下載中斷和恢復的情況)。

鏈接到源

或者試試 來自Ubuntu的解決方案。


6
2017-09-09 11:10





wget --recursive (或其他)對我不起作用(我在CentOS上)。 lftp 做到了:

 lftp -c "open http://your.server/path/to/directory/; mirror"

3
2018-02-24 19:25



“無論”的旗幟是非常重要的......是的,wget的旗幟有點超過頂部,但你對瑞士軍刀的期望是什麼? - vonbrand


看到 Wget遞歸檢索

wget -r -l 5 -O whatever http://example.com/

0
2018-02-03 22:47





你有一個網絡目錄?它是否位於遠程計算機上,您只能通過HTTP訪問它,或者您是否有shell訪問權限?你提到bash意味著shell訪問,除非你的意思是從bash提示符中使用wget。

Wget並不總是非常高效,所以如果你對web目錄所在的機器有shell訪問權限並且想要下載它,你可以這樣做

$ tar cjf webdir.tar.bz2 webdir 

然後使用ftp或scp傳輸存檔。


0
2018-02-03 23:13





如果您有FTP帳戶,也可以嘗試以下操作:

lftp USER:PASSWORD@FTPSERVER -e "mirror&&exit"

0
2018-06-30 11:52