題 遞歸下載(`wget -r`)相當於Firefox?


我有一個網站,我想下載該網站內的所有頁面/鏈接。我想做一個 wget -r 在這個URL上。 沒有任何鏈接在這個特定目錄的“外部”,所以我不擔心下載整個互聯網。

事實證明,我想要的頁面背後是網站的密碼保護部分。雖然我可以使用wget手動進行cookie協商,但是從瀏覽器“登錄”並使用一些firefox插件以遞歸方式下載所有內容對我來說會容易得多。

是否有延伸或其他東西讓我這樣做?許多擴展專注於從頁面獲取媒體/圖片(嘿嘿。)但我對所有內容感興趣 - HTML和一切。

建議?

謝謝!

編輯

DownThemAll似乎是一個很酷的建議。它能做到嗎? 遞歸 下載?如下,下載頁面上的所有鏈接,然後下載每個頁面中包含的所有鏈接等?所以我基本上通過以下鏈接鏡像整個目錄樹?有點像 -r 的選擇 wget


13
2017-09-19 23:44


起源




答案:


DownThemAll不進行遞歸下載。它只抓取當前頁面的鏈接。僅下載鏈接的URL的HTML頁面。未下載鏈接頁面的圖像和媒體。


7
2017-07-10 10:38





SpiderZilla 意味著這樣做 - 但是,它有點舊(2006年)。
它基於 HTTrack網站複印機
其中有 更新版本 適用於所有平台。

還有 另一個老插件 那可以讓你插件'wget'本身(除其他外)。

但是,我也覺得DownThemAll可能是一個不錯的選擇。
如果您知道要鏡像的內容,選擇正確的鏈接應該不是問題。
而且,您可以隨時勾選“全部”複選框。

所以,+1,for 的DownThemAll 如果你想堅持瀏覽器。
並且,使用 的HTTrack 如果你想要一個獨立的工具(和 wget的 不方便)。

更新:您可能還想在這個賞金問題上查看HTTrack的投票,
我如何下載整個網站


6
2017-09-20 03:55



DTA不支持遞歸 - Hayden Thring


您可以使用 wget -r 使用瀏覽器的cookie,授權後提取。

Firefox在Web開發人員工具的“網絡”選項卡中的頁面請求的上下文菜單中有“複製為cURL”選項,熱鍵Ctrl + Shift + Q(打開工具後可能需要重新加載頁面): screenshot

替換curl的標題標誌 -H 與wget的 --header,並且您擁有所有需要的標頭,包括cookie,以繼續使用wget進行瀏覽器會話。


3
2018-06-12 23:05