Как загрузить весь каталог и подкаталоги с помощью wget?

Я пытаюсь загрузить файлы проекта с помощью wget, поскольку сервер SVN для этого проекта больше не работает, и я могу получить доступ к файлам только через браузер. Базовые URL-адреса для всех файлов одинаковы, как

http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/*

Как я могу использовать wget (или любой другой подобный инструмент), чтобы загрузить все файлы в этом хранилище, где "tzivi" папка-это корневая папка, и под ней есть несколько файлов и подпапок (до 2 или 3 уровней)?

6 114
regex linux bash wget

6 ответов:

вы можете использовать это в раковину:

wget -r --no-parent http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/

параметры:

-r     //recursive Download

и 

--no-parent // Don´t download something from the parent directory

если вы не хотите загружать весь контент, вы можете использовать: 

-l1 just download the directory (tzivi in your case)

-l2 download the directory and all level 1 subfolders ('tzivi/something' but not 'tivizi/somthing/foo')

и так далее. Если вы вставляете no , wget использовать -l 5 автоматически.

если вы вставляете -l 0 вы будете скачивать весь интернет, потому что wget будет следовать по каждой ссылке, которую он находит.

155

Вы можете использовать это в оболочке:

wget -r -nH --cut-dirs=7 --reject="index.html*" \
      http://abc.tamu.edu/projects/tzivi/repository/revisions/2/raw/tzivi/

параметры:

-r recursively download

-nH (--no-host-directories) cuts out hostname 

--cut-dirs=X (cuts out X directories)
12

используйте команду

wget -m www.ilanni.com/nexus/content/
5

вы также можете использовать эту команду:

wget --mirror -pc --convert-links -P ./your-local-dir/ http://www.your-website.com

, Так что вы получите точную копию сайта, который вы хотите скачать

1
wget -r --no-parent URL --user=username --password=password

последние два варианта являются необязательными, если у вас есть имя пользователя и пароль для загрузки, в противном случае нет необходимости их использовать.

вы также можете увидеть больше вариантов в ссылке https://www.howtogeek.com/281663/how-to-use-wget-the-ultimate-command-line-downloading-tool/

1

это работает:

wget -m -np -c --no-check-certificate -R "index.html*" "https://the-eye.eu/public/AudioBooks/Edgar%20Allan%20Poe%20-%2"
0