WGET Tips или скачать весь сайт целиком

Если нужно скачать весь ресурс, то пишем:

wget -r -k -p -l 2 -E -n -c http://example.com/ -U Opera

Если какой-то определённый подраздел:

wget -r -k -p -l 2 -E -nc http://example.com/my/path/ -U Opera

Чуть подробнее про ключи:

-r - рекурсивное скачивание
-k - все ссылки становятся локальными
-p - загрузить все необходимые для работы сайта файлы, например css или js
-l 2 - максимальная глубина вложенности сайта (в нашем случае 2)
-E - все файлы страниц получают расширение html
-n - не перезаписывать уже созданные файлы
-c - продолжить загрузку, прерванную в прошлый раз

-U - Подменяем User-Agent,так как в последнее время стала популярная настройка соответствующей блокировки, вот пример конфига Ngnix

if ($http_user_agent ~ "Wget") {
 set $block_user_agents 1;
}

Упоминание об этом нашёл тут http://itbuben.org/blog/Unix-way/2806.html (ссылку специально не создал, чтобы не указывать на свою статью)

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *