Скачать страницу целиком

[amelice]

Были тут несколько тем на тему - как правильно скачать страницу.

Никак не могу их найти, ключевые слова не приносят успехов.
Извиняйте, что создаю целую тему по этому поводу, но, по другому как?

[rus]

погуглите wget

[amelice]

погуглите wget

Спасибо! Все вроде получилось с установкой, даже скачалось  )

только не найду куда все скачалось, в инете говорят что в ту же папку где запускала программу, но, там нету. ((

как настроить папку для закачки файлов и где искать закаченные файлы? 

 

туплю, все врено - скачалось в ту же папку где  находилась в консоли, только я ожидала, что там будет целая папка с файлами, а скачалось один файл - index.html. ) 

Так... это немножно не то, что я хотела (

Edited May 21, 2014 by amelice

[rus]

http://pingvinus.ru/note/wget-download-sites

 

-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.)

[amelice]

 

http://pingvinus.ru/note/wget-download-sites

 

-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.)

 

С переменным успехом сохраняет изображения. То все, то не все.

например, таким образом сохраняю

d:\programm\GnuWin32\bin>wget -p -P d:\tmp http://chebureks.ru/tests/long-slider.html

Может чего то пропускаю?

 

[Int]

параметр -r будет скачивать сайт, переходя по ссылкам, -l задаёт глубину прохода. Ещё есть -k, чтобы конвертировать адреса картинок и наверное стилей, чтоб они открывались локально.

На счёт изображений, которые не сохраняет, можно исходник глянуть, разобраться, wget не всегда достаточно умный. Может быть, он не берёт картинки, который в css фоном?

Под винду ещё были winhttrack и teleport. Первый вроде под линукс портирован, но не помню под какой лицензией.

А вот, да. http://www.httrack.com/page/2/en/index.html

wget_man.txt

[amelice]

Да, не загружает фоны, также картинки которые появляются посредством ЖС. Попробовала разные флажки, не помогло.
А вот эта программа

winhttrack

загружает фоны, но не загружает файлы привязанные к ЖС. И еще мне нравится что он ГУИшный )
Спасибо.

[Int]

Чтобы выполнять js, нужно искать что-то на движке IE. Да и то, как узнать, что там этот js будет скачивать, если нет взаимодействия с пользователем?

[amelice]

нужно искать что-то на движке IE

Что и почему на IE?

 

 

Да и то, как узнать, что там этот js будет скачивать, если нет взаимодействия с пользователем?

Что нужно скачивать можно узнать по ссылкам в ЖС. Получается он детектирует ссылки в стилях, а ссылки в ЖС игнорирует.

Edited May 23, 2014 by amelice

[Int]

Что и почему на IE?

Где-то читал, что всякие пауки и распознаватели капчей делаются на основе IE, потому что activex есть только в нём, а писать свой браузер — это перебор.

 

Что нужно скачивать можно узнать по ссылкам в ЖС. Получается он детектирует ссылки в стилях, а ссылки в ЖС игнорирует.

var id = promp('Введите номер статьи для отображения');$.post('/get.php', {'id': id}, function(a) {$('#art').html(a)}, 'text')

Определи такую ссылку. Или ссылку, которая яваскриптом собирается из кусков. Или вообще кусок ссылки берётся с сайта аяксом (например, временный ключ) и используется во всех запросах для отсеивания качальщиков, которые не умеют JS.