Обход ограничения

[Морская улиточка]

Здравствуй уважаемый веб-мастер, если ты всё таки решился прочитать то что я здесь написал, то я уже бесконечно тебе благодарен за то что ты тратишь своё драгоценное время на меня! Я вынужден обратиться к тебе за помощью, надеюсь что не откажешь.

Есть сайт, с которого я хочу по тихому свистнуть и убежать огромное количество контента. Скачивать хочу благодаря прямым ссылкам на эти самые файлы, которые в свою очередь я собрал с помощью PHP, но подлец-сервер не даёт мне этого сделать. Спустя некоторое количество удачных скачек, он буквально разрушает наши отношения на корню.

Честно говоря, я пока так и не понял как именно работает механизм защиты но вроде бы прокси должны помогать всегда, но только не в этом случаи, всё очень медленно и невозможно что-либо делать.

Ограничение снимается только на следующий день и я опять могу смело тратить свой лимит но, он очень мал а файлов много.

Что посоветуешь, брат?

Edited April 24, 2016 by Морская улиточка

[wwt]

Tor+php

 

Одна из статей как это сделать https://habrahabr.ru/sandbox/38998/

Статья довольно старая, но можете поискать что-нибудь ещё.

 

Кроме этого можете воспользоваться offline браузерами, возможно на них блокировка работать не будет. На сервере скорее всего стоит защита от ддоса, а вы делаете слишком много запросов в единицу времени.

[Морская улиточка]

Уважаемый wwt,

Я могу точно сказать что это сделано не с целью защиты от дурного ддоса по той причине что заголовки, прямые ссылки и другую информацию я спарсил без каких-либо проблем благодаря тому же самому PHP и запросов у меня было просто немерено. У сервера стоит защита конкретно на контент, даже если этим сайтом пользоваться как положено то когда лимит заканчивается - пользователю сообщается о том что лимит исчерпан и что ему нужно прийти завтра - либо зарегистрировать и тем самым увеличить его, так или иначе лимит есть всегда и полный доступ получить невозможно. Когда лимит закончен, если обратиться по прямой ссылке то показывается просто белый экран. Также могу добавить что после того как заканчивается лимит - прямые ссылки на сайте не подменяются, с другого соединения всё прекрасно открывается.

Тор? Я пробовал Тор, но ведь он жутко медленный. Спасибо за ссылку что Вы дали, статья очень интересная и я обязательно буду пробовать так сделать. До этого я использовал Тор так скажем "по простому" и не занимался никакими открытиями портов и уж тем более не копался в его файлах.

Я пробовал использовать программы для горячей смены прокси но тоже остался не довольным. Проблема что с Тором, что с программами была всегда одна - всё очень медленно. Использовать платные прокси выйдет очень дорого по той причине что их нужно тогда будет очень много чтобы как только заканчивается лимит на одном - переключаться на другой. 

Оффлайн браузеры тоже не панацея, например HTTrack после того как лимит заканчивается говорит о том что ему не удалось скачать следующие файлы а ведь он один и лучших как я понял, думаю что с другими оффлайн браузерами дела будут обстоять куда ещё хуже.

Очень сильно надеюсь на статью что Вы дали, статья старая но если ничего не выйдет - попробую найти тоже самое но по свежее.