Anechka

Здравствуйте! Есть сайт которому пофиг на поисковые системы, более того - он даже запрещён к индексации но трафик из различных источников не плохой. Посоветуйте кликандер благодаря которому можно конвертировать данный трафик, сайту пофиг на фильтры и прочие санкции, трафик есть и его никак не отнять! Может даже что-то лучше предложите чем кликандер? Была бы очень благодарна! Спасибо! Если понравится - могу зарегистрироваться по рефке!

https думаю что сложное ещё в разы это сложное усложняет

Печально, а может быть можно как-нибудь посмотреть все пути запроса? Куда он идёт, куда там редирект и т.д. Я думаю что всё таки как-то это можно всё провернуть но здесь я уже ничего не буду говорить - вот здесь уже правда мне не хватает навыков.

Я прекрасно Вас понимаю и в свою защиту хочу сказать что сейчас я Вам в личку всё таки отправлю ссылку на Тостер с этим моим вопросом и вот цитата одного из последний моих комментариев: Судя по дате на Тостере, мне ещё неделю назад пришла в голову такая мысль но я ничего не смогла нарыть по этому поводу. Хорошо, подскажите мне тогда как узнать истинный прямой адрес или это просто невозможно? ОФФТОПИК: признавайтесь, сколько сейчас человек сидят с попкорном?

Я обращаюсь не к тем ссылкам которые Вы предположили, я обращаюсь именно к прямым ссылкам где разные поддомены. На тех страницах нет никаких скриптов да и быть не может, там просто тупо картинка в исходном коде и всё. То что Вы говорите что там где-то есть скрипты, да они есть на пути к оригиналу, но это если переходить по сайту но я этого не делаю и скрипты меня эти не видят, я обращаюсь сразу тупо по прямым и лимит всё равно как-то вычисляется. Когда парсер собирал прямые ссылки он собирал сначала ссылки на превью и потом с помощью str_replace заменял значения в строке что приводило на выходе к самой наипремейшей ссылке на ту или иную картинку. Закономерности есть везде! Не считайте меня такой уж прям глупой - это всё давно уже пройдено то что Вы говорите и сайт изучен вдоль и поперёк но ответ так и не был найден. Отбрости всё, все скрипты и всё такое. По факту есть ссылка - она прямая. Я на неё захожу - опа, картинка есть. Я обновляю страницу - опа, опять она есть. Я делаю так примерно 60 раз - опа, пустота. Вот такие вот пироги. Скриптов нет. Как? Я не понимаю!

Отправила в л.с..

Получается что вроде как способ есть, но если брать во внимание сколько этой графики в общем количестве нужно взять (а ещё некоторые картинки достигают размера аж в 30 мб) то таким способом практически невозможно пользоваться. Я уже молчу про то что не всегда парсинг графики идёт замечательно, бывает картинки не до конца загружаются по непонятной опять же для меня причине и внизу появляются серые полосы и при таком количестве этого будет я думаю очень много. В общем всё сложно. Вчера пробовала топовый буржуйский сайт по этой тематики парсить (на нём даже ещё больше этой графики) и Вы знаете, та всё замечательно прошло и было бы вообще всё замечательно но хлебные крошки там не такие качественные и их не так много у каждой картинки, ну а без них сами понимаете, смысла в голых картинках мало. В любом случаи Вам огромное спасибо за то что не остались равнодушны!

Как думаете, я за 10 лет сумею спарсить то что мне нужно таким образом? Речь идёт не по 1.000 картинок, не про 2 и не про 3, их около 600.000! Это конечно единственный вариант - то что Вы предлагаете, но он очень кропотливый и долгий, по этому я его не рассматриваю, по этому я и написала что "никак не обойти" потому что это не обход защиты как таковой! Есть ещё вариант с ножом но по моему это не тот случай где нужно его применять. Я имею ввиду взять нож, приехать к дата центру ну и Вы понимаете... ВСЕМ СТОЯТЬ! ЭТО ОГРАБЛЕНИЕ! ДОСТАВАЙТЕ ВСЕ КАРТИНКИ ВОН С ТОГО СЕРВЕРА, БЫСТРО! Ну а если серьёзно, кто-нибудь может мне объяснить как такое возможно... что есть самая наипремейшая ссылка которая ведёт на картинку, но через какое-то время эта же ссылка уже не показывает эту картинку, как такое возможно? Если не заходить в течении дня на сайт и не лазить по нему а только пытаться брать картинки по прямым ссылкам которые заранее были собраны то всё равно защита крутить этот счётчик лимита. Как сервер может такое делать если я обращаюсь к страницам на которых нет никаких скриптов, ничего нет кроме одной картинки. Я вот этого понять не могу.

Вот и там тоже говорили - Тор. Я согласна что он помогает но он такой медленный что работать с ним - одни муки. Что лично Вы имеете ввиду под связкой Тора и Пхп?

Там не всё так просто, парсю Курлом и библиотекой simple_html_dom. Помогает только прокси но в моём случаи если посчитать то их нужно более 6.000 штук что невозможно. Просто картинка открывается по прямой ссылке, если запрашивать её до тех пор пока лимит не исчерпан то она и дальше будет открываться, после окончания лимита там становится просто пустота. Слипы, юзерагенты и реферреры это всё фигня полная! В общем мне даже на Тостере никто не смог помочь и я уже поняла что никак это не обойти.

Здравствуйте! Если сайт который я пытаюсь парсить и у меня есть прямые ссылки на все файлы которые мне нужны с этого сайта и которые были собраны заранее (все файлы графические - jpg). На сайте какая-то защита, существует конкретное число файлов которые можно скачивать с него а если идёт превышение то по этим прямым ссылка открывается просто пустота. Как такое может быть если я обращаюсь по прямым ссылкам, что сейчас по этой ссылке графика, а потом пустота? Как обойти такое ограничение? P.S. У меня нет нормальных прокси а всё что пробовала - очень тормозное но тем не менее через них всё работает какое-то время и каждый лимит нужно просто менять прокси но речь идёт про огромное количество файлов и такой способ просто не подходит. Как обойти эту защиту? Помогите советом пожалуйста! Спасибо!

Задача решена! С помощью Curl забираю картинку и потом через file_put_contents её сохраняю! Вы меня на доли секунды обогнали

Здравствуйте! Искала ответ - находила, пробовала - не работает, надеюсь что здесь помогут! Как скачать картинку по прямой ссылке с https помимо способа с file_get_contents'ом? Что я только не читала, и включала и отключала в php.ini - не хочет эта функция у меня скачивать с https, ну а с http конечно же всё замечательно! У меня OpenServer последний версии и может кто подскажет как сделать так чтобы работало или посоветует какой-либо другой способ? Спасибо!

Удивительно, он ещё говорит что не нашёл favicon когда в Метрике она есть и прекрасно показывается, она просто лежит в корне. В общем с обновлением интерфейса Яндекс вебмастера я думаю все эти глюки и связаны, где-то у них в механизме явно появились баги. Спасибо!

Здравствуйте, у одного из моих сайтов на хостинге находится файл robots.txt с таким содержимым: User-agent: * Disallow: /graphics/ Disallow: /*.jpg$ и мне нужно было сделать запрет на индексирование всей графики в конкретной папке и вообще всех jpg. Думала что я правильно всё сделала но вот сегодня пришло письмо от Яндекс вебмастера в котором говорится о том что сайт полностью запрещён к индексированию в robots.txt. Это ошибка со стороны Яндекса и нужно писать им или у меня действительно не правильно заполнен этот файл для решения своей задачи? Спасибо!