Парсер

[exqui]

В последнее время очень выросла суточная аудитория сайта (на 70%), но кол-во заявок в каталоге выросло всего на 5-10%. На сайте очень хороший, проработанный каталог некой продукции и возникла мысль, что может кто-то юзает парсер...обидно однако. К тому же ежедневно просматривают абсолютно все позиции каталога, хотя многие совсем не актуальны...есть способ проверить, парсит ли кто-то мой сайт?

[Vlad]

Логи смотреть надо и отыскивать строки user-agent.

[gradus]

Проверить то можно попробывать , а вот защищать от открытого просмотра нет.

А ловить можно проверив http заголовки на валидность , так же применить js т.к. парсер его не запустит

Edited January 16, 2011 by gradus

[exqui]

Где смотреть-то эти логи?

[Vlad]

У хостера надо спрашивать, от него зависит, куда он их складывает. Есть еще утилиты для просмотра и анализа логов, но это тоже к хостеру.

[exqui]

Да, уже отправил запрос хостеру, позже отпишусь о результате.

[Int]

Можно для каждого ip считать, например, за какое время он открыл последние 20 страниц, если это время меньше, допустим, 5 секунд, банить по ip или выдавать фейковые страницы =)

[Veseloff]

В последнее время очень выросла суточная аудитория сайта (на 70%)

откуда данные? Если какой-нибудь ливинтернет или яндекс-метрика, то они не считают программы-парсеры за посетителей.

[exqui]

Метрика. Получил я лог 10меговый, что смотреть нехорошего в строках user-agent?

[Int]

нужен анализатор, который покажет с каких ip за последние сутки было больше всего заходов. user-agent может маскироваться подо что угодно. Ну а вообще, смотреть всё, что отличается от браузеров.