Нужно доработать скрипт. Раньше работал, теперь сайт определяет что это бот и блокирует запросы.
https://www.scraperapi.com/blog/5-tips-for-web-scraping/
Нужно сделать из этой статьи:
3) Set Other Request Headers
4) Set Random Intervals In Between Your Requests
Сейчас интервал фиксированный, например каждую минуту запрос, а нужно сделать что бы рандомный в диапазоне от 1 минуты до 2
5) Set a Referrer
Установить, что я попал на страницу с гугл.
Есть скрипт для обработки данных на одном сайте. Написан просто, работал отлично и этого хватало.
Сейчас сайт ввел какую-то защиту от роботов и сайт блокирует дорступ через какое то время, а потом опять пускает и после опять блокирует. Использовал для каждого запроса разный прокси с интервалом.
Сейчас нужно добавить в скрипт замену user-agent, поставить рефералы, обеспечить сменяймость отпечатка браузера.
Вообщем сделать по уму.
ТЗ есть, пишите, скину.
Є готовий скрипт, який відпрацьовує процес на сайті та після кількох відпрацювань сайт блокує доступ у процесі роботи скрипту. Використовуються різні IP на кожен запит.
Потрібно виявити та усунути причину блокування.
Використовується nodejs puppeteer
Добрый день. Есть сайт, на которые я делаю запросы каждые 20 секунд через node.js.
Ip адреса меняются постоянно, но сайт как то определяет что это робот, закрывает доступ и через время опять начинает работать.
Нудно сделать так, что бы скрипт работал так, что бы у защиты сайта было минимум возможностей определить, что используется бот.
Есть сайт и готовый скрипт под него, заходит раз в 4 минуты и проверяет наличие обновлений. Скрипт рабочий, пробдема в том, что если ставить заход меньше 4 минут, то пишет "Too many requests" на самом сайте. То есть с одного ip адреса не часто можно заходить, а мне нужно что бы этого ограничения не было.
Реклама сайта evolventalux.com
1) Базовое СЕО (единоразово)
2) Контекстная реклама в гугл адвордс для Россия, Украина
3) Настройка Яндекс Директ
4) Контекстная реклама англоязычной версии сайта для стран ЕС
Возможно дальнейшее сотрудничество. Цены пишите по пунктам, так как будем двигаться постепенно. Если у вас нет отзывов - не оставляйте заявки, не интересно сразу.
Тема Real Estate 3.0.
ТЗ:
1) Сделать форму для получения заявок
2) Добавить объекты (от 50 шт)
3) Должна быть возможность в дальнейшем добавлять объекты самостоятельно через админку.
Skype iluha0906 . Сначала скидывайте ссылку на портфолио, а потом свое предложение.
На сайте soaprana.com нужно доделать корзину.(Корзина реальзована на jQuerry + php обработчик, плагин jQcart). Нужно что бы цена менялась в зависимости от количества.
1) Если количество больше или равно двух, то цена за единицу товара на 1.35 меньше
2) По умолчанию к Total cost должно суммироватся posting + packaging 1.99 фунтов(на весь заказ). Если сумма заказа больше 20 то доставка бесплатная.
3) Нужно добавить возможность оплаты в PayPal.
1) Исправить ошибки в постраничной навигации на сайте(Переходы работают, но постоянно нужно пролистывать сверху страницы, а необходимо что бы работало внутри раздела с продуктами)
2) Исправить ошибку в мобильном меню(При переходе по якорным ссылкам меню не сворачивается)