Появилась страница проверки или HTTP 403
Проверьте Запросы слишком быстрые или слишком однообразные, либо этот URL сайт защищает.
Решение Снизьте темп, уменьшите параллельность и сверьте URL с robots.txt; не меняйте IP, чтобы пробиться.
Обновлено
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
Сайты вакансий различаются по странам: выберите страну выхода, держите медленный темп и смотрите, что закрывает robots.txt.
Сайты вакансий выдают разные объявления, валюты зарплат и языки в зависимости от версии сайта и местоположения посетителя. Один и тот же поиск из двух стран может дать разную выдачу, так что страна выхода входит в определение ваших данных.
Поставьте страну прокси, совпадающую с анализируемым рынком, и держите по подключению на рынок. Для сравнения по городам нужна Премиум-линия: там можно выбрать штат или город; Бюджетная работает только на уровне страны. В России и Сингапуре таргетинга по городам у ротируемых резидентных прокси нет.
| Пункт | Что прочитали | Что это значит для скрипта |
|---|---|---|
| Indeed (indeed.com) | Для всех краулеров (*): группа начинается с Allow: /, затем запрещены /viewjob, /rc/, /company/*, несколько путей /cmp/ с отзывами (например /cmp/*/write-review) и пути обзора /jobs/ с кодом страны или названием; строки crawl-delay нет | Пути страниц отдельных вакансий закрыты; проверьте, какие именно URL вы запрашиваете, и держите медленный темп |
| Glassdoor (glassdoor.com) | Для всех краулеров (*): запрещены /search/, /jobview/, /ajax/, /profile/ и несколько путей /partners/, а также некоторые шаблоны URL /Job/ и /Reviews/; строки crawl-delay нет | Внутренний поиск и ajax-пути закрыты для краулеров; читайте только то, что файл оставляет открытым, а на остальном возможна авторизация |
Источники: robots.txt сайтов indeed.com и glassdoor.com, открыты 20 ноября 2026. У региональных версий файлы отличаются и часто меняются; читайте тот, что относится к вашему сайту. Это не юридическая консультация, условия сайтов могут говорить больше.
Прочитать страницу выдачи и перейти к следующей — короткий сценарий: сессия на 10 или 30 минут на Бюджетной линии удерживает один IP на всё время, а без сессии каждое новое соединение получает новый IP. Число одновременных соединений не ограничено, но идите медленно: для начала один запрос в несколько секунд на сайт.
Собирайте только публичные данные объявлений. Не входите в аккаунт ради лишних данных, не собирайте персональные данные соискателей и авторов отзывов, при 429 или повторных проверках остановитесь, а не добавляйте IP. Рядом с каждой вакансией храните URL источника и дату сбора: работодатели удаляют и правят объявления.
import time
import urllib.robotparser
import requests
# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-jobs-research/1.0 (contact: you@example.com)"
CHECKS = [
("https://www.indeed.com", "/jobs?q=data+analyst&l=Austin%2C+TX"),
("https://www.glassdoor.com", "/Job/austin-data-analyst-jobs-SRCH_IL.0,6_IC1139761_KO7,19.htm"),
] # replace with the public pages you are allowed to read
print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))
for site, path in CHECKS:
rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
rp.read()
if not rp.can_fetch(UA, site + path):
print("robots.txt says no:", site + path)
continue
r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(site + path, r.status_code, len(r.text))
time.sleep(5) # keep the pace slow; stop on 429 or a check page
Пример: замените LOGIN, PASSWORD, контактный адрес и два пути. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.
Откройте «Ротируемые резидентные прокси». Для данных по всей стране — Бюджетная линия ($1,50 за ГБ, уровень страны), для штата или города — Премиум-линия ($5 за ГБ).
Выберите страну (на Премиум-линии и город) и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».
Запустите скрипт выше или откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.
Берите только URL, которые robots.txt оставляет открытыми, делайте паузы и сохраняйте URL вакансии, рынок и дату.
Проверьте Запросы слишком быстрые или слишком однообразные, либо этот URL сайт защищает.
Решение Снизьте темп, уменьшите параллельность и сверьте URL с robots.txt; не меняйте IP, чтобы пробиться.
Проверьте Страна или город выхода не совпадают с местоположением браузера.
Решение Проверьте выход на ipinfo.io и поставьте ту же страну (на Премиум-линии и город).
Проверьте Не установлен requests[socks].
Решение Выполните python -m pip install "requests[socks]" или используйте HTTP-линию на порту 2222.
Ротируемый резидентный в стране нужного сайта Indeed, от $1,50 за ГБ. Сначала сверьте точные URL с robots.txt: пути отдельных вакансий там закрыты.
В его robots.txt для краулеров закрыты /search/, /jobview/ и ajax-пути, а условия сайта могут говорить больше. Прочитайте оба документа до сбора.
Только для сравнения местных рынков. На Премиум-линии можно выбрать штат или город; для данных по стране хватает Бюджетной.
Зависит от размера страниц и объёма; в руководстве по ГБ есть способ оценки.
Руководства Proxy302 на GitHub по той же теме:
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): группа начинается с Allow: /, затем запрещены /viewjob, /rc/, /company/*, несколько путей /cmp/ с отзывами (например /cmp/*/write-review) и пути обзора /jobs/ с кодом страны или названием; строки crawl-delay нет
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /search/, /jobview/, /ajax/, /profile/ и несколько путей /partners/, а также некоторые шаблоны URL /Job/ и /Reviews/; строки crawl-delay нет
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.
Наблюдение за продуктом · Проверено:
Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.
Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.