К содержимому

Обновлено

Прокси для парсинга вакансий Indeed и Glassdoor

  1. Для публичных вакансий Indeed и Glassdoor берите ротируемый резидентный прокси в стране того сайта, который читаете, а для сравнения местных рынков ещё и город: $1,50 за ГБ на Бюджетной линии (уровень страны) и $5 за ГБ на Премиум-линии (штат или город).
  2. Оба файла robots.txt закрывают часть путей, например страницы отдельных вакансий на Indeed и внутренний поиск Glassdoor, поэтому сверьте точные URL и работайте медленно.
  3. Прокси меняет, откуда идут запросы, а не то, что вам разрешено собирать.

Проверьте сразу после покупкиПример вывода

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
Совпадает с выбранной страной
День 15
203.0.113.24
Тот же адрес весь срок
Адреса для примера (203.0.113.0/24), не реальные выходы
01 / 08Почему для вакансий важны страна и город

Сайты вакансий различаются по странам: выберите страну выхода, держите медленный темп и смотрите, что закрывает robots.txt.

Почему для вакансий важны страна и город

Сайты вакансий выдают разные объявления, валюты зарплат и языки в зависимости от версии сайта и местоположения посетителя. Один и тот же поиск из двух стран может дать разную выдачу, так что страна выхода входит в определение ваших данных.

Поставьте страну прокси, совпадающую с анализируемым рынком, и держите по подключению на рынок. Для сравнения по городам нужна Премиум-линия: там можно выбрать штат или город; Бюджетная работает только на уровне страны. В России и Сингапуре таргетинга по городам у ротируемых резидентных прокси нет.

Что было в robots.txt, когда мы его открыли

Что было в robots.txt, когда мы его открыли
ПунктЧто прочиталиЧто это значит для скрипта
Indeed (indeed.com)Для всех краулеров (*): группа начинается с Allow: /, затем запрещены /viewjob, /rc/, /company/*, несколько путей /cmp/ с отзывами (например /cmp/*/write-review) и пути обзора /jobs/ с кодом страны или названием; строки crawl-delay нетПути страниц отдельных вакансий закрыты; проверьте, какие именно URL вы запрашиваете, и держите медленный темп
Glassdoor (glassdoor.com)Для всех краулеров (*): запрещены /search/, /jobview/, /ajax/, /profile/ и несколько путей /partners/, а также некоторые шаблоны URL /Job/ и /Reviews/; строки crawl-delay нетВнутренний поиск и ajax-пути закрыты для краулеров; читайте только то, что файл оставляет открытым, а на остальном возможна авторизация

Источники: robots.txt сайтов indeed.com и glassdoor.com, открыты 20 ноября 2026. У региональных версий файлы отличаются и часто меняются; читайте тот, что относится к вашему сайту. Это не юридическая консультация, условия сайтов могут говорить больше.

Сессия, темп и правила работы с данными

Прочитать страницу выдачи и перейти к следующей — короткий сценарий: сессия на 10 или 30 минут на Бюджетной линии удерживает один IP на всё время, а без сессии каждое новое соединение получает новый IP. Число одновременных соединений не ограничено, но идите медленно: для начала один запрос в несколько секунд на сайт.

Собирайте только публичные данные объявлений. Не входите в аккаунт ради лишних данных, не собирайте персональные данные соискателей и авторов отзывов, при 429 или повторных проверках остановитесь, а не добавляйте IP. Рядом с каждой вакансией храните URL источника и дату сбора: работодатели удаляют и правят объявления.

Проверить robots.txt для своих URL, страну выхода и медленно получить страницы

import time
import urllib.robotparser
import requests

# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-jobs-research/1.0 (contact: you@example.com)"
CHECKS = [
    ("https://www.indeed.com", "/jobs?q=data+analyst&l=Austin%2C+TX"),
    ("https://www.glassdoor.com", "/Job/austin-data-analyst-jobs-SRCH_IL.0,6_IC1139761_KO7,19.htm"),
]  # replace with the public pages you are allowed to read

print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))

for site, path in CHECKS:
    rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
    rp.read()
    if not rp.can_fetch(UA, site + path):
        print("robots.txt says no:", site + path)
        continue
    r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
    print(site + path, r.status_code, len(r.text))
    time.sleep(5)  # keep the pace slow; stop on 429 or a check page

Пример: замените LOGIN, PASSWORD, контактный адрес и два пути. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.

Настройка за 4 шага

  1. Шаг 1: Выберите линию

    Откройте «Ротируемые резидентные прокси». Для данных по всей стране — Бюджетная линия ($1,50 за ГБ, уровень страны), для штата или города — Премиум-линия ($5 за ГБ).

  2. Шаг 2: Одно подключение на рынок

    Выберите страну (на Премиум-линии и город) и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».

  3. Шаг 3: Проверьте выход

    Запустите скрипт выше или откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.

  4. Шаг 4: Работайте медленно и сохраняйте дату

    Берите только URL, которые robots.txt оставляет открытыми, делайте паузы и сохраняйте URL вакансии, рынок и дату.

Быстрые решения

Появилась страница проверки или HTTP 403

Проверьте Запросы слишком быстрые или слишком однообразные, либо этот URL сайт защищает.

Решение Снизьте темп, уменьшите параллельность и сверьте URL с robots.txt; не меняйте IP, чтобы пробиться.

Результаты отличаются от того, что видно в браузере

Проверьте Страна или город выхода не совпадают с местоположением браузера.

Решение Проверьте выход на ipinfo.io и поставьте ту же страну (на Премиум-линии и город).

Python показывает ошибку SOCKS-прокси

Проверьте Не установлен requests[socks].

Решение Выполните python -m pip install "requests[socks]" или используйте HTTP-линию на порту 2222.

Частые вопросы о данных вакансий

Какой прокси для парсинга Indeed?

Ротируемый резидентный в стране нужного сайта Indeed, от $1,50 за ГБ. Сначала сверьте точные URL с robots.txt: пути отдельных вакансий там закрыты.

Разрешает ли Glassdoor парсинг?

В его robots.txt для краулеров закрыты /search/, /jobview/ и ajax-пути, а условия сайта могут говорить больше. Прочитайте оба документа до сбора.

Нужны ли IP уровня города?

Только для сравнения местных рынков. На Премиум-линии можно выбрать штат или город; для данных по стране хватает Бюджетной.

Сколько ГБ нужно для проекта по вакансиям?

Зависит от размера страниц и объёма; в руководстве по ГБ есть способ оценки.

Читайте также

Руководства Proxy302 на GitHub по той же теме:

Ссылки и источники

4
  1. Indeed (indeed.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Для всех краулеров (*): группа начинается с Allow: /, затем запрещены /viewjob, /rc/, /company/*, несколько путей /cmp/ с отзывами (например /cmp/*/write-review) и пути обзора /jobs/ с кодом страны или названием; строки crawl-delay нет

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  2. Glassdoor (glassdoor.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /search/, /jobview/, /ajax/, /profile/ и несколько путей /partners/, а также некоторые шаблоны URL /Job/ и /Reviews/; строки crawl-delay нет

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  3. Документация Requests: Advanced usage, Proxies

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.

  4. Продуктовые факты и прайс Proxy302

    Наблюдение за продуктом · Проверено:

    Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.

Готовы попробовать?

Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.