Распределите парсер по реальным домашним IP и платите за гигабайты, а не за адреса.
Сайты ограничивают число запросов с одного IP за период. Сверх лимита они отвечают HTTP 429 Too Many Requests, часто с заголовком Retry-After — сколько ждать. Парсер на одном серверном IP упирается в лимит задолго до конца каталога.
Блокируют не только по адресу: Cloudflare позволяет владельцам сайтов блокировать или проверять трафик по IP, по ASN (сети) и по стране. IP дата-центра делит ASN со всеми серверами того же хостинга, а резидентные выходы находятся в сетях домашних провайдеров.
Автоматического трафика уже больше, чем человеческого: по данным Cloudflare за июль 2026 года, больше половины интернет-трафика — не человеческий, а с июля 2025-го краулеры для обучения ИИ на новых доменах блокируются по умолчанию. Правила сайтов будут только строже — собирайте аккуратно: соблюдайте robots.txt и условия сайта, держите ровный темп и не скачивайте одну страницу дважды.
Используйте клавиши со стрелками для горизонтальной прокрутки.
| Критерий | Выбор | Почему |
|---|---|---|
| Продукт | Ротационный резидентный прокси | IP в сетях домашних провайдеров, оплата за ГБ |
| Линия | Бюджетная: US$1.50/ГБ, US$1.35/ГБ в пакете 100 ГБ | Самый низкий тариф за ГБ и единственная линия с «Глобальной ротацией»; премиум (US$5.00/ГБ) позволяет выбрать провайдера |
| Режим выхода | «Глобальная ротация» для каталогов; «Выбор региона / липкий IP» для одной страны, города или многошагового сценария | Глобальная ротация не фиксирует страну; липкая сессия держит один выход |
| Сколько прокси | По одному на поток, которому нужна своя страна или сессия | Все прокси одной линии расходуют её трафик — новые прокси не покупают новый трафик |
| Протокол | HTTP, порт 2222 (SOCKS5 — 3333) | HTTP работает в requests, httpx, Scrapy и браузерах без дополнительных пакетов |
| Сайты, которые пускают серверы | Статические IP дата-центра | За IP и срок, быстрее всего — выгоднее при больших объёмах |
Кнопка ниже открывает «Ротационные резидентные прокси» со сценарием «ИИ и автоматизация». Переключите линию на «Бюджетная», чтобы получить US$1.50/ГБ, до покупки трафика.
Используйте клавиши со стрелками для горизонтальной прокрутки.
| Критерий | Статический ISP | Ротационный резидентный | Дата-центр |
|---|---|---|---|
| Что вы получаете | Выделенный домашний IP, закреплённый за вами на весь срок | Реальные домашние IP: ротация выходов или липкая сессия в выбранной стране или городе | Быстрые фиксированные серверные IP, HTTP и SOCKS5 |
| Цена | За IP и срок — цена при оформлении | Бюджетная линия US$1.50/ГБ (US$1.35/ГБ в пакете 100 ГБ); премиум US$5.00/ГБ | За IP и срок — самый дешёвый IP |
| Лучше всего для парсинга | Парсинг со входом, которому нужен один IP | Открытые каталоги и сайты, которые блокируют серверы | API и сайты, которые пускают серверные IP |
Цены в долларах США. Пополните кошелёк один раз и оплачивайте из него любую линию. Автопродления нет — чтобы сохранить IP, продлите его в «Мои активы».
Кнопка ниже открывает «Ротационные резидентные прокси» со сценарием «ИИ и автоматизация». В «Линия» выберите «Бюджетная» (US$1.50/ГБ); «Премиум» (US$5.00/ГБ) добавляет «Провайдер (необязательно)».
Откройте «Добавить трафик», выберите пакет или «Свой объём (ГБ)» (от 1 ГБ) и нажмите «Купить выбранный пакет». Покупка трафика и создание прокси — отдельные действия.
В «Настройках подключения» выберите «Режим выхода»: «Глобальная ротация» или «Выбор региона / липкий IP» с регионом и городом. Протокол оставьте HTTP и нажмите «Проверить цену и создать».
В «Мои активы» кнопка «Копировать» даёт host:port:логин:пароль. Ваш PROXY_URL — http://ЛОГИН:ПАРОЛЬ@proxy.proxy302.com:2222; если в логине или пароле есть @ или :, закодируйте их для URL.
Код ниже передаёт прокси в каждый запрос, ждёт столько, сколько просит Retry-After, и держит ровный темп. В Scrapy укажите тот же адрес в request.meta['proxy'].
Ожидаемый результат Каждая страница отдаёт 200 через прокси; 429 повторяется после ожидания.
Используйте клавиши со стрелками для горизонтальной прокрутки.
# pip install requests
import os
import time
import requests
# Rotating residential, Exit mode "Global rotation": http://USER:[email protected]:2222
PROXY = os.environ["PROXY_URL"]
PROXIES = {"http": PROXY, "https": PROXY}
session = requests.Session()
def get(url, tries=4):
for attempt in range(tries):
# pass proxies on every call: Session.proxies loses to HTTP_PROXY / system proxy settings
r = session.get(url, proxies=PROXIES, timeout=30)
if r.status_code not in (429, 500, 502, 503, 504):
return r
retry_after = r.headers.get("Retry-After", "") # seconds the site asks you to wait
time.sleep(int(retry_after) if retry_after.isdigit() else 2 ** attempt)
return r
for url in ["https://example.com/catalog?page=1", "https://example.com/catalog?page=2"]:
r = get(url)
print(url, r.status_code, len(r.content), "bytes")
time.sleep(1) # keep a steady pace: rotation spreads load, it doesn't remove rate limitsПроверено 2026-10-18 (requests 2.33.1) на локальном прокси, который сначала отвечает 429 с Retry-After: обе страницы повторены после ожидания и вернули 200.
Проверьте На машине заданы HTTP_PROXY / HTTPS_PROXY или системный прокси? Указан только Session.proxies?
Решение Передавайте proxies= в каждый запрос (или session.trust_env = False): прокси из окружения перекрывают Session.proxies.
Проверьте В пароле внутри PROXY_URL есть незакодированные @, : или #?
Решение Закодируйте логин и пароль через urllib.parse.quote или скопируйте строку заново из «Мои активы».
Проверьте Сколько запросов в секунду уходит на один сайт? Соблюдается ли Retry-After?
Решение Снизьте параллельность, ждите сколько просят, кэшируйте уже скачанное; ротация распределяет нагрузку, но не отменяет лимиты сайта.
Проверьте Режим выхода — «Глобальная ротация» без фиксированной страны?
Решение Создайте прокси с «Выбор региона / липкий IP» и нужным регионом или городом.
Проверьте Вместе с HTML качаются картинки, шрифты и видео?
Решение Запрашивайте только HTML или JSON; в headless-браузере блокируйте изображения и медиа.
Ротационные резидентные — для сайтов, которые блокируют или проверяют серверные IP. Статические дата-центра — для сайтов, которые их пускают: быстрее и оплата за IP.
Ротационные резидентные: бюджетная линия US$1.50/ГБ, US$1.35/ГБ в пакете 100 ГБ; премиум — US$5.00/ГБ. Цены в долларах, оплата из кошелька.
Да: режим выхода «Выбор региона / липкий IP», затем регион и город. «Глобальная ротация» страну не фиксирует.
Ротационные резидентные — за ГБ. Новые прокси на той же линии не покупают дополнительный трафик: все они расходуют трафик линии.
Укажите request.meta['proxy'] = 'http://ЛОГИН:ПАРОЛЬ@proxy.proxy302.com:2222'. Его использует встроенный HttpProxyMiddleware, и он важнее переменных окружения http_proxy и https_proxy.
Зависит от того, что и где вы собираете. Ограничьтесь открытыми данными, соблюдайте условия сайта и robots.txt, не собирайте персональные данные и уточняйте свой случай у юриста.
Прокси для мониторинга цен конкурентов: цены, акции и доставка так, как их видят покупатели в каждой стране и городе. Ротационные резидентные от US$1.50/ГБ.
Посмотреть параметры и ценуПрокси для проверки позиций сайта в Google и Яндексе: выдача глазами пользователя из нужной страны и города, с проверкой каждой страницы.
Посмотреть параметры и ценуРеальные домашние IP в 195+ странах с выбором региона и города. Смена IP на каждый запрос или липкие сессии. От US$1.50/ГБ, US$1.35/ГБ при 100 ГБ. HTTP и SOCKS5.
Посмотреть параметры и ценуОфициальная документация · Проверено:
Официальная документация · Проверено:
Сторонний источник · Проверено:
Официальная документация · Проверено:
Официальная документация · Проверено:
Наблюдение за продуктом · Проверено:
Цены ротационных резидентных прокси за ГБ — по странице цен и консоли (бюджетная линия US$1.50/ГБ, US$1.35/ГБ в пакете 100 ГБ; премиум US$5.00/ГБ; 1 PTC = US$1). Статические ISP и IP дата-центра считаются при оформлении за IP и срок.
Наблюдение за продуктом · Проверено:
Названия опций, способы оплаты и ограничения — по рабочей консоли на 2026-10-18: Линия (Премиум / Бюджетная), Режим выхода, Регион, Город, Протокол (HTTP / SOCKS5), Количество (1–500), Срок, Автопродление IP (пока недоступно), Мои активы → Копировать / Сменить IP / Продлить / Копировать для ИИ. Ротационные резидентные прокси подключаются через proxy.proxy302.com:2222 (HTTP) и :3333 (SOCKS5).
Локальный пример · Проверено:
Код запущен 2026-10-18 через локальный HTTP-прокси с паролем (без верных данных отвечает 407); requests 2.33.1 в Windows с настроенным системным прокси. Стенд сначала отвечал на каждую страницу 429 с Retry-After: 1; код подождал, повторил запрос и получил 200 для обеих страниц. Когда был задан только Session.proxies, requests отправлял трафик в системный прокси машины — поэтому код передаёт proxies= в каждый вызов.
Локальная проверка подтверждает синтаксис и авторизацию, но не доступ к конкретному сайту, стране или платформе.
Создайте аккаунт, пополните баланс и выберите выход: ротируемый резидентский, статический ISP или дата-центр. Ротируемые резидентные — в 195+ странах и регионах.
