Прокси для парсинга: как выбрать тип, ротацию и настроить проверку

Что такое парсинг и когда нужен прокси

Парсинг — это автоматический сбор данных со страниц сайта. Прокси нужен, когда запросы должны уходить с другого адреса: например, чтобы увидеть страницу так, как её видит пользователь из другой страны, или чтобы разнести запросы по нескольким адресам. Если у сайта есть официальный API с нужными данными, часто проще и надёжнее использовать его: прокси тогда может не понадобиться.

Сначала правила сайта

Прокси меняет только адрес, который видит сайт. Правила сайта остаются в силе. Прочитайте условия использования и файл robots.txt. Стандарт RFC 9309 описывает robots.txt как набор правил, которые краулерам предложено соблюдать; файл должен лежать по пути /robots.txt. В стандарте прямо сказано, что эти правила не являются формой авторизации доступа. Там же описано, как поступать при ошибках: если файл недоступен с кодом 4xx, краулер может обращаться к любым ресурсам, а если он недоступен из-за ошибки сервера (5xx), краулер должен считать, что доступ полностью закрыт.

• Источники:
• RFC 9309: Robots Exclusion Protocol

Типы прокси для сбора данных

• Ротационные резидентные прокси: адрес меняется, оплата обычно за ГБ. Подходят для большого числа независимых запросов к разным страницам. • Статические ISP: один адрес фиксирован на весь срок аренды и не ротируется. Подходят, когда нужен один и тот же адрес в течение срока. Статические ISP IP, арендованные на 30 дней и дольше, — выделенные. • Прокси дата-центра: адрес принадлежит дата-центру.

Различия между ними подробно разобраны в сравнении резидентных, ISP и дата-центр прокси, здесь мы их не повторяем. Подробности о ротационных — на странице ротационных резидентных прокси, о статических — на странице статических резидентных прокси.

• сравнении резидентных, ISP и дата-центр прокси
• ротационных резидентных прокси
• статических резидентных прокси

Ротация или фиксированный адрес

Ротация распределяет запросы между многими адресами. Фиксированный адрес удобен, когда нужно сохранить сессию на одном адресе, например при входе в личный кабинет. Выбирайте по задаче: для редких независимых запросов подойдёт ротация, для работы в рамках одной сессии — фиксированный адрес.

HTTP или SOCKS5

Большинство библиотек для парсинга одинаково умеют работать с HTTP-прокси. SOCKS5 нужен, если программа или библиотека поддерживает именно его. Проверьте документацию своего инструмента: например, в Scrapy поддержка SOCKS зависит от обработчика загрузки, см. руководство по прокси в Scrapy.

• руководство по прокси в Scrapy

Чек-лист выбора

1. Шаг 1

   Единица оплаты: за ГБ или за IP с арендой на срок.

2. Шаг 2

   Минимальный заказ: например, 1 ГБ трафика или один IP на один день.

3. Шаг 3

   Геотаргетинг: страны и, если нужно, города.

4. Шаг 4

   Протокол: HTTP или SOCKS5 и то, как он выбирается.

5. Шаг 5

   Проверка до запуска: купите минимум, пропустите через прокси один запрос на https://ipinfo.io/json и проверьте поля country и org.

Как проверить прокси и задать его в коде

Откройте https://ipinfo.io/json через прокси и убедитесь, что страна и сеть соответствуют ожиданиям; как читать поля, объясняет руководство по проверке местоположения прокси. Адрес, порт, логин и пароль описаны в руководстве по данным прокси.

Документация Requests сообщает, что прокси передаётся в аргумент proxies, и советует задавать тайм-аут для большинства запросов к внешним серверам: без него код может зависнуть надолго. Более подробно — в руководстве по requests.

• руководство по проверке местоположения прокси
• руководстве по данным прокси
• руководстве по requests

Как проверить прокси и задать его в коде: пример

import requests

proxy = "http://USERNAME:PASSWORD@proxy-host:port"
proxies = {"http": proxy, "https": proxy}

r = requests.get("https://ipinfo.io/json", proxies=proxies, timeout=(5, 20))
print(r.json())

Замените USERNAME, PASSWORD, proxy-host и port данными вашего прокси.

• Источники:
• Документация Requests: Advanced Usage (прокси и тайм-ауты)

Аккуратная нагрузка на сайт

Парсер не должен перегружать сайт. В Scrapy настройка DOWNLOAD_DELAY задаёт минимальную паузу между двумя запросами к одному домену, а документация поясняет, что она нужна, чтобы не нагружать серверы слишком сильно. Расширение AutoThrottle динамически подбирает паузы по времени ответа сайта. Параметр ROBOTSTXT_OBEY заставляет Scrapy соблюдать robots.txt. Такие же принципы применимы и в других инструментах: пауза между запросами, ограничение параллельности и тайм-ауты.

• Источники:
• Документация Scrapy: Settings
• Документация Scrapy: расширение AutoThrottle

Типичные ошибки

Код 407 означает, что прокси не принял логин и пароль: скопируйте данные заново и проверьте кодирование специальных символов, см. руководство по ошибке 407. Тайм-аут обычно указывает на неверный порт или тип протокола; проверки перечислены в руководстве по сбоям подключения.

• руководство по ошибке 407
• руководстве по сбоям подключения

Как это сделать с Proxy302

Любому из этих инструментов нужны только адрес, порт, логин и пароль прокси Proxy302. Трафик ротационных резидентных прокси оплачивается за ГБ, страна выхода задаётся при создании прокси; HTTP — порт 2222, SOCKS5 — порт 3333 на proxy.proxy302.com. Статический ISP IP фиксирован на весь срок аренды и не ротируется. В таблице — выходы в 7 странах при нашей последней почасовой проверке; зонд отправляет запрос к ChatGPT, это лишь пример целевого сайта. Подробности — на странице ротационных резидентных прокси и в руководстве по проверке местоположения прокси.

• странице ротационных резидентных прокси
• руководстве по проверке местоположения прокси

Измеренные выходы: ChatGPT, 7 стран

Почасовая проверка зонда Proxy302, 28 октября 2026, 14:56 UTC: по одному запросу к ChatGPT из каждой страны через динамический резидентный выход, по публичной точке входа Proxy302. Публично показаны только первые три октета IP. Один замер на страну, не среднее; следующие проверки будут отличаться.

• Источники:
• Почасовая проверка связности Proxy302

Как это сделать с Proxy302: шаги

1. Шаг 1

   Откройте страницу ротационных резидентных прокси, выберите линию, оставьте протокол HTTP или выберите SOCKS5 и нажмите «Проверить цену и создать».

2. Шаг 2

   Откройте «Мои активы» (раздел консоли со всем, что вы купили) и скопируйте HOST, PORT, USERNAME и PASSWORD. На странице «Подключение» есть готовый пример с вашими данными.

3. Шаг 3

   Введите данные в браузер или программу, которую вы настраиваете.

4. Шаг 4

   Подтвердите выход запросом к https://ipinfo.io/json через прокси.

5. Шаг 5

   Из материкового Китая сначала запустите вспомогательную программу на странице «Подключение» и держите её открытой, пока работает прокси.

   • Руководство по вспомогательной программе

Цены и ограничения

Бюджетная линия стоит $1,50 за ГБ, $1,35 за ГБ в пакете 100 ГБ и $1,20 за ГБ при 300 ГБ. Бесплатного пробного периода нет, а минимальная покупка составляет 1 ГБ. Набор доступных локаций меняется ежедневно.

• Источники:
• Факты о продуктах и прайс Proxy302

Частые вопросы

Читайте дальше

Адрес, порт, логин и пароль прокси

Каждый рабочий прокси описывается пятью базовыми полями: протокол, адрес хоста, порт, логин и пароль.

Как проверить прокси: IP, страна, провайдер

Как за 30 секунд проверить IP, страну и провайдера прокси, почему сервисы расходятся в городе и что значит «чистота» IP. С нашей проверкой трёх сервисов.

Ротируемые резидентные прокси

Реальные домашние IP в 195+ странах с выбором региона и города. Смена IP на каждый запрос или липкие сессии. От $1,50/ГБ, $1,35/ГБ при 100 ГБ. HTTP и SOCKS5.

Посмотреть параметры и цену

Статические ISP-прокси

Фиксированные статические ISP-прокси: IP резидентного уровня, неизменный весь срок. Для аккаунтов в соцсетях, магазинов и AI-сервисов. HTTP и SOCKS5.

Посмотреть параметры и цену

Прокси в Python requests

Как использовать HTTP- и SOCKS5-прокси в Python requests: примеры, таймауты и проверка IP.

Настройка прокси в Scrapy

Как использовать HTTP-прокси в Scrapy через meta запроса, downloader middleware или переменные окружения и проверить выходной IP.

Резидентные, ISP или серверные прокси

Чем отличаются ротируемые резидентные, статические ISP и серверные прокси: чей IP, меняется ли он, как оплачивается — и что выбирают пресеты Proxy302 под каждую задачу.