Настройка прокси в Scrapy: meta запроса, middleware и переменные окружения

Ключ proxy в meta

Документация Scrapy описывает HttpProxyMiddleware как компонент, который задаёт HTTP-прокси для запросов через значение proxy в meta объекта Request. Этот ключ можно задать самому, значением вроде http://some_proxy_server:port или http://username:password@some_proxy_server:port. Документация добавляет, что значение в запросе имеет приоритет над переменными окружения и что оно игнорирует no_proxy.

Ключ proxy в meta: пример

import scrapy

class IpSpider(scrapy.Spider):
    name = "ip"

    async def start(self):
        yield scrapy.Request(
            "https://ipinfo.io/json",
            meta={"proxy": "http://USERNAME:PASSWORD@proxy-host:port"},
        )

    def parse(self, response):
        yield response.json()

Замените USERNAME, PASSWORD, proxy-host и port значениями вашего прокси. Метод start() соответствует текущей документации Scrapy.

• Источники:
• Документация Scrapy: Downloader Middleware, HttpProxyMiddleware и RetryMiddleware
• Документация Scrapy: Requests and Responses

Один прокси для каждого запроса

Чтобы не повторять ключ meta, задайте его в downloader middleware. В документации сказано, что downloader middleware включается настройкой DOWNLOADER_MIDDLEWARES, где у каждого пути класса есть порядковый номер, и что process_request() вызывается для каждого запроса, который через него проходит.

Один прокси для каждого запроса: пример

# myproject/middlewares.py
class ProxyMiddleware:
    def process_request(self, request):
        request.meta.setdefault("proxy", "http://USERNAME:PASSWORD@proxy-host:port")
        return None

Только пример: замените значения-заглушки своими.

Один прокси для каждого запроса: пример

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.ProxyMiddleware": 543,
}

Берите логин и пароль из переменной окружения или файла с секретами, а не пишите их в коде. Проверьте сигнатуру process_request() в документации той версии Scrapy, которую вы используете.

• Источники:
• Документация Scrapy: Downloader Middleware, HttpProxyMiddleware и RetryMiddleware

Переменные окружения

HttpProxyMiddleware, как и urllib.request в Python, учитывает переменные окружения http_proxy, https_proxy и no_proxy. Задайте их до запуска краулера, и код паука менять не придётся.

Переменные окружения: пример

export http_proxy="http://USERNAME:PASSWORD@proxy-host:port"
export https_proxy="http://USERNAME:PASSWORD@proxy-host:port"
scrapy crawl ip

Символы вроде @, : и / в пароле нужно кодировать с помощью процентного кодирования в URL прокси. См. [руководство об адресе, порте и логине прокси](/ru/guides/proxy-address-port-login/).

• Источники:
• Документация Scrapy: Downloader Middleware, HttpProxyMiddleware и RetryMiddleware

HTTP или SOCKS

Документация Scrapy сообщает, что URL SOCKS-прокси вроде socks5://username:password@some_proxy_server:port можно использовать, только если обработчик загрузки его поддерживает; из встроенных обработчиков она называет поддерживающим тот, что основан на httpx, а остальные встроенные обработчики не поддерживают. На той же странице отмечено, что URL прокси обычно используют схему http://. Для стандартного проекта Scrapy используйте HTTP-прокси. Если нужен SOCKS5, сначала выясните, какой обработчик загрузки вы используете, и прочитайте его документацию.

• Источники:
• Документация Scrapy: Downloader Middleware, HttpProxyMiddleware и RetryMiddleware

Проверьте, что прокси используется

Запустите паука выше и прочитайте поля country и org в ответе от https://ipinfo.io/json; как их читать, объясняет руководство по проверке местоположения прокси. Если вы видите свой собственный адрес, ключ meta не был задан для этого запроса или переменные окружения были заданы уже после старта краулера. Добавьте middleware, чтобы ключ был в каждом запросе.

• руководство по проверке местоположения прокси

Сделайте краулинг аккуратным

Прокси меняет адрес, который видит сайт, но правила сайта продолжают действовать. В Scrapy для этого есть настройки. В документации по настройкам сказано, что ROBOTSTXT_OBEY заставляет Scrapy соблюдать политики robots.txt и что она включена в settings.py, созданном командой scrapy startproject. DOWNLOAD_DELAY задаёт минимальное число секунд между двумя последовательными запросами к одному домену и нужна, чтобы не нагружать серверы слишком сильно, а CONCURRENT_REQUESTS_PER_DOMAIN ограничивает число одновременных запросов к домену. Расширение AutoThrottle динамически подстраивает задержки по времени загрузки, чтобы достичь целевой параллельности для каждого удалённого сайта. Перед краулингом сайта прочитайте его условия использования.

Сделайте краулинг аккуратным: пример

# settings.py
ROBOTSTXT_OBEY = True
DOWNLOAD_DELAY = 1
CONCURRENT_REQUESTS_PER_DOMAIN = 2
AUTOTHROTTLE_ENABLED = True

Эти значения — отправная точка; подберите числа, которые подходят сайту и вашей задаче.

• Источники:
• Документация Scrapy: Settings
• Документация Scrapy: расширение AutoThrottle

Частые ошибки

Статус 407 означает, что прокси не принял логин и пароль: скопируйте их заново и проверьте кодирование, затем см. руководство по ошибке аутентификации. Ошибки соединения и тайм-ауты обычно означают неверный хост, порт или схему; проверки перечислены в руководстве по сбою подключения. Документация описывает RetryMiddleware как повторяющий запросы, которые завершились сбоем по временным причинам, например из-за тайм-аута соединения или ошибки HTTP 500, поэтому несколько сбоев в логе не всегда означают проблему с прокси. Если вы собираете страницы обычными HTTP-вызовами, а не через Scrapy, см. руководство по Python requests.

• руководство по ошибке аутентификации
• руководстве по сбою подключения
• руководство по Python requests

• Источники:
• Документация Scrapy: Downloader Middleware, HttpProxyMiddleware и RetryMiddleware

Как это сделать с Proxy302

Для любой из этих настроек нужны только хост, порт, логин и пароль прокси Proxy302. Ротируемый резидентный трафик оплачивается за ГБ, а страна выхода задаётся при создании прокси; HTTP работает на порту 2222 хоста proxy.proxy302.com. Статический ISP IP остаётся фиксированным весь срок аренды и не ротируется. В таблице показаны выходы в 7 странах по нашей последней почасовой проверке; зонд отправляет запрос в ChatGPT, это лишь пример цели. Подробности — на странице ротируемых резидентных прокси и в руководстве по проверке местоположения прокси.

• странице ротируемых резидентных прокси
• руководстве по проверке местоположения прокси

Измеренные выходы: ChatGPT, 7 стран

Почасовая проверка зонда Proxy302, 28 октября 2026, 14:56 UTC: по одному запросу к ChatGPT из каждой страны через динамический резидентный выход, по публичной точке входа Proxy302. Публично показаны только первые три октета IP. Один замер на страну, не среднее; следующие проверки будут отличаться.

• Источники:
• Почасовая проверка связности Proxy302

Как это сделать с Proxy302: шаги

1. Шаг 1

   Откройте страницу ротационных резидентных прокси, выберите линию, оставьте протокол HTTP или выберите SOCKS5 и нажмите «Проверить цену и создать».

2. Шаг 2

   Откройте «Мои активы» (раздел консоли со всем, что вы купили) и скопируйте HOST, PORT, USERNAME и PASSWORD. На странице «Подключение» есть готовый пример с вашими данными.

3. Шаг 3

   Введите данные в браузер или программу, которую вы настраиваете.

4. Шаг 4

   Подтвердите выход запросом к https://ipinfo.io/json через прокси.

5. Шаг 5

   Из материкового Китая сначала запустите вспомогательную программу на странице «Подключение» и держите её открытой, пока работает прокси.

   • Руководство по вспомогательной программе

Цены и ограничения

Бюджетная линия стоит $1,50 за ГБ, $1,35 за ГБ в пакете 100 ГБ и $1,20 за ГБ при 300 ГБ. Бесплатного пробного периода нет, а минимальная покупка составляет 1 ГБ. Набор доступных локаций меняется ежедневно.

• Источники:
• Факты о продуктах и прайс Proxy302

Частые вопросы

Читайте дальше

Адрес, порт, логин и пароль прокси

Каждый рабочий прокси описывается пятью базовыми полями: протокол, адрес хоста, порт, логин и пароль.

Ошибка 407: требуется авторизация на прокси

Ответ HTTP 407 приходит от прокси-сервера, а не от сайта, который вы пытаетесь открыть.

ERR_PROXY_CONNECTION_FAILED: что проверить

Ошибка ERR_PROXY_CONNECTION_FAILED появляется в Chrome и Edge, когда браузер не может установить соединение с прокси-сервером.

Как проверить прокси: IP, страна, провайдер

Как за 30 секунд проверить IP, страну и провайдера прокси, почему сервисы расходятся в городе и что значит «чистота» IP. С нашей проверкой трёх сервисов.

Ротируемые резидентные прокси

Реальные домашние IP в 195+ странах с выбором региона и города. Смена IP на каждый запрос или липкие сессии. От $1,50/ГБ, $1,35/ГБ при 100 ГБ. HTTP и SOCKS5.

Посмотреть параметры и цену

Прокси в Python requests

Как использовать HTTP- и SOCKS5-прокси в Python requests: примеры, таймауты и проверка IP.