Scrapy и ротация прокси: middleware и повторы

Один адрес и два способа его задать

Ротационный прокси — это один HOST и PORT с логином и паролем; IP выхода меняется на стороне сервиса, список IP вести не нужно. Scrapy берёт прокси из ключа meta proxy, а логин и пароль можно указать в URL: http://username:password@some_proxy_server:port. Значение в meta приоритетнее переменных окружения http_proxy и https_proxy.

Если прокси нужен только части запросов, задавайте его в нужных Request; если всем — используйте небольшой downloader middleware. Переменные окружения и спецсимволы в пароле разобраны в руководстве по настройке прокси в Scrapy; эта страница — про ротацию и повторы.

• настройка прокси в Scrapy
• прокси в Python requests

• Источники:
• Документация Scrapy: Downloader Middleware
• Факты о продуктах Proxy302 и прайс

Downloader middleware, который задаёт прокси

# middlewares.py
class ProxyMiddleware:
    def process_request(self, request, spider):
        # Only set it when the request does not carry its own proxy.
        request.meta.setdefault("proxy", "http://LOGIN:PASSWORD@HOST:PORT")

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.ProxyMiddleware": 350,
}

Только пример. Приоритет 350 срабатывает раньше встроенного HttpProxyMiddleware, который читает значение из meta.

• Источники:
• Документация Scrapy: Downloader Middleware

Ротация — это не один IP на запрос

Ротационный адрес даёт новый IP на каждое новое подключение. Scrapy может держать соединение открытым и посылать по нему несколько запросов, поэтому несколько запросов могут идти с одного IP. Не предполагайте «один IP на запрос»: запишите IP выхода в лог, как в пауке ниже, и потом решайте.

Если задача должна остаться на одном адресе, например вход и несколько страниц после него, создайте прокси в режиме одного IP («Выбор региона / липкий IP») и держите эти запросы вместе. Для независимых страниц подойдёт режим «Выбор региона / новый IP на соединение».

• ротация и фиксированная сессия

• Источники:
• Факты о продуктах Proxy302 и прайс

Паук, который печатает IP выхода

import scrapy

PROXY = "http://LOGIN:PASSWORD@HOST:PORT"

class IpCheckSpider(scrapy.Spider):
    name = "ip_check"

    def start_requests(self):
        for i in range(5):
            yield scrapy.Request(
                "https://ipinfo.io/ip?n=%d" % i,
                meta={"proxy": PROXY, "max_retry_times": 3},
                dont_filter=True,
            )

    def parse(self, response):
        self.logger.info("exit IP: %s", response.text.strip())

Только пример. Подставьте прокси из «Мои активы», запустите scrapy crawl ip_check и прочитайте IP в логе. start_requests остаётся классической точкой входа; в новых версиях Scrapy есть ещё асинхронный start().

• Источники:
• Документация Scrapy: Downloader Middleware

Какие коды ответа повторять

Источник: документация Scrapy по downloader middleware (RETRY_HTTP_CODES по умолчанию), прочитана 12.11.2026; колонка «Что делать» — рекомендация. В разных версиях Scrapy значения могут отличаться.

• Источники:
• Документация Scrapy: Downloader Middleware
• MDN: 429 Too Many Requests

Настройки повторов и «вежливости»

# settings.py
ROBOTSTXT_OBEY = True
DOWNLOAD_TIMEOUT = 30

# retries (the documented defaults)
RETRY_ENABLED = True
RETRY_TIMES = 2                      # extra tries after the first download
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]

# be gentle with the target site
DOWNLOAD_DELAY = 1.0
CONCURRENT_REQUESTS_PER_DOMAIN = 4
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 1.0
AUTOTHROTTLE_MAX_DELAY = 30.0
AUTOTHROTTLE_TARGET_CONCURRENCY = 2.0

Только пример. RETRY_TIMES — число дополнительных попыток после первой загрузки. Для отдельного запроса можно задать meta["max_retry_times"] или meta["dont_retry"] = True, чтобы пропустить повторы.

• Источники:
• Документация Scrapy: Downloader Middleware
• Документация Scrapy: расширение AutoThrottle
• Документация Scrapy: Settings

AutoThrottle и задержки

AutoThrottle по умолчанию выключен. Включённый, он считает задержку по скорости ответов сайта, не опускается ниже DOWNLOAD_DELAY, а ответы не 200 не могут её сократить — при ошибках сбор замедляется, а не ускоряется. По умолчанию START_DELAY равен 5.0, MAX_DELAY 60.0, TARGET_CONCURRENCY 1.0.

Оставьте ROBOTSTXT_OBEY включённым, задайте DOWNLOAD_DELAY и CONCURRENT_REQUESTS_PER_DOMAIN явно, не полагаясь на значения по умолчанию, и прочитайте условия сайта. Прокси меняет, откуда идут запросы, но не меняет, сколько запросов выдержит сайт.

• Источники:
• Документация Scrapy: расширение AutoThrottle
• Документация Scrapy: Settings

Настройка за четыре шага

1. Шаг 1. Создайте прокси

   На странице динамических резидентных прокси выберите страну, режим выхода и HTTP или SOCKS5, затем создайте. HTTP использует порт 2222, SOCKS5 — порт 3333.

   • страница динамических резидентных прокси

2. Шаг 2. Добавьте прокси

   Скопируйте HOST, PORT, LOGIN и PASSWORD из «Мои активы» и задайте meta["proxy"] или подключите middleware.

   • настройка прокси в Scrapy

3. Шаг 3. Проверьте IP выхода

   Запустите паука ip_check и прочитайте пять IP в логе.

   Ожидаемый результат Пять IP из выбранной страны.

4. Шаг 4. Добавьте настройки повторов и задержек

   Вставьте настройки, запустите небольшой сбор и посмотрите число повторов и ответов 429 в статистике Scrapy в конце.

Диагностика

Частые вопросы

Что почитать дальше

Настройка прокси в Scrapy

Как использовать HTTP-прокси в Scrapy через meta запроса, downloader middleware или переменные окружения и проверить выходной IP.

Прокси в Python requests

Как использовать HTTP- и SOCKS5-прокси в Python requests: примеры, таймауты и проверка IP.

Ротация или липкая сессия

Три варианта «Режима выхода» решают, держит ли резидентный прокси один IP или меняет его; новые прокси стартуют с липкого.

Динамические прокси дата-центра (США)

IP дата-центров США по $0,40/ГБ: новый IP на каждое новое подключение из большого пула. HTTP и SOCKS5, пакеты покупать не нужно.

Посмотреть параметры и цену