Scrapy 动态代理：中间件与重试规则

一个入口，两种写法

动态代理就是一个地址和端口加账号密码，出口 IP 由服务端轮换，不用自己管 IP 列表。Scrapy 从请求 meta 的 proxy 键读取代理，账号密码可以写在 URL 里：http://username:password@some_proxy_server:port。meta 的值优先于 http_proxy、https_proxy 环境变量。

只有部分请求要走代理，就写在对应的 Request 上；所有请求都要走，就用一个小的下载中间件。环境变量和密码里的特殊字符，已有的“Scrapy 代理设置”那篇讲过；这一篇讲轮换和重试。

• Scrapy 代理设置
• Python requests 代理设置

• 来源：
• Scrapy 文档：下载器中间件
• Proxy302 产品事实与价格表

设置代理的下载中间件

# middlewares.py
class ProxyMiddleware:
    def process_request(self, request, spider):
        # Only set it when the request does not carry its own proxy.
        request.meta.setdefault("proxy", "http://LOGIN:PASSWORD@HOST:PORT")

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.ProxyMiddleware": 350,
}

仅为示例。优先级 350 会先于内置的 HttpProxyMiddleware 运行，后者读取 meta 里的值。

• 来源：
• Scrapy 文档：下载器中间件

轮换不等于每个请求一个新 IP

动态入口在每个新连接上换 IP。Scrapy 可能让一条连接保持着，在上面连发几个请求，几个请求就可能共用一个 IP。别假设“一请求一 IP”：先用下面的爬虫把出口 IP 打到日志里，再做判断。

任务必须停在同一个地址上时，比如登录后再看几页，就生成“指定地区 / 保持 IP”的粘性模式，并把这些请求放在一起。互不相关的页面，用“指定地区 / 每次换 IP”模式。

• 轮换与粘性会话

• 来源：
• Proxy302 产品事实与价格表

打印出口 IP 的爬虫

import scrapy

PROXY = "http://LOGIN:PASSWORD@HOST:PORT"

class IpCheckSpider(scrapy.Spider):
    name = "ip_check"

    def start_requests(self):
        for i in range(5):
            yield scrapy.Request(
                "https://ipinfo.io/ip?n=%d" % i,
                meta={"proxy": PROXY, "max_retry_times": 3},
                dont_filter=True,
            )

    def parse(self, response):
        self.logger.info("exit IP: %s", response.text.strip())

仅为示例。填入“我的资产”里的代理，用 scrapy crawl ip_check 运行，看日志里的 IP。start_requests 仍是经典入口，新版 Scrapy 另有异步的 start()。

• 来源：
• Scrapy 文档：下载器中间件

哪些状态码该重试

来源：Scrapy 下载器中间件文档（默认 RETRY_HTTP_CODES），2026-11-12 阅读；“怎么处理”一列是建议。不同 Scrapy 版本的默认值可能不同。

• 来源：
• Scrapy 文档：下载器中间件
• MDN：429 Too Many Requests

重试与克制相关的设置

# settings.py
ROBOTSTXT_OBEY = True
DOWNLOAD_TIMEOUT = 30

# retries (the documented defaults)
RETRY_ENABLED = True
RETRY_TIMES = 2                      # extra tries after the first download
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]

# be gentle with the target site
DOWNLOAD_DELAY = 1.0
CONCURRENT_REQUESTS_PER_DOMAIN = 4
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 1.0
AUTOTHROTTLE_MAX_DELAY = 30.0
AUTOTHROTTLE_TARGET_CONCURRENCY = 2.0

仅为示例。RETRY_TIMES 指首次下载之外额外重试的次数。单个请求可设 meta["max_retry_times"]，或 meta["dont_retry"] = True 跳过重试。

• 来源：
• Scrapy 文档：下载器中间件
• Scrapy 文档：AutoThrottle 扩展
• Scrapy 文档：设置

AutoThrottle 与请求间隔

AutoThrottle 默认关闭。打开后，它按网站的响应速度算延迟，不会低于 DOWNLOAD_DELAY，且非 200 的响应不能缩短延迟，所以出错时是放慢而不是加速。默认 START_DELAY 为 5.0，MAX_DELAY 为 60.0，TARGET_CONCURRENCY 为 1.0。

保持 ROBOTSTXT_OBEY 开启，明确设置 DOWNLOAD_DELAY 和 CONCURRENT_REQUESTS_PER_DOMAIN，不要依赖默认值，并读一下网站条款。代理改变的是请求从哪来，不改变网站能承受多少请求。

• 来源：
• Scrapy 文档：AutoThrottle 扩展
• Scrapy 文档：设置

四步配好

1. 第 1 步：生成代理

   在动态住宅页选国家、出口方式和 HTTP / SOCKS5，然后生成。HTTP 用 2222 端口，SOCKS5 用 3333 端口。

   • 动态住宅页

2. 第 2 步：加上代理

   在“我的资产”复制地址、端口、账号、密码，设置 meta["proxy"] 或加上中间件。

   • Scrapy 代理设置

3. 第 3 步：检查出口 IP

   运行 ip_check 爬虫，看日志里的 5 个 IP。

   预期结果 5 个 IP，国家和你选的一致。

4. 第 4 步：加上重试和延迟设置

   粘贴设置，先跑一个小爬取，在结束时的 Scrapy 统计里看重试次数和 429 次数。

排查

常见问题

延伸阅读

Scrapy 代理设置

在 Scrapy 里通过请求 meta、下载中间件或环境变量使用 HTTP 代理，并检查出口 IP。

Python requests 代理设置

在 Python requests 里使用 HTTP 和 SOCKS5 代理：示例、超时和 IP 检查。

动态 IP 换还是保持

“出口模式”三个选项决定住宅代理保持还是更换 IP；新生成的代理默认是保持 IP。

动态机房代理（美国）

美国机房 IP，US$0.40/GB 按流量计费，每个新连接换一个 IP，IP 池很大。支持 HTTP / SOCKS5，不用买流量包。

查看配置与价格