请求没走代理,或 ProxyError 里是另一个地址
检查 这台机器设置了 HTTP_PROXY / HTTPS_PROXY 或系统代理吗(很多加速器、VPN 客户端会设)?是不是只设了 Session.proxies?
处理 每次请求都传 proxies=(或设 session.trust_env = False);环境变量里的代理会覆盖 Session.proxies。
网站会限制单个 IP 在一段时间内的请求数,超过就返回 HTTP 429(请求过多),常常附带 Retry-After 告诉你要等多久。爬虫只用一个服务器 IP,商品目录还没爬完就会撞上限制。
封锁也不只针对单个地址:Cloudflare 允许站长按 IP、按 ASN(网络运营方)、按国家拦截或验证访问。机房 IP 和同一托管商的其他服务器共用 ASN,一条规则就可能整段封掉;住宅出口属于家庭宽带运营商网络。
国内采集海外网站还要多一步:国内网络无法直接连接海外代理,本机运行先打开 控制台 → 连接工具 → 辅助工具,服务器上跑就用境外服务器。另外,Cloudflare 2026 年 7 月的报告显示互联网上一半以上的流量已经不是人,网站的规则只会越来越严,采集请遵守 robots.txt 和网站条款,控制频率。
可使用方向键横向滚动,阅读完整内容。
| 比较项目 | 选择 | 原因 |
|---|---|---|
| 产品 | 动态住宅代理 | 家庭宽带运营商网络上的 IP,按流量计费 |
| 线路 | 低价线路:US$1.50/GB,100 GB 套餐 US$1.35/GB | 每 GB 最便宜,也是唯一支持「全球轮换」的线路;优质线路(US$5.00/GB)可指定运营商 |
| 出口模式 | 批量采集用「全球轮换」;固定国家、城市或多页流程用「指定地区 / 保持 IP」 | 全球轮换不固定国家;保持 IP 会让一个会话停在同一出口 |
| 生成几条代理 | 每个需要独立国家或会话的采集任务一条 | 同一线路的代理共用这条线路的流量,多生成不会多扣费 |
| 协议 | HTTP,端口 2222(SOCKS5 为 3333) | requests、httpx、Scrapy 和浏览器都直接支持 HTTP,不用装额外依赖 |
| 接受服务器 IP 的网站 | 静态机房 IP | 按 IP 和租期计费、速度最快,数据量大时更省 |
下面的按钮会打开「动态住宅代理」并选好「AI 与自动化」场景;买流量前把线路切到「低价线路」才是 US$1.50/GB。
可使用方向键横向滚动,阅读完整内容。
| 比较项目 | 静态 ISP | 动态住宅 | 机房(数据中心) |
|---|---|---|---|
| 你得到什么 | 一条独享的家庭宽带 IP,租期内一直归你 | 真实家庭宽带 IP:可轮换出口,也可在指定国家或城市保持粘性会话 | 速度快的固定机房 IP,支持 HTTP / SOCKS5 |
| 价格 | 按 IP 和租期,下单页实时报价 | 低价线路 US$1.50/GB(100 GB 套餐 US$1.35/GB);优质线路 US$5.00/GB | 按 IP 和租期,单 IP 成本最低 |
| 最适合爬虫 | 需要固定 IP 的登录态采集 | 公开商品目录、拦截服务器 IP 的网站 | API 和接受服务器 IP 的网站 |
价格以美元计。钱包充值一次,各类线路都从钱包付款;不会自动续费,想保留 IP 请在「我的资产」里续费。
国内网络先打开 控制台 → 连接工具 → 辅助工具(服务器上跑就用境外服务器)。点下面的按钮打开「动态住宅代理」,「线路」选「低价线路」(US$1.50/GB);「优质线路」(US$5.00/GB)可以选「运营商(可选)」。
点「补充流量」,选一个套餐或填「自定义 GB」(1 GB 起),再点「购买所选流量」。买流量和生成代理是两个独立操作。
在「连接配置」里把「出口模式」设为「全球轮换」,或设为「指定地区 / 保持 IP」后选地区、州 / 省、城市;协议保持 HTTP,点「确认费用并生成」。
在「我的资产」点「复制」得到「地址:端口:用户名:密码」,代理地址写成 http://用户名:密码@proxy.proxy302.com:2222;用户名或密码里有 @、: 等字符时要做 URL 编码。
用下面的代码:每次请求都带上代理,按 Retry-After 等待后重试,保持稳定速度。Scrapy 里把同一个地址写进 request.meta['proxy']。
预期结果 每个页面经代理返回 200;遇到 429 会等待后重试。
可使用方向键横向滚动,阅读完整内容。
# pip install requests
import os
import time
import requests
# Rotating residential, Exit mode "Global rotation": http://USER:[email protected]:2222
PROXY = os.environ["PROXY_URL"]
PROXIES = {"http": PROXY, "https": PROXY}
session = requests.Session()
def get(url, tries=4):
for attempt in range(tries):
# pass proxies on every call: Session.proxies loses to HTTP_PROXY / system proxy settings
r = session.get(url, proxies=PROXIES, timeout=30)
if r.status_code not in (429, 500, 502, 503, 504):
return r
retry_after = r.headers.get("Retry-After", "") # seconds the site asks you to wait
time.sleep(int(retry_after) if retry_after.isdigit() else 2 ** attempt)
return r
for url in ["https://example.com/catalog?page=1", "https://example.com/catalog?page=2"]:
r = get(url)
print(url, r.status_code, len(r.content), "bytes")
time.sleep(1) # keep a steady pace: rotation spreads load, it doesn't remove rate limits2026-10-18 用 requests 2.33.1 在本地代理夹具上实测:夹具先对每页返回 429 和 Retry-After,代码等待后重试,两页都拿到 200。
检查 这台机器设置了 HTTP_PROXY / HTTPS_PROXY 或系统代理吗(很多加速器、VPN 客户端会设)?是不是只设了 Session.proxies?
处理 每次请求都传 proxies=(或设 session.trust_env = False);环境变量里的代理会覆盖 Session.proxies。
检查 代理地址里的密码有没有未编码的 @、:、#?
处理 用 urllib.parse.quote 对用户名和密码编码,或从「我的资产」重新复制。
检查 对单个网站每秒请求多少次?有没有遵守 Retry-After?
处理 降低并发、按要求等待、已抓过的页面做缓存;轮换只是分散请求,不会取消网站的限制。
检查 出口模式是不是「全球轮换」(不固定国家)?
处理 改用「指定地区 / 保持 IP」,选好需要的国家、州 / 省或城市再生成。
检查 是不是连图片、字体、视频一起下载了?
处理 只请求 HTML 或 JSON 接口;无头浏览器里屏蔽图片和媒体。
网站拦截或频繁验证服务器 IP,用动态住宅;网站接受服务器 IP,用静态机房,速度更快、按 IP 计费。
没有固定答案。「全球轮换」下新连接就可能换出口;「指定地区 / 保持 IP」会保持一个会话,需要换时在「我的资产」点「轮换」,或再生成一条。
把 request.meta['proxy'] 设为 http://用户名:密码@proxy.proxy302.com:2222,Scrapy 自带的 HttpProxyMiddleware 会使用它,并且优先于 http_proxy / https_proxy 环境变量。
取决于采集什么、怎么用。只采公开数据,遵守目标网站条款和 robots.txt,不碰个人信息,控制频率;具体情况请咨询法务。
官方文档 · 核对于:
官方文档 · 核对于:
第三方来源 · 核对于:
官方文档 · 核对于:
官方文档 · 核对于:
产品观察 · 核对于:
动态住宅按 GB 价格以价格页和控制台为准(低价线路 US$1.50/GB,100 GB 套餐 US$1.35/GB;优质线路 US$5.00/GB;1 PTC = 1 美元)。静态 ISP 和机房 IP 按数量和租期实时报价。
产品观察 · 核对于:
选项名称、计费方式与限制以 2026-10-18 线上控制台为准:线路(优质 / 低价)、出口模式、地区、州 / 省、城市、协议(HTTP / SOCKS5)、数量(1–500)、租期、自动续租 IP(暂未开放),我的资产 → 复制 / 轮换 / 续费 / 复制给 AI。动态住宅入口为 proxy.proxy302.com:2222(HTTP)和 :3333(SOCKS5)。
本地示例 · 核对于:
2026-10-18 在本地带密码的 HTTP 代理夹具上运行了本段代码(凭据错误时返回 407);Windows 上的 requests 2.33.1,系统已设置全局代理。夹具对每个页面先回 429 和 Retry-After: 1,代码按要求等待后重试,两页都拿到 200。只设 Session.proxies 时,请求被系统代理接管、没走我们的代理——所以代码在每次请求里都传 proxies=。
本地实测只证明配置写法和认证路径正确,不代表能访问任何具体网站、国家或平台。
产品观察 · 核对于:
控制台「连接工具」页提供辅助工具(Windows / macOS 全局代理);「我的资产 → 复制给 AI」生成的说明写明:在中国大陆使用代理前需先打开辅助工具或已连上 VPN。
注册账号、一次充值,即可选择动态住宅、静态 ISP 或数据中心出口。动态住宅覆盖 195+ 国家与地区。