请求没走代理,或 ProxyError 里是另一个地址
检查 这台机器设置了 HTTP_PROXY / HTTPS_PROXY 或系统代理吗(很多加速器、VPN 客户端会设)?是不是只设了 Session.proxies?
处理 每次请求都传 proxies=(或设 session.trust_env = False);环境变量里的代理会覆盖 Session.proxies。
网站会限制单个 IP 在一段时间内的请求数,超过就返回 HTTP 429(请求过多),常常附带 Retry-After 告诉你要等多久。爬虫只用一个服务器 IP,商品目录还没爬完就会撞上限制。
封锁也不只针对单个地址:Cloudflare 允许站长按 IP、按 ASN(网络运营方)、按国家拦截或验证访问。机房 IP 和同一托管商的其他服务器共用 ASN,一条规则就可能整段封掉;住宅 IP 属于家庭宽带运营商网络。
国内采集海外网站还要多一步:国内网络无法直接连接海外代理。在自己的电脑上运行时,先到控制台的「工具与检测」页打开「极速连接工具」(一个让电脑连上海外代理的小程序);在境外服务器上运行就不需要。另外,Cloudflare 2026 年 7 月的报告显示互联网上一半以上的流量已经不是人,网站的规则只会越来越严,采集请遵守 robots.txt 和网站条款,控制频率。
如果你要的是小红书、抖音、淘宝、京东、TikTok 等平台的公开数据,又不想自己写爬虫,也可以试试第三方服务万有引擎 EveryInfra:一把 API Key 调用 90 个平台、414 项数据能力,支持远程 MCP 连接,按次计费,失败或空结果不收费(以 EveryInfra 官方说明为准)。
可使用方向键横向滚动,阅读完整内容。
| 项目 | 选择 | 原因 |
|---|---|---|
| 产品 | 动态住宅代理 | 家庭宽带运营商网络上的 IP,按流量计费 |
| 线路 | 低价线路:US$1.50/GB,100 GB 套餐 US$1.35/GB | 每 GB 最便宜,也是唯一支持「全球轮换」的线路;优质线路(US$5.00/GB)可指定运营商 |
| 出口模式 | 批量采集用「全球轮换」;固定国家、主要城市或多页流程用「指定地区 / 保持 IP」 | 全球轮换不固定国家;保持 IP 会让一个会话停在同一 IP |
| 生成几条代理 | 每个需要独立国家或会话的采集任务一条 | 同一线路的代理共用这条线路的流量,多生成不会多扣费 |
| 协议 | HTTP,端口 2222(SOCKS5 为 3333) | requests、httpx、Scrapy 和浏览器都直接支持 HTTP,不用装额外依赖 |
| 接受服务器 IP 的网站 | 静态机房 IP | 按 IP 和租期计费、速度最快,数据量大时更省 |
下面的按钮会打开「动态住宅代理」并选好「AI 与自动化」场景;买流量前把线路切到「低价线路」才是 US$1.50/GB。
可使用方向键横向滚动,阅读完整内容。
| 项目 | 静态 ISP | 动态住宅 | 机房(数据中心) |
|---|---|---|---|
| 你得到什么 | 一条固定的家庭宽带 IP,租期内不变 | 真实家庭宽带 IP:可轮换 IP,也可在指定国家或主要城市保持同一个 IP 的连接 | 速度快的固定机房 IP,支持 HTTP / SOCKS5 |
| 价格 | 按 IP 和租期,下单页实时报价 | 低价线路 US$1.50/GB(100 GB 套餐 US$1.35/GB);优质线路 US$5.00/GB | 按 IP 和租期,单 IP 成本最低 |
| 最适合爬虫 | 需要固定 IP 的登录态采集 | 公开商品目录、拦截服务器 IP 的网站 | API 和接受服务器 IP 的网站 |
价格以美元计。钱包充值一次,各类线路都从钱包付款;默认不会自动续费;想保留 IP,可在「我的资产」里为它开启自动续费,或手动续费。
国内网络先到控制台的「工具与检测」页打开「极速连接工具」(在境外服务器上运行就不需要)。点下面的按钮打开「动态住宅代理」,「线路」选「低价线路」(US$1.50/GB);「优质线路」(US$5.00/GB)可以选「运营商(可选)」。
点「补充流量」,选一个套餐或填「自定义 GB」(1 GB 起),再点「购买所选流量」。买流量和生成代理是两个独立操作。
在「连接配置」里把「出口模式」设为「全球轮换」,或设为「指定地区 / 保持 IP」后选地区、州 / 省、城市(主要城市可定向;小城市和部分连接会按国家级出口,不保证每次都落在所选城市);协议保持 HTTP,点「确认费用并生成」。
在「我的资产」点「复制」得到「地址:端口:用户名:密码」,代理地址写成 http://用户名:密码@proxy.proxy302.com:2222;用户名或密码里有 @、: 等字符时要做 URL 编码。
用下面的代码:每次请求都带上代理,按 Retry-After 等待后重试,保持稳定速度。Scrapy 里把同一个地址写进 request.meta['proxy']。
预期结果 每个页面经代理返回 200;遇到 429 会等待后重试。
可使用方向键横向滚动,阅读完整内容。
# pip install requests
import os
import time
import requests
# Rotating residential, Exit mode "Global rotation": http://USER:[email protected]:2222
PROXY = os.environ["PROXY_URL"]
PROXIES = {"http": PROXY, "https": PROXY}
session = requests.Session()
def get(url, tries=4):
for attempt in range(tries):
# pass proxies on every call: Session.proxies loses to HTTP_PROXY / system proxy settings
r = session.get(url, proxies=PROXIES, timeout=30)
if r.status_code not in (429, 500, 502, 503, 504):
return r
retry_after = r.headers.get("Retry-After", "") # seconds the site asks you to wait
time.sleep(int(retry_after) if retry_after.isdigit() else 2 ** attempt)
return r
for url in ["https://example.com/catalog?page=1", "https://example.com/catalog?page=2"]:
r = get(url)
print(url, r.status_code, len(r.content), "bytes")
time.sleep(1) # keep a steady pace: rotation spreads load, it doesn't remove rate limits2026-10-18 用 requests 2.33.1 在本地代理夹具上实测:夹具先对每页返回 429 和 Retry-After,代码等待后重试,两页都拿到 200。
上面的例子用的是普通请求。如果你要采集的页面需要真实浏览器,Puppeteer 页面讲了怎么用一个启动参数加一次认证调用,让它走 Proxy302。
检查 这台机器设置了 HTTP_PROXY / HTTPS_PROXY 或系统代理吗(很多加速器、VPN 客户端会设)?是不是只设了 Session.proxies?
处理 每次请求都传 proxies=(或设 session.trust_env = False);环境变量里的代理会覆盖 Session.proxies。
检查 代理地址里的密码有没有未编码的 @、:、#?
处理 用 urllib.parse.quote 对用户名和密码编码,或从「我的资产」重新复制。
检查 对单个网站每秒请求多少次?有没有遵守 Retry-After?
处理 降低并发、按要求等待、已抓过的页面做缓存;轮换只是分散请求,不会取消网站的限制。
检查 出口模式是不是「全球轮换」(不固定国家)?
处理 改用「指定地区 / 保持 IP」,选好需要的国家、州 / 省或城市再生成。
检查 是不是连图片、字体、视频一起下载了?
处理 只请求 HTML 或 JSON 接口;无头浏览器里屏蔽图片和媒体。
网站拦截或频繁验证服务器 IP,用动态住宅;网站接受服务器 IP,用静态机房,速度更快、按 IP 计费。
没有固定答案。「全球轮换」下新连接就可能换 IP;「指定地区 / 保持 IP」会保持一个会话,需要换时在「我的资产」点「轮换」,或再生成一条。
把 request.meta['proxy'] 设为 http://用户名:密码@proxy.proxy302.com:2222,Scrapy 自带的 HttpProxyMiddleware 会使用它,并且优先于 http_proxy / https_proxy 环境变量。
取决于采集什么、怎么用。只采公开数据,遵守目标网站条款和 robots.txt,不碰个人信息,控制频率;具体情况请咨询法务。
Scrappey 是按量付费的网页采集接口,可把页面返回为 HTML、JSON 或 Markdown,并使用住宅代理。想省去自己搭采集程序,可以把它当作托管方案,与在 Proxy302 代理后自建采集程序相比较。它声明只支持公开数据,合规由用户负责,所以采集前请先看各站点的条款。
官方文档 · 确认日期:
官方文档 · 确认日期:
外部网站资料 · 确认日期:
官方文档 · 确认日期:
官方文档 · 确认日期:
产品观察 · 确认日期:
动态住宅按 GB 价格以价格页和控制台为准(低价线路 US$1.50/GB,100 GB 套餐 US$1.35/GB;优质线路 US$5.00/GB;1 PTC = 1 美元)。静态 ISP 和机房 IP 按数量和租期实时报价。
产品观察 · 确认日期:
选项名称、计费方式与限制以 2026-10-18 线上控制台为准:线路(优质 / 低价)、出口模式、地区、州 / 省、城市、协议(HTTP / SOCKS5)、数量(1–500)、租期,我的资产 → 复制 / 轮换 / 续费 / 复制给 AI。动态住宅入口为 proxy.proxy302.com:2222(HTTP)和 :3333(SOCKS5)。2026-10-24 起控制台为静态 IP 提供「自动续租 IP」开关(购买页默认开启、可取消,也可在「我的资产」里按 IP 开关)。
本地示例 · 确认日期:
2026-10-18 在本地带密码的 HTTP 代理夹具上运行了本段代码(凭据错误时返回 407);Windows 上的 requests 2.33.1,系统已设置全局代理。夹具对每个页面先回 429 和 Retry-After: 1,代码按要求等待后重试,两页都拿到 200。只设 Session.proxies 时,请求被系统代理接管、没走我们的代理——所以代码在每次请求里都传 proxies=。
本地实测只证明配置写法和认证路径正确,不代表能访问任何具体网站、国家或平台。
产品观察 · 确认日期:
控制台「工具与检测」页提供极速连接工具(Windows / macOS 全局代理);「我的资产 → 复制给 AI」生成的说明写明:在中国大陆使用代理前需先打开极速连接工具或已连上 VPN。
外部网站资料 · 确认日期:
注册账号、一次充值,即可选择动态住宅、静态 ISP 或数据中心 IP。动态住宅覆盖 195+ 国家与地区。