数据采集代理：如何选择类型、轮换方式和检查方法

什么是数据采集，什么时候需要代理

数据采集，就是自动从网站页面上收集数据。当请求需要从另一个地址发出时，就需要代理：比如想看到另一个国家的用户看到的页面，或者想把请求分散到多个地址上。如果网站有提供所需数据的官方 API，用它往往更简单、更可靠：这时可能根本用不到代理。

先看网站的规则

代理只改变网站看到的地址，网站的规则依然有效。请阅读使用条款和 robots.txt 文件。RFC 9309 标准把 robots.txt 描述为一组建议爬虫遵守的规则，文件必须放在 /robots.txt 路径下。标准明确写了，这些规则不是一种访问授权。标准还说明了出错时怎么办：如果文件因 4xx 状态码无法获取，爬虫可以访问任何资源；如果文件因服务器错误（5xx）无法获取，爬虫必须认为访问被完全关闭。

• 来源：
• RFC 9309：Robots Exclusion Protocol（机器人排除协议）

用于收集数据的代理类型

• 动态住宅代理：地址会变，通常按 GB 计费。适合对不同页面发出大量互相独立的请求。 • 静态 ISP：一个地址在整个租期内固定，不轮换。适合在租期内需要同一个地址的情况。租期 30 天及以上的静态 ISP IP 是独享的。 • 数据中心代理：地址属于数据中心。

它们之间的区别在住宅、ISP 和数据中心代理对比里有详细讲解，这里不再重复。动态代理的更多内容见动态住宅代理页面，静态代理见静态住宅代理页面。

• 住宅、ISP 和数据中心代理对比
• 动态住宅代理
• 静态住宅代理

轮换还是固定地址

轮换把请求分散到许多地址上。需要在同一个地址上保持会话时，固定地址更方便，比如登录个人账户。按任务来选：偶尔发出的独立请求适合轮换，在同一个会话里工作适合固定地址。

HTTP 还是 SOCKS5

HTTP 代理是最常见的选择。只有当你的程序或库需要 SOCKS5 时，才用它。请查看你所用工具的文档：比如在 Scrapy 里，对 SOCKS 的支持取决于下载处理器，见 Scrapy 代理指南。

• Scrapy 代理指南

选购清单

1. 第 1 步

   计费单位：按 GB，还是按 IP 按期租用。

2. 第 2 步

   最小订单：比如 1 GB 流量，或一个 IP 一天。

3. 第 3 步

   地理定位：国家，需要的话还有城市。

4. 第 4 步

   协议：HTTP 或 SOCKS5，以及怎么选择。

5. 第 5 步

   启动前检查：买最少的量，通过代理向 https://ipinfo.io/json 发一次请求，检查 country 和 org 字段。

如何检查代理并在代码中设置

通过代理打开 https://ipinfo.io/json，确认国家和网络符合预期；怎么读这些字段，见代理位置检查指南。地址、端口、账号和密码在代理信息指南里有说明。

Requests 文档说明，代理通过 proxies 参数传入，并建议对大多数访问外部服务器的请求设置超时：没有超时，代码可能长时间卡住。更详细的内容见 requests 指南。

• 代理位置检查指南
• 代理信息指南
• requests 指南

如何检查代理并在代码中设置：示例

import requests

proxy = "http://USERNAME:PASSWORD@proxy-host:port"
proxies = {"http": proxy, "https": proxy}

r = requests.get("https://ipinfo.io/json", proxies=proxies, timeout=(5, 20))
print(r.json())

请把 USERNAME、PASSWORD、proxy-host 和 port 换成你的代理信息。

• 来源：
• Requests 文档：Advanced Usage（代理和超时）

控制对网站的访问压力

采集程序不应该让网站不堪重负。在 Scrapy 里，DOWNLOAD_DELAY 设置规定了对同一个域名两次请求之间的最短间隔，文档解释说，这是为了不给服务器增加过大负担。AutoThrottle 扩展会根据网站的响应时间动态调整间隔。ROBOTSTXT_OBEY 参数让 Scrapy 遵守 robots.txt。其他工具也适用同样的原则：请求之间留出间隔、限制并发数和设置超时。

• 来源：
• Scrapy 文档：Settings
• Scrapy 文档：AutoThrottle 扩展

常见错误

状态码 407 表示代理没有接受账号和密码：请重新复制这些信息，并检查特殊字符的编码，见 407 错误指南。超时通常说明端口或协议类型不对；检查项列在连接失败指南里。

• 407 错误指南
• 连接失败指南

用 Proxy302 怎么做

上面任何一种工具，只需要 Proxy302 代理的地址、端口、账号和密码。动态住宅代理的流量按 GB 计费，出口国家在创建代理时设置；HTTP 在 proxy.proxy302.com 的 2222 端口，SOCKS5 在 3333 端口。静态 ISP IP 在整个租期内固定，不轮换。下表是我们最近一次每小时检测时 7 个国家的出口；探测器请求的是 ChatGPT，它只是一个示例目标站点。详情见动态住宅代理页面和代理位置检查指南。

• 动态住宅代理页面
• 代理位置检查指南

实测出口：ChatGPT 从 7 个国家的连通

Proxy302 探测器每小时检测一次，本次检测时间：2026 年 10 月 28 日 14:56 UTC。每个国家通过一个动态住宅出口、经公开的 Proxy302 入口向 ChatGPT 发一次请求。IP 只公开前三段。每国一个样本，不是平均值，之后的检测结果会不同。

• 来源：
• Proxy302 每小时连通检测

用 Proxy302 怎么做：步骤

1. 第 1 步

   打开动态住宅页面，选择线路，「协议」保持 HTTP 或改选 SOCKS5，然后点击「确认费用并生成」。

2. 第 2 步

   打开「我的资产」（控制台里放着你买到的全部代理），复制 HOST（地址）、PORT（端口）、USERNAME（账号）和 PASSWORD（密码）。「连接工具」页（控制台里教你把代理接到各种软件的页面）里有填好你自己连接信息的现成示例。

3. 第 3 步

   把这些信息填入你正在设置的浏览器或软件。

4. 第 4 步

   通过代理访问 https://ipinfo.io/json 确认出口。

5. 第 5 步

   在中国大陆，先在「连接工具」页打开辅助工具，使用代理期间保持开着。

   • 辅助工具指南

价格与限制

低价线路每 GB 收费 US$1.50，100 GB 套餐每 GB US$1.35，300 GB 每 GB US$1.20。不提供免费试用，最小购买单位为 1 GB。可用的出口位置每天都会变化。

• 来源：
• Proxy302 产品事实与价格表

常见问题

延伸阅读

代理的地址、端口、账号和密码怎么填

每个可用的代理都由五个基本字段构成：协议、地址、端口、账号和密码。

代理 IP 怎么查：IP 地址、国家、运营商

30 秒查清代理的 IP、国家和运营商；为什么不同查询网站城市对不上、纯净度分数看什么。附我们对三家查询服务的实测。

动态住宅 IP 代理

覆盖 195+ 国家和地区的真实家庭 IP，可定位到州/省和城市。每次请求轮换，或保持同一个 IP 的连接。US$1.50/GB 起，100 GB 档 US$1.35/GB。支持 HTTP / SOCKS5。

查看配置与价格

静态住宅 IP（ISP 代理）

静态 ISP 代理：一条固定的住宅级 IP，整个租期内保持不变。适合社媒账号、店铺和 AI 工具。支持 HTTP / SOCKS5。

查看配置与价格

Python requests 代理设置

在 Python requests 里使用 HTTP 和 SOCKS5 代理：示例、超时和 IP 检查。

Scrapy 代理设置

在 Scrapy 里通过请求 meta、下载中间件或环境变量使用 HTTP 代理，并检查出口 IP。

动态住宅、静态 ISP、机房 IP 怎么选

动态住宅、静态住宅（ISP）、机房 IP 的区别：IP 归谁、会不会变、怎么计费，以及 Proxy302 控制台预设给每种任务选的是哪一种。