数据采集代理
如何为数据采集选代理:类型、轮换、协议、选购清单,以及控制对网站的访问压力。
四条判断标准,一套在你自己目标站上做的五步测试,以及每种 IP 适合干什么。
IP 类型:机房 IP 属于托管机房网络,住宅 IP 和静态 ISP IP 属于普通宽带运营商。有的站对两者返回同样的页面,有的站对机房网络另有处理,只有拿你自己的目标站去测才知道。
IP 怎么变:动态代理每个新连接换一个 IP,保持复用的连接(keep-alive)IP 不变;开会话或用静态 IP 则固定一个地址。互相独立的抓取适合轮换;依赖上一次请求的流程,比如登录、购物车,需要固定地址。
位置:价格、库存、搜索结果、配送选项可能随国家或城市变化。要看到某地访客看到的页面,先选好国家(线路支持的话再选城市),再比价格。
计费:按流量计费的产品按 GB 收费,页面越重每次请求越贵;按 IP 计费的产品按每个 IP 每天收费,成本取决于你持有多少个地址,而不是抓了多少页面。
| 项目 | 适合 | IP 怎么变 | 价格(Proxy302) |
|---|---|---|---|
| 动态机房 | 开放的公开页面、大量抓取,仅美国出口 | 每个新连接换 IP;开会话约 10 分钟用同一个 IP | 每 GB US$0.40,无预付包 |
| 动态住宅,低价线路 | 页面随访问者网络或国家变化;按国家定位 | 每个新连接换 IP;会话 1 到 120 分钟 | 每 GB US$1.50;500 GB 套餐每 GB 1.124 |
| 动态住宅,优质线路 | 同上,生成连接时还能选州、城市 | 持续使用时通常是同一个 IP;闲置一段时间后可能会换 | 每 GB US$5;300 GB 套餐每 GB 4.25 |
| 静态 ISP,按 IP | 登录或后台要在一个地址上连续使用几天、几周 | 租期内不轮换;1 到 90 天 | 1 天 US$0.50,30 天 US$7.99,各国同价 |
价格和条件来自 Proxy302 产品信息表,2026 年 11 月 14 日核对。按 GB 的线路按流量购买;按 IP 的线路可买 1、3、7、30、60、90 天。静态 ISP 各国库存不同,以下单页显示为准。
公开列表、新闻、目录页,不管从哪个网络看都一样:先试动态机房,每 GB 价格最低。如果返回的页面和浏览器里看到的不一样,再换住宅。
按国家看价格、库存或搜索结果:用动态住宅并在连接里设好国家,一次访问要连发几个请求时开会话。要看城市级差异,用优质线路。
每天读取的登录账号,或连续几周轮询的后台:每个账号一个静态 ISP IP。要保持的登录,别在登录态下轮换 IP。
用你自己的网络,记下状态码和需要的字段是否都在返回里。这是对照基线。
与位置无关的页面用动态机房。和基线对比:状态码一样,字段也一样。
如果页面和浏览器里的不一样,或国家不对,用同样的 50 个页面走动态住宅并设好国家,再对比一次。
经代理请求一个会回显出口 IP 的页面,核对国家和网络。每个请求都要设 timeout,Requests 不设就会一直等。
继续前请注意 遵守目标站公布的限制。robots.txt 说明站点对爬虫的规则,但按 RFC 9309 它不是访问授权,所以还要读站点条款。
用每 GB 价格除以每 GB 里拿到的正确页面数。更便宜但正确页面更少的类型,每个有用页面的成本可能反而更高。按 IP 计费的产品,用每天价格除以一天抓到的页面数。
import requests
proxy = "http://LOGIN:PASSWORD@HOST:PORT"
proxies = {"http": proxy, "https": proxy}
r = requests.get(
"https://ipinfo.io/json",
proxies=proxies,
timeout=(5, 30), # connect, read
)
print(r.status_code, r.json().get("country"), r.json().get("org"))
# SOCKS5 needs: pip install "requests[socks]"
# use socks5h:// so the proxy server resolves DNS仅为示例:LOGIN、PASSWORD、HOST、PORT 换成「我的资产」里显示的值。proxies 参数和 socks5h 写法依据 Requests 官方文档。
动态住宅和动态机房走网关 proxy.proxy302.com:HTTP 用 2222 端口,SOCKS5 用 3333 端口,用户名和密码在「我的资产」里。协议在生成代理时选择。流量按 GB 购买,没有免费试用,最小的测试是 1 GB 住宅流量,或一个静态 IP 一天。
机房出口只有美国。住宅覆盖 195+ 个国家。
不一定。小样本测试里,机房 IP 抓到的页面和字段与浏览器一致,就够用,而且每 GB 更便宜。住宅用于随访问者网络或国家变化的页面。
每个请求相互独立(比如一批商品链接)用轮换;几个请求属于同一次访问(比如登录后翻页)用会话保持。低价线路的会话时长为 1 到 120 分钟。
不是。代理只改变站点看到的网络地址,不改变站点的条款和规则。RFC 9309 说明 robots.txt 不是访问授权,所以要看条款,并把请求频率控制在合理范围。
设置 DOWNLOAD_DELAY,或用 AUTOTHROTTLE_ENABLED 打开 AutoThrottle。AutoThrottle 按服务器响应时间调整延迟,且不会低于 DOWNLOAD_DELAY。
产品观察 · 确认日期:
站点产品信息表,2026 年 11 月 14 日核对:产品、美元价格(1 PTC = 1 美元)、租期、协议与端口、数量上限、无免费试用。
官方文档 · 确认日期:
2026 年 11 月 14 日读过:用 proxies 参数设置代理;SOCKS 需 pip install requests[socks];socks5 在本机解析域名,socks5h 由代理端解析;不设 timeout 就不会超时。
官方文档 · 确认日期:
2026 年 11 月 14 日读过:robots.txt 规则是对爬虫的约定,原文称「不是访问授权」;robots.txt 返回 4xx 时爬虫可访问任何资源,返回 5xx 或打不开则按全部禁止处理。
官方文档 · 确认日期:
2026 年 11 月 14 日读过:AutoThrottle 按服务器响应时间调整每个站点的延迟,默认关闭(AUTOTHROTTLE_ENABLED),默认目标是每站平均 1.0 个并行请求(AUTOTHROTTLE_TARGET_CONCURRENCY),延迟不会低于 DOWNLOAD_DELAY。
注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。