大量 429 或 403
检查 请求速率太高或太整齐,或站点不接受这类爬虫。
处理 放慢速度,遵守 Retry-After 和 robots.txt;站点关了的路径就跳过。
更新
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
对 AI 流水线来说代理是小部分:身份、robots.txt、速率和授权决定你能采什么。
动态住宅(195+ 个国家,HTTP 和 SOCKS5)适合随国家变化的页面,或对 IP 类型管得严的站点。低价线路到国家级,优质线路可选州或城市。动态机房只有美国出口,有几千个 IP 在轮换,每 GB US$0.40,适合宽容的站点、文档页和接口。哪些站点能用机房代理,见机房代理指南。
不开会话时,每个新连接换一个 IP,复用的连接保持 IP。需要多页抓取像一次访问时,用会话(低价住宅线路 1 到 120 分钟,动态机房约 10 分钟)。流量按 GB 计费,不需要的内容别拉:优先取文本,跳过图片和脚本。
| 项目 | 读到的内容 | 对你的流水线意味着什么 |
|---|---|---|
| RFC 9309(robots.txt 标准) | 写明 robots.txt 里的规则不是一种访问授权,并且爬虫缓存的该文件副本使用不应超过 24 小时,除非无法刷新 | robots.txt 是最低限度的礼貌,不是许可;至少每天重新读一次,条款和授权要另外核对 |
| OpenAI 爬虫页面 | 介绍了各自独立的 robots.txt user agent(OAI-SearchBot 用于搜索,GPTBot 用于可能用于训练的内容),设置互不影响;禁止 GPTBot 表示站点内容不应用于训练 | 站点主人现在按用途(搜索、训练)分别设规则;预期会遇到它们,并尊重规则指明的用途 |
| Common Crawl CCBot 页面 | CCBot 在 user agent 里报上自己的名字(CCBot/2.0 加说明网址),可以用 robots.txt 里的 User-agent: CCBot 加 Disallow: / 屏蔽,并运行在带反向 DNS 的专用 IP 段上,站点主人可以验证 | 大型数据项目的常态是爬虫报名、可验证;如果数据已经在开放语料里,直接用它就可以不用自己爬 |
来源:RFC 9309、OpenAI 爬虫文档和 Common Crawl 的 CCBot 页面,2026 年 11 月 20 日打开。它们描述的是通行做法,不能代替各站点的条款或任何授权。这不是法律意见。
在 user agent 里写明爬虫名和联系邮箱;每批开始前读 robots.txt,并且至少每天重读;它关了的就跳过,不要换 IP 再试。有 Crawl-delay 就遵守,没有就先按每个主机几秒一个请求,响应变慢就再放慢。
遇到 429 和 503 要退避(服务器给了 Retry-After 就用它),抓过的内容缓存好,别重复抓;不采个人信息,也不采登录后的内容。在索引里,每篇文档旁边都存好来源网址、抓取时间和你依据的条款或授权:来源要求你删除内容时用得上。
import time
import urllib.robotparser
import requests
# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
# A crawler that names itself and says how to reach you is easy for site owners to deal with.
UA = "my-rag-crawler/1.0 (+https://example.com/crawler; contact: you@example.com)"
def polite_get(url, robots, default_delay=5, tries=3):
if not robots.can_fetch(UA, url):
return None # robots.txt says no: skip, do not retry through another IP
delay = robots.crawl_delay(UA) or default_delay
for attempt in range(tries):
r = requests.get(url, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
if r.status_code != 429:
time.sleep(delay)
return r
wait = int(r.headers.get("Retry-After", "60")) if r.headers.get("Retry-After", "").isdigit() else 60 * (attempt + 1)
time.sleep(wait) # back off instead of adding IPs
return None
site = "https://example.com"
robots = urllib.robotparser.RobotFileParser(site + "/robots.txt")
robots.read()
for path in ["/docs/page-1", "/docs/page-2"]: # replace with pages you are allowed to read
r = polite_get(site + path, robots)
print(path, None if r is None else (r.status_code, len(r.text)))
示例:替换 LOGIN、PASSWORD、爬虫说明、站点和路径。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。
分国家或管得严的站点,打开动态住宅代理(低价线路每 GB US$1.50,优质线路 US$5);宽容的站点和接口,用动态机房(每 GB US$0.40,只有美国)。
设置地区(一批任务想固定一个 IP 就再设会话时长),从「我的资产」复制主机、端口、用户名和密码。
让 ipinfo.io 走代理访问。预期:显示你设的国家。
给爬虫起名、遵守 robots.txt、控制节奏,每篇文档旁存来源网址、时间和条款。
检查 请求速率太高或太整齐,或站点不接受这类爬虫。
处理 放慢速度,遵守 Retry-After 和 robots.txt;站点关了的路径就跳过。
检查 内容是页面加载后由脚本填进去的。
处理 改用 Playwright 这类浏览器工具并配同一个代理,或找官方接口、数据源。
检查 图片、脚本和重复抓取都算流量。
处理 只取文本、缓存页面,并在「我的资产」里查看用量。
分国家或管得严的站点用动态住宅,每 GB US$1.50 起;宽容的站点和接口用动态机房(只有美国,每 GB US$0.40)。节奏和规矩比 IP 类型更重要。
不算。RFC 9309 写明它的规则不是一种访问授权,所以还要核对网站条款和授权。
大型爬虫的通行做法就是报名:GPTBot 和 CCBot 都会报上自己的名字,站点主人按 user agent 设规则。
只有想让多页流程固定一个 IP 时才需要;独立页面的抓取,用默认的(每个新连接换新 IP)就行。
Proxy302 在 GitHub 上公开的同主题配置指南:
官方文档 · 确认日期:
2026 年 11 月 20 日打开:写明 robots.txt 里的规则不是一种访问授权,并且爬虫缓存的该文件副本使用不应超过 24 小时,除非无法刷新
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:介绍了各自独立的 robots.txt user agent(OAI-SearchBot 用于搜索,GPTBot 用于可能用于训练的内容),设置互不影响;禁止 GPTBot 表示站点内容不应用于训练
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:CCBot 在 user agent 里报上自己的名字(CCBot/2.0 加说明网址),可以用 robots.txt 里的 User-agent: CCBot 加 Disallow: / 屏蔽,并运行在带反向 DNS 的专用 IP 段上,站点主人可以验证
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。
产品观察 · 确认日期:
站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。
注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。