跳到正文

更新

AI 数据采集与 RAG 用代理:
IP 类型与会话

  1. 做 AI 数据采集和 RAG 入库:页面分国家、或对机房 IP 敏感时,用动态住宅代理(低价线路每 GB US$1.50);对宽容的站点和接口,可以考虑只有美国出口的动态机房线路(每 GB US$0.40)。
  2. 不管用哪种 IP,都要礼貌抓取:给爬虫起名,遵守 robots.txt(RFC 9309 说明它不是授权,所以还要核对条款和授权),控制节奏,遇到 429 就退避。
  3. 数据如果已经在开放语料或授权数据源里,先从那里开始。

买完先验一次示例输出

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
和你下单时选的国家一致
第 15 天
203.0.113.24
租期内还是同一个地址
IP 为文档示例地址(203.0.113.0/24),不是真实出口
01 / 08IP 类型对应流水线的哪一段

对 AI 流水线来说代理是小部分:身份、robots.txt、速率和授权决定你能采什么。

IP 类型对应流水线的哪一段

动态住宅(195+ 个国家,HTTP 和 SOCKS5)适合随国家变化的页面,或对 IP 类型管得严的站点。低价线路到国家级,优质线路可选州或城市。动态机房只有美国出口,有几千个 IP 在轮换,每 GB US$0.40,适合宽容的站点、文档页和接口。哪些站点能用机房代理,见机房代理指南。

不开会话时,每个新连接换一个 IP,复用的连接保持 IP。需要多页抓取像一次访问时,用会话(低价住宅线路 1 到 120 分钟,动态机房约 10 分钟)。流量按 GB 计费,不需要的内容别拉:优先取文本,跳过图片和脚本。

公开的规则对爬虫怎么说

公开的规则对爬虫怎么说
项目读到的内容对你的流水线意味着什么
RFC 9309(robots.txt 标准)写明 robots.txt 里的规则不是一种访问授权,并且爬虫缓存的该文件副本使用不应超过 24 小时,除非无法刷新robots.txt 是最低限度的礼貌,不是许可;至少每天重新读一次,条款和授权要另外核对
OpenAI 爬虫页面介绍了各自独立的 robots.txt user agent(OAI-SearchBot 用于搜索,GPTBot 用于可能用于训练的内容),设置互不影响;禁止 GPTBot 表示站点内容不应用于训练站点主人现在按用途(搜索、训练)分别设规则;预期会遇到它们,并尊重规则指明的用途
Common Crawl CCBot 页面CCBot 在 user agent 里报上自己的名字(CCBot/2.0 加说明网址),可以用 robots.txt 里的 User-agent: CCBot 加 Disallow: / 屏蔽,并运行在带反向 DNS 的专用 IP 段上,站点主人可以验证大型数据项目的常态是爬虫报名、可验证;如果数据已经在开放语料里,直接用它就可以不用自己爬

来源:RFC 9309、OpenAI 爬虫文档和 Common Crawl 的 CCBot 页面,2026 年 11 月 20 日打开。它们描述的是通行做法,不能代替各站点的条款或任何授权。这不是法律意见。

礼貌抓取的六个习惯

在 user agent 里写明爬虫名和联系邮箱;每批开始前读 robots.txt,并且至少每天重读;它关了的就跳过,不要换 IP 再试。有 Crawl-delay 就遵守,没有就先按每个主机几秒一个请求,响应变慢就再放慢。

遇到 429 和 503 要退避(服务器给了 Retry-After 就用它),抓过的内容缓存好,别重复抓;不采个人信息,也不采登录后的内容。在索引里,每篇文档旁边都存好来源网址、抓取时间和你依据的条款或授权:来源要求你删除内容时用得上。

礼貌抓取循环:robots.txt、Crawl-delay、429 退避

import time
import urllib.robotparser
import requests

# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
# A crawler that names itself and says how to reach you is easy for site owners to deal with.
UA = "my-rag-crawler/1.0 (+https://example.com/crawler; contact: you@example.com)"

def polite_get(url, robots, default_delay=5, tries=3):
    if not robots.can_fetch(UA, url):
        return None  # robots.txt says no: skip, do not retry through another IP
    delay = robots.crawl_delay(UA) or default_delay
    for attempt in range(tries):
        r = requests.get(url, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
        if r.status_code != 429:
            time.sleep(delay)
            return r
        wait = int(r.headers.get("Retry-After", "60")) if r.headers.get("Retry-After", "").isdigit() else 60 * (attempt + 1)
        time.sleep(wait)  # back off instead of adding IPs
    return None

site = "https://example.com"
robots = urllib.robotparser.RobotFileParser(site + "/robots.txt")
robots.read()
for path in ["/docs/page-1", "/docs/page-2"]:  # replace with pages you are allowed to read
    r = polite_get(site + path, robots)
    print(path, None if r is None else (r.status_code, len(r.text)))

示例:替换 LOGIN、PASSWORD、爬虫说明、站点和路径。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。

4 步设置

  1. 第 1 步:选 IP 类型

    分国家或管得严的站点,打开动态住宅代理(低价线路每 GB US$1.50,优质线路 US$5);宽容的站点和接口,用动态机房(每 GB US$0.40,只有美国)。

  2. 第 2 步:生成连接

    设置地区(一批任务想固定一个 IP 就再设会话时长),从「我的资产」复制主机、端口、用户名和密码。

  3. 第 3 步:测出口

    让 ipinfo.io 走代理访问。预期:显示你设的国家。

  4. 第 4 步:礼貌抓取并留记录

    给爬虫起名、遵守 robots.txt、控制节奏,每篇文档旁存来源网址、时间和条款。

常见问题速查

大量 429 或 403

检查 请求速率太高或太整齐,或站点不接受这类爬虫。

处理 放慢速度,遵守 Retry-After 和 robots.txt;站点关了的路径就跳过。

页面对你的解析器来说是空的

检查 内容是页面加载后由脚本填进去的。

处理 改用 Playwright 这类浏览器工具并配同一个代理,或找官方接口、数据源。

流量用得比预期多

检查 图片、脚本和重复抓取都算流量。

处理 只取文本、缓存页面,并在「我的资产」里查看用量。

AI 数据采集常见问题

AI 数据采集用什么代理?

分国家或管得严的站点用动态住宅,每 GB US$1.50 起;宽容的站点和接口用动态机房(只有美国,每 GB US$0.40)。节奏和规矩比 IP 类型更重要。

robots.txt 算是允许我采集吗?

不算。RFC 9309 写明它的规则不是一种访问授权,所以还要核对网站条款和授权。

爬虫要不要报名?

大型爬虫的通行做法就是报名:GPTBot 和 CCBot 都会报上自己的名字,站点主人按 user agent 设规则。

RAG 入库需要会话保持吗?

只有想让多页流程固定一个 IP 时才需要;独立页面的抓取,用默认的(每个新连接换新 IP)就行。

延伸阅读

Proxy302 在 GitHub 上公开的同主题配置指南:

参考资料

5
  1. RFC 9309:Robots Exclusion Protocol

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:写明 robots.txt 里的规则不是一种访问授权,并且爬虫缓存的该文件副本使用不应超过 24 小时,除非无法刷新

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  2. OpenAI:爬虫概览

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:介绍了各自独立的 robots.txt user agent(OAI-SearchBot 用于搜索,GPTBot 用于可能用于训练的内容),设置互不影响;禁止 GPTBot 表示站点内容不应用于训练

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  3. Common Crawl:CCBot

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:CCBot 在 user agent 里报上自己的名字(CCBot/2.0 加说明网址),可以用 robots.txt 里的 User-agent: CCBot 加 Disallow: / 屏蔽,并运行在带反向 DNS 的专用 IP 段上,站点主人可以验证

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  4. Requests 文档:Advanced usage(代理)

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。

  5. Proxy302 产品信息与价格表

    产品观察 · 确认日期:

    站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。

准备好试试了吗?

注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。