为什么自动化任务要用代理
网站按 IP 限流:超过限额就返回 HTTP 429 Too Many Requests,常带 Retry-After 告诉你要等多久;Cloudflare 允许站长按 IP、按网络(ASN)或按国家拦截或质询流量。Cloudflare 还报告,互联网上超过一半的流量已经不是人类发出的,新接入 Cloudflare 的域名默认拦截 AI 训练爬虫——一台服务器 IP 跑任务,最先撞上这些规则。
结果随请求来源变化:零售商可以按地区设置价格和库存,Google 说 Googlebot 的默认 IP 地址看起来位于美国,Google 搜索结果也会随位置和语言变化。从一台服务器测试或比价,只能看到一个国家的版本。国内开发还多一层:GreatFire 显示 github.com 在中国大陆访问不稳定,最近 6 次有效测试中 83% 受干扰,依赖 GitHub 的构建和安装任务需要稳定的网络。
有些任务反过来需要一个永远不变的地址:Stripe 可以把 API Key 限定在指定的 IPv4 地址上——它建议服务器有固定 IP 时这样做——也可以拦截住宅代理流量;GitHub REST API 对未认证请求按来源 IP 每小时限 60 次,并建议不要把 GitHub 托管运行器的 IP 段当作白名单。一条静态机房 IP 让任务只需加一次白名单,也有自己独立的限额。
- MDN:429 Too Many Requests
- Cloudflare 文档:IP 访问规则(按 IP、ASN 或国家)
- Cloudflare 博客:Content Independence Day, one year on
- Google Merchant Center 帮助:关于区域库存和价格
- Google 搜索中心:Google 如何抓取根据语言区域调整内容的网页
- Google 搜索帮助:为什么您的搜索结果可能与他人不同
- GreatFire:github.com 在中国大陆的测试记录
- Stripe 文档:API 密钥——访问策略
- GitHub 文档:REST API 的速率限制
- GitHub 文档:GitHub 托管的运行器——IP 地址
不同自动化任务用哪种代理
可使用方向键横向滚动,阅读完整内容。
| 比较项目 | 选择 | 原因 |
|---|---|---|
| 爬取公开页面和商品目录 | 动态住宅 | 消费级运营商网络上的家庭宽带 IP,适合封锁或限流服务器 IP 的网站 |
| 比价、排名监控、地域测试 | 动态住宅,每个市场一条粘性会话 | 整次运行中,每个市场保持自己的国家或城市 |
| Playwright、Selenium 测试和 CI | 静态机房 | 快速、固定的 IP;网站封服务器时改用住宅 |
| 网站监控、库存轮询、API 任务、AI Agent 工具调用 | 静态机房 | 一个可加白名单的固定地址,限额也是自己的 |
下面 10 个任务页里,6 个在控制台从静态机房开始,4 个从动态住宅开始;付款前所有设置都可以修改。
10 个自动化任务的代理配置
每页给出该任务的配置和代码——Python、Node.js、Playwright 或 Selenium——以及怎么分辨真实结果和拦截页。卡片上的「查看配置与价格」会打开控制台里该任务的起始配置。
Selenium 代理 IP
Selenium 设置带用户名密码的代理:ChromeOptions 填 HTTP 代理,再用 Selenium 自带的 BiDi 认证处理,不装插件。测试用静态机房 IP,实测可用。
查看配置与价格AI Agent 代理 IP
AI Agent 代理 IP:给 Browser Use、Playwright MCP、n8n 智能体配独立出口,工具和 API 用固定机房 IP,浏览网页用家庭宽带 IP;控制台「复制给 AI」可生成配置说明。
查看配置与价格三步配好自动化代理
先用一个请求试目标
用打算使用的代理发一个请求,确认返回的是真实页面,而不是 429、验证页或其他国家的版本。
打开任务对应的页面
每页写明代理在该工具里填在哪里,并直接打开控制台里对应的产品。
保持稳定的节奏
遵守 Retry-After、robots.txt 和网站条款,同一个页面能抓一次就不抓两次。
预期结果 429 更少,每次运行的结果可以互相对比。
自动化代理常见问题
爬虫用住宅 IP 还是机房 IP?
网站接受服务器 IP 时用机房,更快、单个 IP 更便宜;网站封锁托管网络或对服务器 IP 限流时用动态住宅。
用了代理就可以不管网站的限流吗?
不行。代理改变的是请求从哪里发出,不是网站的规则。遵守 429 和 Retry-After、robots.txt 和条款,保持稳定节奏。
一个自动化任务要几条代理?
需要独立国家、会话或限额的每个 worker 一条;要加白名单的,每个任务或环境一条固定 IP。
AI Agent 需要单独的代理吗?
每个 Agent 一个出口,一个出错的 Agent 不会连累其他 Agent 被限流:工具调用和 API 用固定机房 IP,浏览任务要看到当地访客看到的页面时用动态住宅。
来源与验证
11
- MDN:429 Too Many Requests
官方文档 · 核对于:
- Cloudflare 文档:IP 访问规则(按 IP、ASN 或国家)
官方文档 · 核对于:
- Cloudflare 博客:Content Independence Day, one year on
第三方来源 · 核对于:
- Google Merchant Center 帮助:关于区域库存和价格
官方文档 · 核对于:
- Google 搜索中心:Google 如何抓取根据语言区域调整内容的网页
官方文档 · 核对于:
- Google 搜索帮助:为什么您的搜索结果可能与他人不同
官方文档 · 核对于:
- Stripe 文档:API 密钥——访问策略
官方文档 · 核对于:
- GitHub 文档:REST API 的速率限制
官方文档 · 核对于:
- GitHub 文档:GitHub 托管的运行器——IP 地址
官方文档 · 核对于:
- GreatFire:github.com 在中国大陆的测试记录
第三方来源 · 核对于:
2026-10-18 查阅:http://github.com 访问不稳定,最近 6 次有效测试中 83% 受干扰。
第三方连通性测试,个别网络可能不同。
- Proxy302 控制台:各自动化任务页的起始配置
产品观察 · 核对于:
2026-10-18 核对网站与控制台源码:10 个自动化任务页中 6 个(Playwright、Selenium、库存监控、网站监控、API 定时同步、AI Agent)从静态机房开始;爬虫、价格监控、排名监控、地域测试从动态住宅开始。预设是可修改的起点,不代表访问保证。
准备好接入了吗?
注册账号、一次充值,即可选择动态住宅、静态 ISP 或数据中心出口。动态住宅覆盖 195+ 国家与地区。