跳到正文

更新

Screaming Frog 代理设置:
登录、地区、抓取速度

  1. Screaming Frog 一次抓取只能用一个代理:打开 Network 设置,勾选 Use Proxy Server,填地址和端口,需要账号密码就勾选 Use Proxy Credentials,然后重启程序。
  2. 建议用 HTTP 线路(Proxy302 是 2222 端口),因为我们读到的设置里没有提到 SOCKS。
  3. 出口 IP 决定站点把你当成哪个国家,速度设置决定会不会开始返回 429。

买完先验一次示例输出

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
和你下单时选的国家一致
第 15 天
203.0.113.24
租期内还是同一个地址
IP 为文档示例地址(203.0.113.0/24),不是真实出口
01 / 08代理填在哪里

代理在 Network 设置里填一次、重启生效;速度先降下来,再往上加。

代理填在哪里

Windows 和 Linux 版在 File > Settings > Network;macOS 版在 Screaming Frog SEO Spider > Settings > Network。勾选 Use Proxy Server,填地址和端口;代理要账号密码就再勾选 Use Proxy Credentials。改完必须重启程序才生效。

规划时要记住两条限制:只能配置一个代理,也不能加例外,所以这次抓取的所有 HTTP 和 HTTPS 请求要么全走代理,要么全不走。同一个 Network 页里还有 Use IPv4 Only,默认是开的。

走代理抓取时要关注的设置

走代理抓取时要关注的设置
项目位置作用
Use Proxy ServerSettings > Network让抓取走你填的代理地址和端口。
Use Proxy CredentialsSettings > Network填代理的账号密码。不勾的话,要登录的代理会回 407。
Max ThreadsConfiguration > Speed同时发出的请求数,默认 5。站点变慢时先把它调低。
Limit URI/sConfiguration > Speed用 Max URL/s 限制每秒请求数。官方指南提到按每秒请求数限速时,Max Threads 可以不动。
Auto throttleConfiguration > Speed遇到站点用 429 或 503 顶回来时自动放慢。

菜单名来自 Screaming Frog 用户指南(2026 年 11 月 20 日阅读),不同版本可能有变化。

地区、登录,以及代理能改什么

代理改的是站点看到的 IP,所以拿它来看另一个国家的访客会拿到什么:按国家的跳转、语言版本、本地化价格。它不会改 User-Agent,站点如果看 User-Agent,要另外设置。

如果目标站点本身要登录,那是另一回事,和 Use Proxy Credentials 不是一个设置:代理的账号密码只是用来打开代理。

不同抓取任务用哪种 IP

不同抓取任务用哪种 IP
项目适合注意
动态住宅要抓很多页面、希望请求从不同 IP 发出,或者要看另一个国家。每个新连接换一个 IP,复用的连接保持 IP,所以要登录或只放行固定 IP 的页面可能出问题。
静态住宅站点只允许固定 IP 抓取,或者你想让多次审计用同一个 IP。整次抓取都从一个固定 IP 发出,Max Threads 和每秒请求数要压低。
动态机房只查美国、重速度、不在意 IP 类型。不少站点对机房 IP 比对住宅 IP 更严格。

Proxy302 各线路的特性来自产品事实表和线路实测(2026 年 11 月 20 日),不保证在某个具体站点上的结果。

用 Proxy302 设置

  1. 第 1 步

    在控制台选好线路并生成连接。动态住宅同一组账号密码可用 HTTP(2222 端口)和 SOCKS5(3333 端口),给 Screaming Frog 用 HTTP 这条。

  2. 第 2 步

    打开「我的资产」,复制 HOST、PORT、USERNAME、PASSWORD。

  3. 第 3 步

    在 Screaming Frog 里勾选 Use Proxy Server,填 HOST 和 HTTP 端口,勾选 Use Proxy Credentials 并粘贴账号密码,然后重启程序。

  4. 第 4 步

    先抓几个 URL,Max Threads 设 1 或 2,或打开 Limit URI/s,看响应码正常再提速。

  5. 第 5 步

    要确认出口国家,就用同一个代理抓 https://ipinfo.io/json,读出口 IP。

常见问题

每个 URL 都回 407 或连接错误

检查 是否勾选了 Use Proxy Credentials、账号密码是否完整复制、端口是不是 HTTP 那个。

处理 从「我的资产」重新复制,重启程序。

停止条件 如果同一个代理用 curl 也失败,问题在代理信息,不在 Screaming Frog。

抓一阵后出现 429 或 503

检查 Max Threads 和每秒请求数对这个站点太高。

处理 打开 Limit URI/s,调低 Max URL/s,保持 Auto throttle 开着。

停止条件 降到每秒 1 个 URL 还有 429,就停下来,联系站点方确认能不能抓。

抓到的页面和浏览器里看到的不一样

检查 浏览器没走同一个代理,或站点按 User-Agent 区别对待。

处理 分别在浏览器和抓取工具里查出口 IP,再对比 User-Agent。

停止条件 需要登录的页面不在代理账号密码的覆盖范围内。

关于 Screaming Frog 和代理的常见问题

Screaming Frog 怎么加代理?

打开 Settings > Network,勾选 Use Proxy Server,填地址和端口,需要登录就勾选 Use Proxy Credentials,然后重启。macOS 的菜单是 Screaming Frog SEO Spider > Settings > Network。

Screaming Frog 能用多个代理吗?

只能配置一个代理。想让一次抓取拿到不同出口 IP,就用一个每个新连接换 IP 的网关地址。

Screaming Frog 支持 SOCKS5 吗?

我们读到的设置里只有地址、端口和账号密码,没有提到 SOCKS。想走有文档的路径,就用 HTTP 线路。

走代理抓取速度设多少合适?

从低开始,比如 Max Threads 设 1 或 2,或打开 Limit URI/s,盯着 429 和 503,再一小步一小步加。

用了代理就保证不被拦吗?

不保证。代理只换 IP,站点还会看速度、User-Agent 等其他信号。

延伸阅读

Proxy302 在 GitHub 上公开的同主题配置指南:

参考资料

2
  1. Screaming Frog SEO Spider 用户指南:Configuration

    官方文档 · 确认日期:

    2026 年 11 月 20 日阅读:代理设置在 File > Settings > Network(Windows、Linux)或 Screaming Frog SEO Spider > Settings > Network(macOS),选项为「Use Proxy Server」「Use Proxy Credentials」;只能配置一个代理,改完要重启;速度在 Configuration > Speed:Max Threads(默认 5)、Limit URI/s 与 Max URL/s、遇到 429/503 的自动降速。

  2. Proxy302 产品事实与价格表

    产品观察 · 确认日期:

    站点的产品事实表(数值已于 2026 年 10 月 18-19 日对照控制台、后端和价格表核对):产品、美元价格(1 PTC = 1 美元)、租期、协议与端口、国家数、数量上限、没有免费试用。

准备好试试了吗?

注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。