每个 URL 都回 407 或连接错误
检查 是否勾选了 Use Proxy Credentials、账号密码是否完整复制、端口是不是 HTTP 那个。
处理 从「我的资产」重新复制,重启程序。
停止条件 如果同一个代理用 curl 也失败,问题在代理信息,不在 Screaming Frog。
更新
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
代理在 Network 设置里填一次、重启生效;速度先降下来,再往上加。
Windows 和 Linux 版在 File > Settings > Network;macOS 版在 Screaming Frog SEO Spider > Settings > Network。勾选 Use Proxy Server,填地址和端口;代理要账号密码就再勾选 Use Proxy Credentials。改完必须重启程序才生效。
规划时要记住两条限制:只能配置一个代理,也不能加例外,所以这次抓取的所有 HTTP 和 HTTPS 请求要么全走代理,要么全不走。同一个 Network 页里还有 Use IPv4 Only,默认是开的。
| 项目 | 位置 | 作用 |
|---|---|---|
| Use Proxy Server | Settings > Network | 让抓取走你填的代理地址和端口。 |
| Use Proxy Credentials | Settings > Network | 填代理的账号密码。不勾的话,要登录的代理会回 407。 |
| Max Threads | Configuration > Speed | 同时发出的请求数,默认 5。站点变慢时先把它调低。 |
| Limit URI/s | Configuration > Speed | 用 Max URL/s 限制每秒请求数。官方指南提到按每秒请求数限速时,Max Threads 可以不动。 |
| Auto throttle | Configuration > Speed | 遇到站点用 429 或 503 顶回来时自动放慢。 |
菜单名来自 Screaming Frog 用户指南(2026 年 11 月 20 日阅读),不同版本可能有变化。
代理改的是站点看到的 IP,所以拿它来看另一个国家的访客会拿到什么:按国家的跳转、语言版本、本地化价格。它不会改 User-Agent,站点如果看 User-Agent,要另外设置。
如果目标站点本身要登录,那是另一回事,和 Use Proxy Credentials 不是一个设置:代理的账号密码只是用来打开代理。
| 项目 | 适合 | 注意 |
|---|---|---|
| 动态住宅 | 要抓很多页面、希望请求从不同 IP 发出,或者要看另一个国家。 | 每个新连接换一个 IP,复用的连接保持 IP,所以要登录或只放行固定 IP 的页面可能出问题。 |
| 静态住宅 | 站点只允许固定 IP 抓取,或者你想让多次审计用同一个 IP。 | 整次抓取都从一个固定 IP 发出,Max Threads 和每秒请求数要压低。 |
| 动态机房 | 只查美国、重速度、不在意 IP 类型。 | 不少站点对机房 IP 比对住宅 IP 更严格。 |
Proxy302 各线路的特性来自产品事实表和线路实测(2026 年 11 月 20 日),不保证在某个具体站点上的结果。
在控制台选好线路并生成连接。动态住宅同一组账号密码可用 HTTP(2222 端口)和 SOCKS5(3333 端口),给 Screaming Frog 用 HTTP 这条。
打开「我的资产」,复制 HOST、PORT、USERNAME、PASSWORD。
在 Screaming Frog 里勾选 Use Proxy Server,填 HOST 和 HTTP 端口,勾选 Use Proxy Credentials 并粘贴账号密码,然后重启程序。
先抓几个 URL,Max Threads 设 1 或 2,或打开 Limit URI/s,看响应码正常再提速。
要确认出口国家,就用同一个代理抓 https://ipinfo.io/json,读出口 IP。
检查 是否勾选了 Use Proxy Credentials、账号密码是否完整复制、端口是不是 HTTP 那个。
处理 从「我的资产」重新复制,重启程序。
停止条件 如果同一个代理用 curl 也失败,问题在代理信息,不在 Screaming Frog。
检查 Max Threads 和每秒请求数对这个站点太高。
处理 打开 Limit URI/s,调低 Max URL/s,保持 Auto throttle 开着。
停止条件 降到每秒 1 个 URL 还有 429,就停下来,联系站点方确认能不能抓。
检查 浏览器没走同一个代理,或站点按 User-Agent 区别对待。
处理 分别在浏览器和抓取工具里查出口 IP,再对比 User-Agent。
停止条件 需要登录的页面不在代理账号密码的覆盖范围内。
打开 Settings > Network,勾选 Use Proxy Server,填地址和端口,需要登录就勾选 Use Proxy Credentials,然后重启。macOS 的菜单是 Screaming Frog SEO Spider > Settings > Network。
只能配置一个代理。想让一次抓取拿到不同出口 IP,就用一个每个新连接换 IP 的网关地址。
我们读到的设置里只有地址、端口和账号密码,没有提到 SOCKS。想走有文档的路径,就用 HTTP 线路。
从低开始,比如 Max Threads 设 1 或 2,或打开 Limit URI/s,盯着 429 和 503,再一小步一小步加。
不保证。代理只换 IP,站点还会看速度、User-Agent 等其他信号。
Proxy302 在 GitHub 上公开的同主题配置指南:
官方文档 · 确认日期:
2026 年 11 月 20 日阅读:代理设置在 File > Settings > Network(Windows、Linux)或 Screaming Frog SEO Spider > Settings > Network(macOS),选项为「Use Proxy Server」「Use Proxy Credentials」;只能配置一个代理,改完要重启;速度在 Configuration > Speed:Max Threads(默认 5)、Limit URI/s 与 Max URL/s、遇到 429/503 的自动降速。
产品观察 · 确认日期:
站点的产品事实表(数值已于 2026 年 10 月 18-19 日对照控制台、后端和价格表核对):产品、美元价格(1 PTC = 1 美元)、租期、协议与端口、国家数、数量上限、没有免费试用。
注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。