HTTP 429、同意页或验证页
检查 请求太频繁或太整齐。
处理 至少等站点的 Crawl-delay,减少并行;持续出现就停,加 IP 解决不了。
更新
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
行情页很轻,问题在节奏和规矩,不在带宽。
报价、币种、上市交易所和页面语言可能跟着请求来自的国家变,有些页面还会跳到地区站。先定好你要的地区版本(比如美国站),再把出口设到该国。
行情还有时效:你慢慢读到的页面可能已经晚了几秒或几分钟。每条报价都存下请求时间,不要把抓来的报价当成可用于成交的授权行情。
| 项目 | 读到的内容 | 对脚本意味着什么 |
|---|---|---|
| Yahoo Finance(finance.yahoo.com) | 一长串点名的数据和 AI 爬虫(包括 GPTBot、ClaudeBot、CCBot、PerplexityBot)被整站禁止;其他所有爬虫(*)组禁止 /quotes/*、/lookup/、/compare/、/xhr 等路径,没有 crawl-delay | 站点对点名的数据爬虫管得很严;确认你的 user agent 和网址不在被关闭的规则里 |
| Google Finance(google.com/finance) | google.com/robots.txt 里所有爬虫(*)组没有 /finance 规则(唯一匹配的是对 /m/finance 的 Allow),而 /search 是禁止的 | 仅看 robots.txt,/finance 页面没被关闭,但 Google 的服务条款和自动流量检测仍然适用 |
| Nasdaq(nasdaq.com) | 所有爬虫(*):Crawl-delay 30(秒);/api/v1/*、带 q= 的搜索网址和期权链 call/put 路径禁止 | 文件要求大约每 30 秒一个请求;内部接口路径是关的 |
来源:finance.yahoo.com、google.com、nasdaq.com 的 robots.txt 以及 Nasdaq Data Link 首页,2026 年 11 月 20 日打开。文件常变,每个项目开工前请读最新版和网站条款。这不是法律意见。
短批量任务一个 IP 就够:低价线路的会话(1 到 120 分钟)能固定它;不开会话则每个新连接换一个 IP。代理不限并发连接数,但要照文件的要求来:有 Crawl-delay 就至少等那么久,没有就先按几秒一个请求。
不要为多拿数据去登录,不采个人信息,遇到 429 或验证页就停,别靠加 IP 硬冲。user agent 如实写并带联系邮箱,每个数字都存下来源网址和请求时间。
import time
import urllib.robotparser
import requests
# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-market-research/1.0 (contact: you@example.com)"
CHECKS = [
("https://www.nasdaq.com", "/market-activity/stocks/aapl"),
("https://finance.yahoo.com", "/quote/AAPL/"),
] # replace with the public pages you are allowed to read
for site, path in CHECKS:
rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
rp.read()
if not rp.can_fetch(UA, site + path):
print("robots.txt says no:", site + path)
continue
delay = rp.crawl_delay(UA) or 10 # honour Crawl-delay when the file sets one
r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(site + path, r.status_code, len(r.text), "waiting", delay, "s")
time.sleep(delay)
示例:替换 LOGIN、PASSWORD、联系邮箱和页面。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。
打开动态住宅代理。低价线路每 GB US$1.50(国家级);行情页很小,几 GB 就能覆盖大量请求。
地区选成你所读站点版本所在的国家,生成连接,从「我的资产」复制主机、端口、用户名和密码。
让 ipinfo.io 走代理访问。预期:显示你设的国家。
只取 robots.txt 没关的路径,至少等 Crawl-delay 那么久,每条报价都存请求时间。
检查 请求太频繁或太整齐。
处理 至少等站点的 Crawl-delay,减少并行;持续出现就停,加 IP 解决不了。
检查 出口国家或地区站点和你预期的不一致。
处理 在 ipinfo.io 查出口,并打开你要的地区站点。
检查 数值是页面加载后由脚本填进去的。
处理 改用 Playwright 这类浏览器工具并配同一个代理,或用授权的数据源。
用你所读站点版本所在国家的动态住宅代理,每 GB US$1.50 起。Yahoo 的 robots.txt 关闭了 /quotes/*、/lookup/ 等路径,并整站禁止许多点名的数据爬虫,先核对你的网址。
它的 robots.txt 对所有爬虫设了 Crawl-delay 30,并关闭 /api/v1/*。请按这个节奏来。
我们不提供交易建议。抓取的页面可能有延迟、不完整;价格是你要依赖的数据,就看看 Nasdaq Data Link 这类授权数据源,并读它的条款。
不用。每个新连接换一个 IP,复用的连接保持 IP。要控制的是节奏,不是追着换 IP。
Proxy302 在 GitHub 上公开的同主题配置指南:
官方文档 · 确认日期:
2026 年 11 月 20 日打开:一长串点名的数据和 AI 爬虫(包括 GPTBot、ClaudeBot、CCBot、PerplexityBot)被整站禁止;其他所有爬虫(*)组禁止 /quotes/*、/lookup/、/compare/、/xhr 等路径,没有 crawl-delay
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:google.com/robots.txt 里所有爬虫(*)组没有 /finance 规则(唯一匹配的是对 /m/finance 的 Allow),而 /search 是禁止的
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:所有爬虫(*):Crawl-delay 30(秒);/api/v1/*、带 q= 的搜索网址和期权链 call/put 路径禁止
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
外部网站资料 · 确认日期:
2026 年 11 月 20 日打开:页面标题为「Financial, Economic and Alternative Data | Nasdaq Data Link」,是与 nasdaq.com 网站分开的数据产品;内容靠脚本渲染,没有读到条款。
我们只确认了这个产品存在;覆盖范围、授权和条款请自己核对。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。
产品观察 · 确认日期:
站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。
注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。