跳到正文

更新

采集 Yahoo、Google 财经行情用什么代理

  1. Yahoo Finance、Google Finance、Nasdaq 的行情页都很小,成本很少是问题:动态住宅低价线路每 GB US$1.50。
  2. 规矩更要紧:Nasdaq 的 robots.txt 要求 30 秒的抓取间隔,Yahoo Finance 对一长串点名的数据和 AI 爬虫整站禁止,Google 的 robots.txt 没有 /finance 规则,但它的条款和流量检测照样适用。
  3. 价格是你要依赖的数据时,先看有没有授权的数据源适合你,再考虑抓取。

买完先验一次示例输出

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
和你下单时选的国家一致
第 15 天
203.0.113.24
租期内还是同一个地址
IP 为文档示例地址(203.0.113.0/24),不是真实出口
01 / 08出口国家对行情数据有什么影响

行情页很轻,问题在节奏和规矩,不在带宽。

出口国家对行情数据有什么影响

报价、币种、上市交易所和页面语言可能跟着请求来自的国家变,有些页面还会跳到地区站。先定好你要的地区版本(比如美国站),再把出口设到该国。

行情还有时效:你慢慢读到的页面可能已经晚了几秒或几分钟。每条报价都存下请求时间,不要把抓来的报价当成可用于成交的授权行情。

三家 robots.txt 我们打开时写了什么

三家 robots.txt 我们打开时写了什么
项目读到的内容对脚本意味着什么
Yahoo Finance(finance.yahoo.com)一长串点名的数据和 AI 爬虫(包括 GPTBot、ClaudeBot、CCBot、PerplexityBot)被整站禁止;其他所有爬虫(*)组禁止 /quotes/*、/lookup/、/compare/、/xhr 等路径,没有 crawl-delay站点对点名的数据爬虫管得很严;确认你的 user agent 和网址不在被关闭的规则里
Google Finance(google.com/finance)google.com/robots.txt 里所有爬虫(*)组没有 /finance 规则(唯一匹配的是对 /m/finance 的 Allow),而 /search 是禁止的仅看 robots.txt,/finance 页面没被关闭,但 Google 的服务条款和自动流量检测仍然适用
Nasdaq(nasdaq.com)所有爬虫(*):Crawl-delay 30(秒);/api/v1/*、带 q= 的搜索网址和期权链 call/put 路径禁止文件要求大约每 30 秒一个请求;内部接口路径是关的

来源:finance.yahoo.com、google.com、nasdaq.com 的 robots.txt 以及 Nasdaq Data Link 首页,2026 年 11 月 20 日打开。文件常变,每个项目开工前请读最新版和网站条款。这不是法律意见。

会话、速率和要避免的事

短批量任务一个 IP 就够:低价线路的会话(1 到 120 分钟)能固定它;不开会话则每个新连接换一个 IP。代理不限并发连接数,但要照文件的要求来:有 Crawl-delay 就至少等那么久,没有就先按几秒一个请求。

不要为多拿数据去登录,不采个人信息,遇到 429 或验证页就停,别靠加 IP 硬冲。user agent 如实写并带联系邮箱,每个数字都存下来源网址和请求时间。

查 robots.txt,遵守 Crawl-delay,取一页报价

import time
import urllib.robotparser
import requests

# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-market-research/1.0 (contact: you@example.com)"
CHECKS = [
    ("https://www.nasdaq.com", "/market-activity/stocks/aapl"),
    ("https://finance.yahoo.com", "/quote/AAPL/"),
]  # replace with the public pages you are allowed to read

for site, path in CHECKS:
    rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
    rp.read()
    if not rp.can_fetch(UA, site + path):
        print("robots.txt says no:", site + path)
        continue
    delay = rp.crawl_delay(UA) or 10  # honour Crawl-delay when the file sets one
    r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
    print(site + path, r.status_code, len(r.text), "waiting", delay, "s")
    time.sleep(delay)

示例:替换 LOGIN、PASSWORD、联系邮箱和页面。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。

4 步设置

  1. 第 1 步:选线路

    打开动态住宅代理。低价线路每 GB US$1.50(国家级);行情页很小,几 GB 就能覆盖大量请求。

  2. 第 2 步:设国家

    地区选成你所读站点版本所在的国家,生成连接,从「我的资产」复制主机、端口、用户名和密码。

  3. 第 3 步:测出口

    让 ipinfo.io 走代理访问。预期:显示你设的国家。

  4. 第 4 步:按文件要求的节奏跑

    只取 robots.txt 没关的路径,至少等 Crawl-delay 那么久,每条报价都存请求时间。

常见问题速查

HTTP 429、同意页或验证页

检查 请求太频繁或太整齐。

处理 至少等站点的 Crawl-delay,减少并行;持续出现就停,加 IP 解决不了。

报价显示成别的币种或交易所

检查 出口国家或地区站点和你预期的不一致。

处理 在 ipinfo.io 查出口,并打开你要的地区站点。

页面能打开但数字没有

检查 数值是页面加载后由脚本填进去的。

处理 改用 Playwright 这类浏览器工具并配同一个代理,或用授权的数据源。

金融数据采集常见问题

采集 Yahoo Finance 用什么代理?

用你所读站点版本所在国家的动态住宅代理,每 GB US$1.50 起。Yahoo 的 robots.txt 关闭了 /quotes/*、/lookup/ 等路径,并整站禁止许多点名的数据爬虫,先核对你的网址。

Nasdaq 限制爬虫吗?

它的 robots.txt 对所有爬虫设了 Crawl-delay 30,并关闭 /api/v1/*。请按这个节奏来。

抓来的行情能用于交易吗?

我们不提供交易建议。抓取的页面可能有延迟、不完整;价格是你要依赖的数据,就看看 Nasdaq Data Link 这类授权数据源,并读它的条款。

每个请求都要换新 IP 吗?

不用。每个新连接换一个 IP,复用的连接保持 IP。要控制的是节奏,不是追着换 IP。

延伸阅读

Proxy302 在 GitHub 上公开的同主题配置指南:

参考资料

6
  1. Yahoo Finance(finance.yahoo.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:一长串点名的数据和 AI 爬虫(包括 GPTBot、ClaudeBot、CCBot、PerplexityBot)被整站禁止;其他所有爬虫(*)组禁止 /quotes/*、/lookup/、/compare/、/xhr 等路径,没有 crawl-delay

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  2. Google Finance(google.com/finance) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:google.com/robots.txt 里所有爬虫(*)组没有 /finance 规则(唯一匹配的是对 /m/finance 的 Allow),而 /search 是禁止的

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  3. Nasdaq(nasdaq.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):Crawl-delay 30(秒);/api/v1/*、带 q= 的搜索网址和期权链 call/put 路径禁止

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  4. Nasdaq Data Link

    外部网站资料 · 确认日期:

    2026 年 11 月 20 日打开:页面标题为「Financial, Economic and Alternative Data | Nasdaq Data Link」,是与 nasdaq.com 网站分开的数据产品;内容靠脚本渲染,没有读到条款。

    我们只确认了这个产品存在;覆盖范围、授权和条款请自己核对。

  5. Requests 文档:Advanced usage(代理)

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。

  6. Proxy302 产品信息与价格表

    产品观察 · 确认日期:

    站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。

准备好试试了吗?

注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。