К содержимому

Обновлено

Прокси для парсинга Yahoo Finance и Google Finance

  1. Страницы котировок Yahoo Finance, Google Finance и Nasdaq небольшие, так что цена редко проблема: ротируемый резидентный прокси на Бюджетной линии стоит $1,50 за ГБ.
  2. Важнее правила.
  3. В robots.txt Nasdaq задана задержка 30 секунд, Yahoo Finance закрывает от всего сайта длинный список названных краулеров данных и ИИ, а в robots.txt Google правила для /finance нет, но условия и проверки трафика действуют. Если вы зависите от цен, сначала проверьте, подойдёт ли лицензируемый источник данных, и только потом думайте о парсинге.

Проверьте сразу после покупкиПример вывода

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
Совпадает с выбранной страной
День 15
203.0.113.24
Тот же адрес весь срок
Адреса для примера (203.0.113.0/24), не реальные выходы
01 / 08Что меняет страна выхода для рыночных данных

Страницы котировок лёгкие, поэтому вопрос в темпе и правилах, а не в трафике.

Что меняет страна выхода для рыночных данных

Котировки, валюта, биржа листинга и язык страницы могут зависеть от страны запроса, а некоторые страницы перенаправляют на региональный сайт. Решите, какая региональная версия вам нужна (например, американский сайт), и поставьте выход в эту страну.

Рыночные данные ещё и чувствительны ко времени: страница, которую вы читали не спеша, может отставать на секунды или минуты. Сохраняйте время запроса у каждой котировки и не принимайте собранные котировки за лицензируемый поток для торговли.

Что было в robots.txt, когда мы его открыли

Что было в robots.txt, когда мы его открыли
ПунктЧто прочиталиЧто это значит для скрипта
Yahoo Finance (finance.yahoo.com)Длинный список названных краулеров данных и ИИ (включая GPTBot, ClaudeBot, CCBot и PerplexityBot) закрыт от всего сайта; группа для остальных краулеров (*) запрещает пути вроде /quotes/*, /lookup/, /compare/ и /xhr, строки crawl-delay нетСайт строго относится к названным краулерам данных; убедитесь, что ваш user agent и URL не попадают под закрытое правило
Google Finance (google.com/finance)В группе для всех краулеров (*) в google.com/robots.txt правила для /finance нет (совпадает только Allow для /m/finance), при этом /search запрещёнПо одному robots.txt страницы /finance не закрыты, но условия использования Google и проверки автоматического трафика всё равно действуют
Nasdaq (nasdaq.com)Для всех краулеров (*): Crawl-delay 30 (секунд); запрещены /api/v1/*, поисковые URL с q= и пути цепочек опционов call/putФайл просит примерно один запрос в 30 секунд; внутренние API-пути закрыты

Источники: robots.txt сайтов finance.yahoo.com, google.com и nasdaq.com и главная страница Nasdaq Data Link, открыты 20 ноября 2026. Файлы часто меняются; перед каждым проектом читайте актуальный файл и условия сайта. Это не юридическая консультация.

Сессии, темп и чего избегать

Для короткого пакета хватает одного IP: сессия на Бюджетной линии (от 1 до 120 минут) его удерживает, а без сессии каждое новое соединение получает новый IP. Прокси не ограничивает одновременные соединения, но следуйте файлу: при заданном Crawl-delay ждите не меньше, а без него начните с одного запроса в несколько секунд.

Не входите в аккаунт ради лишних данных, не собирайте персональные данные, при 429 или странице проверки остановитесь, а не добавляйте IP. Указывайте честный user agent с контактным адресом и сохраняйте у каждого числа URL источника и время запроса.

Проверить robots.txt, соблюсти Crawl-delay, получить одну страницу котировки

import time
import urllib.robotparser
import requests

# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-market-research/1.0 (contact: you@example.com)"
CHECKS = [
    ("https://www.nasdaq.com", "/market-activity/stocks/aapl"),
    ("https://finance.yahoo.com", "/quote/AAPL/"),
]  # replace with the public pages you are allowed to read

for site, path in CHECKS:
    rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
    rp.read()
    if not rp.can_fetch(UA, site + path):
        print("robots.txt says no:", site + path)
        continue
    delay = rp.crawl_delay(UA) or 10  # honour Crawl-delay when the file sets one
    r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
    print(site + path, r.status_code, len(r.text), "waiting", delay, "s")
    time.sleep(delay)

Пример: замените LOGIN, PASSWORD, контактный адрес и страницы. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.

Настройка за 4 шага

  1. Шаг 1: Выберите линию

    Откройте «Ротируемые резидентные прокси». Бюджетная линия: $1,50 за ГБ (уровень страны); страницы котировок небольшие, и нескольких ГБ хватает на много запросов.

  2. Шаг 2: Задайте страну

    Выберите регион страны той версии сайта, которую читаете, и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».

  3. Шаг 3: Проверьте выход

    Откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.

  4. Шаг 4: Работайте в темпе, который просит файл

    Берите только пути, которые robots.txt оставляет открытыми, ждите не меньше Crawl-delay и сохраняйте время запроса у каждой котировки.

Быстрые решения

HTTP 429, страница согласия или проверки

Проверьте Запросы слишком частые или слишком однообразные.

Решение Ждите не меньше Crawl-delay сайта, уменьшите параллельность; если не проходит, остановитесь — добавление IP не поможет.

Котировки в другой валюте или с другой биржи

Проверьте Страна выхода или региональный сайт не совпадают с ожидаемыми.

Решение Проверьте выход на ipinfo.io и откройте нужный региональный сайт.

Страница открывается, но числа нет

Проверьте Значение подставляется скриптами после загрузки страницы.

Решение Используйте браузерный инструмент вроде Playwright с тем же прокси или лицензируемый источник данных.

Частые вопросы о финансовых данных

Какой прокси для парсинга Yahoo Finance?

Ротируемый резидентный в стране нужной версии сайта, от $1,50 за ГБ. В robots.txt Yahoo закрыты /quotes/*, /lookup/ и другие пути, а многие названные краулеры данных запрещены целиком, поэтому сначала сверьте свои URL.

Ограничивает ли Nasdaq краулеров?

В его robots.txt для всех краулеров задан Crawl-delay 30, а /api/v1/* закрыт. Держитесь этого темпа.

Годятся ли собранные котировки для торговли?

Советов по торговле мы не даём. Собранные страницы могут запаздывать и быть неполными; если вы зависите от цен, посмотрите лицензируемый источник вроде Nasdaq Data Link и прочитайте его условия.

Нужен ли новый IP на каждый запрос?

Нет. Новый IP выдаётся на каждое новое соединение, повторно используемое соединение сохраняет IP. Следите за темпом, а не за сменой IP.

Читайте также

Руководства Proxy302 на GitHub по той же теме:

Ссылки и источники

6
  1. Yahoo Finance (finance.yahoo.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Длинный список названных краулеров данных и ИИ (включая GPTBot, ClaudeBot, CCBot и PerplexityBot) закрыт от всего сайта; группа для остальных краулеров (*) запрещает пути вроде /quotes/*, /lookup/, /compare/ и /xhr, строки crawl-delay нет

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  2. Google Finance (google.com/finance) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: В группе для всех краулеров (*) в google.com/robots.txt правила для /finance нет (совпадает только Allow для /m/finance), при этом /search запрещён

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  3. Nasdaq (nasdaq.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Для всех краулеров (*): Crawl-delay 30 (секунд); запрещены /api/v1/*, поисковые URL с q= и пути цепочек опционов call/put

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  4. Nasdaq Data Link

    Сторонний источник · Проверено:

    Открыто 20 ноября 2026: страница называется «Financial, Economic and Alternative Data | Nasdaq Data Link» — это отдельный от сайта nasdaq.com продукт данных; контент рисуется скриптами, условия не читались.

    Мы лишь убедились, что продукт существует; покрытие, лицензию и условия проверяйте сами.

  5. Документация Requests: Advanced usage, Proxies

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.

  6. Продуктовые факты и прайс Proxy302

    Наблюдение за продуктом · Проверено:

    Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.

Готовы попробовать?

Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.