HTTP 429, страница согласия или проверки
Проверьте Запросы слишком частые или слишком однообразные.
Решение Ждите не меньше Crawl-delay сайта, уменьшите параллельность; если не проходит, остановитесь — добавление IP не поможет.
Обновлено
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
Страницы котировок лёгкие, поэтому вопрос в темпе и правилах, а не в трафике.
Котировки, валюта, биржа листинга и язык страницы могут зависеть от страны запроса, а некоторые страницы перенаправляют на региональный сайт. Решите, какая региональная версия вам нужна (например, американский сайт), и поставьте выход в эту страну.
Рыночные данные ещё и чувствительны ко времени: страница, которую вы читали не спеша, может отставать на секунды или минуты. Сохраняйте время запроса у каждой котировки и не принимайте собранные котировки за лицензируемый поток для торговли.
| Пункт | Что прочитали | Что это значит для скрипта |
|---|---|---|
| Yahoo Finance (finance.yahoo.com) | Длинный список названных краулеров данных и ИИ (включая GPTBot, ClaudeBot, CCBot и PerplexityBot) закрыт от всего сайта; группа для остальных краулеров (*) запрещает пути вроде /quotes/*, /lookup/, /compare/ и /xhr, строки crawl-delay нет | Сайт строго относится к названным краулерам данных; убедитесь, что ваш user agent и URL не попадают под закрытое правило |
| Google Finance (google.com/finance) | В группе для всех краулеров (*) в google.com/robots.txt правила для /finance нет (совпадает только Allow для /m/finance), при этом /search запрещён | По одному robots.txt страницы /finance не закрыты, но условия использования Google и проверки автоматического трафика всё равно действуют |
| Nasdaq (nasdaq.com) | Для всех краулеров (*): Crawl-delay 30 (секунд); запрещены /api/v1/*, поисковые URL с q= и пути цепочек опционов call/put | Файл просит примерно один запрос в 30 секунд; внутренние API-пути закрыты |
Источники: robots.txt сайтов finance.yahoo.com, google.com и nasdaq.com и главная страница Nasdaq Data Link, открыты 20 ноября 2026. Файлы часто меняются; перед каждым проектом читайте актуальный файл и условия сайта. Это не юридическая консультация.
Для короткого пакета хватает одного IP: сессия на Бюджетной линии (от 1 до 120 минут) его удерживает, а без сессии каждое новое соединение получает новый IP. Прокси не ограничивает одновременные соединения, но следуйте файлу: при заданном Crawl-delay ждите не меньше, а без него начните с одного запроса в несколько секунд.
Не входите в аккаунт ради лишних данных, не собирайте персональные данные, при 429 или странице проверки остановитесь, а не добавляйте IP. Указывайте честный user agent с контактным адресом и сохраняйте у каждого числа URL источника и время запроса.
import time
import urllib.robotparser
import requests
# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-market-research/1.0 (contact: you@example.com)"
CHECKS = [
("https://www.nasdaq.com", "/market-activity/stocks/aapl"),
("https://finance.yahoo.com", "/quote/AAPL/"),
] # replace with the public pages you are allowed to read
for site, path in CHECKS:
rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
rp.read()
if not rp.can_fetch(UA, site + path):
print("robots.txt says no:", site + path)
continue
delay = rp.crawl_delay(UA) or 10 # honour Crawl-delay when the file sets one
r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(site + path, r.status_code, len(r.text), "waiting", delay, "s")
time.sleep(delay)
Пример: замените LOGIN, PASSWORD, контактный адрес и страницы. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.
Откройте «Ротируемые резидентные прокси». Бюджетная линия: $1,50 за ГБ (уровень страны); страницы котировок небольшие, и нескольких ГБ хватает на много запросов.
Выберите регион страны той версии сайта, которую читаете, и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».
Откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.
Берите только пути, которые robots.txt оставляет открытыми, ждите не меньше Crawl-delay и сохраняйте время запроса у каждой котировки.
Проверьте Запросы слишком частые или слишком однообразные.
Решение Ждите не меньше Crawl-delay сайта, уменьшите параллельность; если не проходит, остановитесь — добавление IP не поможет.
Проверьте Страна выхода или региональный сайт не совпадают с ожидаемыми.
Решение Проверьте выход на ipinfo.io и откройте нужный региональный сайт.
Проверьте Значение подставляется скриптами после загрузки страницы.
Решение Используйте браузерный инструмент вроде Playwright с тем же прокси или лицензируемый источник данных.
Ротируемый резидентный в стране нужной версии сайта, от $1,50 за ГБ. В robots.txt Yahoo закрыты /quotes/*, /lookup/ и другие пути, а многие названные краулеры данных запрещены целиком, поэтому сначала сверьте свои URL.
В его robots.txt для всех краулеров задан Crawl-delay 30, а /api/v1/* закрыт. Держитесь этого темпа.
Советов по торговле мы не даём. Собранные страницы могут запаздывать и быть неполными; если вы зависите от цен, посмотрите лицензируемый источник вроде Nasdaq Data Link и прочитайте его условия.
Нет. Новый IP выдаётся на каждое новое соединение, повторно используемое соединение сохраняет IP. Следите за темпом, а не за сменой IP.
Руководства Proxy302 на GitHub по той же теме:
Официальная документация · Проверено:
Открыто 20 ноября 2026: Длинный список названных краулеров данных и ИИ (включая GPTBot, ClaudeBot, CCBot и PerplexityBot) закрыт от всего сайта; группа для остальных краулеров (*) запрещает пути вроде /quotes/*, /lookup/, /compare/ и /xhr, строки crawl-delay нет
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: В группе для всех краулеров (*) в google.com/robots.txt правила для /finance нет (совпадает только Allow для /m/finance), при этом /search запрещён
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): Crawl-delay 30 (секунд); запрещены /api/v1/*, поисковые URL с q= и пути цепочек опционов call/put
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Сторонний источник · Проверено:
Открыто 20 ноября 2026: страница называется «Financial, Economic and Alternative Data | Nasdaq Data Link» — это отдельный от сайта nasdaq.com продукт данных; контент рисуется скриптами, условия не читались.
Мы лишь убедились, что продукт существует; покрытие, лицензию и условия проверяйте сами.
Официальная документация · Проверено:
Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.
Наблюдение за продуктом · Проверено:
Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.
Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.