Много ответов 429 или 403
Проверьте Темп запросов слишком высокий или однообразный, либо сайт не принимает такой краулер.
Решение Снизьте темп, соблюдайте Retry-After и robots.txt; если сайт закрыл путь, пропустите его.
Обновлено
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
В AI-пайплайне прокси — малая часть: что можно собирать, решают идентификация, robots.txt, темп и лицензия.
Ротируемые резидентные (195+ стран, HTTP и SOCKS5) подходят для страниц, зависящих от страны, и для сайтов, строгих к типу IP. Бюджетная линия работает на уровне страны, Премиум позволяет выбрать штат или город. Ротируемые прокси дата-центров — только США, тысячи IP в ротации, $0,40 за ГБ; это для лояльных сайтов, документации и API. Какие сайты с ними работают, см. в руководстве по дата-центрам.
Без сессии каждое новое соединение получает новый IP, а повторно используемое сохраняет его. Если несколько страниц должны выглядеть как один визит, используйте сессию (от 1 до 120 минут на Бюджетной резидентной линии, около 10 минут на ротируемых дата-центрах). Трафик считается по ГБ, поэтому не тяните лишнее: берите текстовые адреса, пропускайте картинки и скрипты.
| Пункт | Что прочитали | Что это значит для вашего пайплайна |
|---|---|---|
| RFC 9309 (стандарт robots.txt) | Указано, что правила robots.txt не являются формой авторизации доступа и что краулеру не следует использовать кэшированную копию файла дольше 24 часов, если её нельзя обновить | robots.txt — минимум вежливости, а не разрешение; перечитывайте его не реже раза в сутки, а условия и лицензии проверяйте отдельно |
| Страница краулеров OpenAI | Описаны отдельные user agent для robots.txt (OAI-SearchBot для поиска, GPTBot для контента, который может использоваться для обучения), настройки которых независимы; запрет GPTBot означает, что контент сайта не должен использоваться для обучения | Владельцы сайтов теперь задают правила по назначению (поиск, обучение); ожидайте их и уважайте назначение, названное в правиле |
| Страница CCBot Common Crawl | CCBot называет себя в user agent (CCBot/2.0 со ссылкой на описание), его можно закрыть правилом User-agent: CCBot и Disallow: / в robots.txt, он работает на выделенных диапазонах IP с обратным DNS, чтобы владельцы сайтов могли его проверить | Для больших проектов нормой считается названный и проверяемый краулер; если данные уже есть в открытом корпусе, их использование избавляет от собственного обхода |
Источники: RFC 9309, документация краулеров OpenAI и страница CCBot у Common Crawl, открыты 20 ноября 2026. Они описывают принятые нормы и не заменяют условия сайтов и лицензии. Это не юридическая консультация.
Называйте краулер в user agent и указывайте контактный адрес, читайте robots.txt перед каждым пакетом и снова не реже раза в сутки, пропускайте закрытое, а не пробуйте другой IP. Соблюдайте Crawl-delay, если он задан; иначе начните с одного запроса в несколько секунд на хост и замедляйтесь, когда замедляются ответы.
Отступайте при 429 и 503 (используйте Retry-After, если он есть), кэшируйте полученное, чтобы не грузить одну страницу дважды, не собирайте персональные данные и контент за авторизацией. Рядом с каждым документом в индексе храните URL источника, время загрузки и условия или лицензию, на которые опирались: это понадобится, когда источник попросит что-то удалить.
import time
import urllib.robotparser
import requests
# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
# A crawler that names itself and says how to reach you is easy for site owners to deal with.
UA = "my-rag-crawler/1.0 (+https://example.com/crawler; contact: you@example.com)"
def polite_get(url, robots, default_delay=5, tries=3):
if not robots.can_fetch(UA, url):
return None # robots.txt says no: skip, do not retry through another IP
delay = robots.crawl_delay(UA) or default_delay
for attempt in range(tries):
r = requests.get(url, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
if r.status_code != 429:
time.sleep(delay)
return r
wait = int(r.headers.get("Retry-After", "60")) if r.headers.get("Retry-After", "").isdigit() else 60 * (attempt + 1)
time.sleep(wait) # back off instead of adding IPs
return None
site = "https://example.com"
robots = urllib.robotparser.RobotFileParser(site + "/robots.txt")
robots.read()
for path in ["/docs/page-1", "/docs/page-2"]: # replace with pages you are allowed to read
r = polite_get(site + path, robots)
print(path, None if r is None else (r.status_code, len(r.text)))
Пример: замените LOGIN, PASSWORD, описание краулера, сайт и пути. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.
Для сайтов, зависящих от страны, или строгих — «Ротируемые резидентные прокси» ($1,50 за ГБ Бюджетная, $5 Премиум); для лояльных сайтов и API — ротируемые прокси дата-центров ($0,40 за ГБ, только США).
Выберите регион (и длительность сессии, если пакет должен идти с одного IP), хост, порт, логин и пароль скопируйте в «Мои активы».
Откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.
Назовите краулер, следуйте robots.txt, держите темп и храните URL источника, время и условия рядом с каждым документом.
Проверьте Темп запросов слишком высокий или однообразный, либо сайт не принимает такой краулер.
Решение Снизьте темп, соблюдайте Retry-After и robots.txt; если сайт закрыл путь, пропустите его.
Проверьте Контент подставляется скриптами после загрузки.
Решение Используйте браузерный инструмент вроде Playwright с тем же прокси или поищите официальный API или фид.
Проверьте Картинки, скрипты и повторные загрузки тоже считаются трафиком.
Решение Берите только текст, кэшируйте страницы и смотрите расход в «Мои активы».
Ротируемый резидентный для страниц, зависящих от страны, и строгих сайтов — от $1,50 за ГБ; ротируемые прокси дата-центров (только США, $0,40 за ГБ) — для лояльных сайтов и API. Темп и правила важнее типа IP.
Нет. В RFC 9309 сказано, что его правила не являются формой авторизации доступа, поэтому проверьте и условия сайта, и лицензию.
Для крупных краулеров это норма: GPTBot и CCBot называют себя, а владельцы сайтов задают правила по user agent.
Только для многостраничных сценариев, которые должны идти с одного IP; для независимых загрузок страниц подходит значение по умолчанию (новый IP на новое соединение).
Руководства Proxy302 на GitHub по той же теме:
Официальная документация · Проверено:
Открыто 20 ноября 2026: Указано, что правила robots.txt не являются формой авторизации доступа и что краулеру не следует использовать кэшированную копию файла дольше 24 часов, если её нельзя обновить
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Описаны отдельные user agent для robots.txt (OAI-SearchBot для поиска, GPTBot для контента, который может использоваться для обучения), настройки которых независимы; запрет GPTBot означает, что контент сайта не должен использоваться для обучения
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: CCBot называет себя в user agent (CCBot/2.0 со ссылкой на описание), его можно закрыть правилом User-agent: CCBot и Disallow: / в robots.txt, он работает на выделенных диапазонах IP с обратным DNS, чтобы владельцы сайтов могли его проверить
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.
Наблюдение за продуктом · Проверено:
Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.
Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.