К содержимому

Обновлено

Прокси для сбора данных для AI и RAG:
тип IP, сессии

  1. Для сбора данных для AI и загрузки в RAG берите ротируемый резидентный прокси ($1,50 за ГБ на Бюджетной линии), если страницы зависят от страны или строги к IP дата-центров, а для лояльных сайтов и API рассмотрите ротируемые прокси дата-центров только из США ($0,40 за ГБ).
  2. Каким бы ни был тип IP, обходите сайты уважительно: назовите краулер, следуйте robots.txt (RFC 9309 говорит, что это не разрешение, поэтому проверьте и условия, и лицензии), держите темп и отступайте при 429.
  3. Если данные есть в открытом корпусе или лицензируемом источнике, начните оттуда.

Проверьте сразу после покупкиПример вывода

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
Совпадает с выбранной страной
День 15
203.0.113.24
Тот же адрес весь срок
Адреса для примера (203.0.113.0/24), не реальные выходы
01 / 08Какой тип IP для какой части пайплайна

В AI-пайплайне прокси — малая часть: что можно собирать, решают идентификация, robots.txt, темп и лицензия.

Какой тип IP для какой части пайплайна

Ротируемые резидентные (195+ стран, HTTP и SOCKS5) подходят для страниц, зависящих от страны, и для сайтов, строгих к типу IP. Бюджетная линия работает на уровне страны, Премиум позволяет выбрать штат или город. Ротируемые прокси дата-центров — только США, тысячи IP в ротации, $0,40 за ГБ; это для лояльных сайтов, документации и API. Какие сайты с ними работают, см. в руководстве по дата-центрам.

Без сессии каждое новое соединение получает новый IP, а повторно используемое сохраняет его. Если несколько страниц должны выглядеть как один визит, используйте сессию (от 1 до 120 минут на Бюджетной резидентной линии, около 10 минут на ротируемых дата-центрах). Трафик считается по ГБ, поэтому не тяните лишнее: берите текстовые адреса, пропускайте картинки и скрипты.

Что говорят опубликованные правила о краулерах

Что говорят опубликованные правила о краулерах
ПунктЧто прочиталиЧто это значит для вашего пайплайна
RFC 9309 (стандарт robots.txt)Указано, что правила robots.txt не являются формой авторизации доступа и что краулеру не следует использовать кэшированную копию файла дольше 24 часов, если её нельзя обновитьrobots.txt — минимум вежливости, а не разрешение; перечитывайте его не реже раза в сутки, а условия и лицензии проверяйте отдельно
Страница краулеров OpenAIОписаны отдельные user agent для robots.txt (OAI-SearchBot для поиска, GPTBot для контента, который может использоваться для обучения), настройки которых независимы; запрет GPTBot означает, что контент сайта не должен использоваться для обученияВладельцы сайтов теперь задают правила по назначению (поиск, обучение); ожидайте их и уважайте назначение, названное в правиле
Страница CCBot Common CrawlCCBot называет себя в user agent (CCBot/2.0 со ссылкой на описание), его можно закрыть правилом User-agent: CCBot и Disallow: / в robots.txt, он работает на выделенных диапазонах IP с обратным DNS, чтобы владельцы сайтов могли его проверитьДля больших проектов нормой считается названный и проверяемый краулер; если данные уже есть в открытом корпусе, их использование избавляет от собственного обхода

Источники: RFC 9309, документация краулеров OpenAI и страница CCBot у Common Crawl, открыты 20 ноября 2026. Они описывают принятые нормы и не заменяют условия сайтов и лицензии. Это не юридическая консультация.

Уважительный обход: шесть привычек

Называйте краулер в user agent и указывайте контактный адрес, читайте robots.txt перед каждым пакетом и снова не реже раза в сутки, пропускайте закрытое, а не пробуйте другой IP. Соблюдайте Crawl-delay, если он задан; иначе начните с одного запроса в несколько секунд на хост и замедляйтесь, когда замедляются ответы.

Отступайте при 429 и 503 (используйте Retry-After, если он есть), кэшируйте полученное, чтобы не грузить одну страницу дважды, не собирайте персональные данные и контент за авторизацией. Рядом с каждым документом в индексе храните URL источника, время загрузки и условия или лицензию, на которые опирались: это понадобится, когда источник попросит что-то удалить.

Вежливый цикл: robots.txt, Crawl-delay, отступление при 429

import time
import urllib.robotparser
import requests

# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
# A crawler that names itself and says how to reach you is easy for site owners to deal with.
UA = "my-rag-crawler/1.0 (+https://example.com/crawler; contact: you@example.com)"

def polite_get(url, robots, default_delay=5, tries=3):
    if not robots.can_fetch(UA, url):
        return None  # robots.txt says no: skip, do not retry through another IP
    delay = robots.crawl_delay(UA) or default_delay
    for attempt in range(tries):
        r = requests.get(url, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
        if r.status_code != 429:
            time.sleep(delay)
            return r
        wait = int(r.headers.get("Retry-After", "60")) if r.headers.get("Retry-After", "").isdigit() else 60 * (attempt + 1)
        time.sleep(wait)  # back off instead of adding IPs
    return None

site = "https://example.com"
robots = urllib.robotparser.RobotFileParser(site + "/robots.txt")
robots.read()
for path in ["/docs/page-1", "/docs/page-2"]:  # replace with pages you are allowed to read
    r = polite_get(site + path, robots)
    print(path, None if r is None else (r.status_code, len(r.text)))

Пример: замените LOGIN, PASSWORD, описание краулера, сайт и пути. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.

Настройка за 4 шага

  1. Шаг 1: Выберите тип IP

    Для сайтов, зависящих от страны, или строгих — «Ротируемые резидентные прокси» ($1,50 за ГБ Бюджетная, $5 Премиум); для лояльных сайтов и API — ротируемые прокси дата-центров ($0,40 за ГБ, только США).

  2. Шаг 2: Создайте подключение

    Выберите регион (и длительность сессии, если пакет должен идти с одного IP), хост, порт, логин и пароль скопируйте в «Мои активы».

  3. Шаг 3: Проверьте выход

    Откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.

  4. Шаг 4: Обходите вежливо и ведите лог

    Назовите краулер, следуйте robots.txt, держите темп и храните URL источника, время и условия рядом с каждым документом.

Быстрые решения

Много ответов 429 или 403

Проверьте Темп запросов слишком высокий или однообразный, либо сайт не принимает такой краулер.

Решение Снизьте темп, соблюдайте Retry-After и robots.txt; если сайт закрыл путь, пропустите его.

Страницы приходят пустыми для вашего парсера

Проверьте Контент подставляется скриптами после загрузки.

Решение Используйте браузерный инструмент вроде Playwright с тем же прокси или поищите официальный API или фид.

Трафика уходит больше ожидаемого

Проверьте Картинки, скрипты и повторные загрузки тоже считаются трафиком.

Решение Берите только текст, кэшируйте страницы и смотрите расход в «Мои активы».

Частые вопросы о сборе данных для AI

Какой прокси для сбора данных для AI?

Ротируемый резидентный для страниц, зависящих от страны, и строгих сайтов — от $1,50 за ГБ; ротируемые прокси дата-центров (только США, $0,40 за ГБ) — для лояльных сайтов и API. Темп и правила важнее типа IP.

Даёт ли robots.txt разрешение на сбор?

Нет. В RFC 9309 сказано, что его правила не являются формой авторизации доступа, поэтому проверьте и условия сайта, и лицензию.

Нужно ли краулеру представляться?

Для крупных краулеров это норма: GPTBot и CCBot называют себя, а владельцы сайтов задают правила по user agent.

Нужны ли sticky-сессии для загрузки в RAG?

Только для многостраничных сценариев, которые должны идти с одного IP; для независимых загрузок страниц подходит значение по умолчанию (новый IP на новое соединение).

Читайте также

Руководства Proxy302 на GitHub по той же теме:

Ссылки и источники

5
  1. RFC 9309: Robots Exclusion Protocol

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Указано, что правила robots.txt не являются формой авторизации доступа и что краулеру не следует использовать кэшированную копию файла дольше 24 часов, если её нельзя обновить

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  2. OpenAI: обзор краулеров OpenAI

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Описаны отдельные user agent для robots.txt (OAI-SearchBot для поиска, GPTBot для контента, который может использоваться для обучения), настройки которых независимы; запрет GPTBot означает, что контент сайта не должен использоваться для обучения

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  3. Common Crawl: CCBot

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: CCBot называет себя в user agent (CCBot/2.0 со ссылкой на описание), его можно закрыть правилом User-agent: CCBot и Disallow: / в robots.txt, он работает на выделенных диапазонах IP с обратным DNS, чтобы владельцы сайтов могли его проверить

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  4. Документация Requests: Advanced usage, Proxies

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.

  5. Продуктовые факты и прайс Proxy302

    Наблюдение за продуктом · Проверено:

    Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.

Готовы попробовать?

Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.