К содержимому

Обновлено

Crawlee, Crawl4AI и Apify:
настройка прокси

  1. Crawlee: new ProxyConfiguration({ proxyUrls: [...] }), передаётся краулеру как proxyConfiguration.
  2. Crawl4AI: CrawlerRunConfig(proxy_config=ProxyConfig(server, username, password)).
  3. Apify: вставьте адреса прокси на вкладке Input актора в Proxy and browser configuration или вызовите Actor.createProxyConfiguration({ proxyUrls }). Без сессии Crawlee и Apify используют адреса по очереди.

Проверьте сразу после покупкиПример вывода

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
Совпадает с выбранной страной
День 15
203.0.113.24
Тот же адрес весь срок
Адреса для примера (203.0.113.0/24), не реальные выходы
01 / 13Один адрес прокси, три места для него

Куда писать прокси в трёх инструментах парсинга, как каждый из них ротирует адреса и как удержать сессию на одном IP.

Один адрес прокси, три места для него

Все три инструмента принимают прокси в виде http://LOGIN:PASSWORD@HOST:PORT, а Crawl4AI — ещё и отдельными полями: хост, порт, логин, пароль. Crawlee и Apify принимают и список, и без ID сессии используют его элементы по очереди. Берите HTTP-порт прокси: Crawl4AI и краулеры Playwright и Puppeteer в Crawlee управляют браузером на базе Chromium, а такие браузеры, как правило, не принимают SOCKS5 с логином и паролем.

Каждый пример обращается к https://ipinfo.io/json, поэтому в выводе видны страна и сеть выхода.

Crawlee: ProxyConfiguration и сессии

import { HttpCrawler, ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: ['http://LOGIN:PASSWORD@HOST:2222'],
});

const crawler = new HttpCrawler({
    proxyConfiguration,
    useSessionPool: true,
    persistCookiesPerSession: true,
    async requestHandler({ body }) {
        console.log(body.toString()); // ipinfo.io JSON: check country and org
    },
});

await crawler.run(['https://ipinfo.io/json']);

HttpCrawler подходит для любого типа содержимого, CheerioCrawler ожидает HTML. useSessionPool и persistCookiesPerSession держат cookie сессии вместе, а при обнаружении блокировки Crawlee заводит новую сессию.

Crawlee: сессии и уровни

По руководству Crawlee, без ID сессии адреса прокси используются по очереди, а с ID сессии для неё повторно используется один и тот же прокси. tieredProxyUrls позволяет Crawlee переходить на более высокий уровень прокси при блокировке и работает только когда конфигурация используется через краулер.

Сессия Crawlee соответствует одному адресу прокси, а не одному IP выхода. Если этот адрес — ротационный шлюз, новый IP может появиться при открытии нового соединения; когда сам IP должен не меняться, решайте это на стороне шлюза (сессия или постоянный IP).

Crawl4AI: proxy_config в CrawlerRunConfig

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, ProxyConfig

run_config = CrawlerRunConfig(
    proxy_config=ProxyConfig(
        server="http://HOST:2222",
        username="LOGIN",
        password="PASSWORD",
    )
)

async def main():
    async with AsyncWebCrawler(config=BrowserConfig()) as crawler:
        result = await crawler.arun(url="https://ipinfo.io/json", config=run_config)
        print(result.html)

asyncio.run(main())

Документация Crawl4AI советует задавать прокси для каждого запуска в CrawlerRunConfig; аргумент proxy у BrowserConfig устарел.

Crawl4AI: ротация

Для нескольких прокси в документации Crawl4AI есть RoundRobinProxyStrategy из crawl4ai.proxy_strategy, которая подключается через proxy_rotation_strategy в CrawlerRunConfig, а ProxyConfig.from_env читает переменную PROXIES в формате ip:port:user:pass через запятую.

С ротационным шлюзом нужен один прокси: шлюз выдаёт новый IP на каждое новое соединение. Стратегию ротации добавляйте, когда у вас несколько отдельных IP.

Акторы Apify: два способа добавить свой прокси

В консоли откройте вкладку Input актора, прокрутите до Proxy and browser configuration и введите адреса прокси. На странице Apify сказано, что поле появляется только у акторов, у которых оно описано во входной схеме, поэтому актор без этого поля не примет ваш прокси на вкладке Input.

В коде собственного актора соберите конфигурацию прокси из списка proxyUrls и передайте краулеру. По документации Apify proxyConfiguration.newUrl(sessionId) возвращает следующий адрес, а без ID сессии свои адреса используются по очереди.

Apify SDK: Actor.createProxyConfiguration

import { Actor } from 'apify';
import { HttpCrawler } from 'crawlee';

await Actor.init();

const proxyConfiguration = await Actor.createProxyConfiguration({
    proxyUrls: ['http://LOGIN:PASSWORD@HOST:2222'],
});

const crawler = new HttpCrawler({
    proxyConfiguration,
    async requestHandler({ body }) {
        await Actor.pushData({ response: body.toString() });
    },
});

await crawler.run(['https://ipinfo.io/json']);
await Actor.exit();

Запускайте внутри актора. Замените плейсхолдеры и проверьте страну прокси в сохранённом ответе.

Где указывать прокси

Где указывать прокси
ПунктГде настраиваетсяРотация без сессии
CrawleeПараметр proxyConfiguration краулера, ProxyConfiguration({ proxyUrls })Адреса по очереди; ID сессии закрепляет один адрес
Crawl4AIproxy_config в CrawlerRunConfigПо умолчанию без ротации; для списка добавьте RoundRobinProxyStrategy
Актор ApifyВкладка Input, Proxy and browser configuration, или Actor.createProxyConfigurationСвои адреса по очереди; newUrl(sessionId) закрепляет один

По страницам документации Crawlee, Crawl4AI и Apify из списка источников, прочитано 20 ноября 2026. Версии инструментов меняются, сверяйтесь со страницей своей версии.

Как это сделать с Proxy302

В каждом примере нужны четыре значения прокси Proxy302: хост, порт, логин и пароль. Для парсинга подходит трафик ротационных резидентных прокси, он оплачивается за ГБ (Бюджетная линия $1,50 за ГБ, Премиум-линия $5 за ГБ); HTTP работает на порту 2222, SOCKS5 на порту 3333 хоста proxy.proxy302.com, один логин подходит для обоих протоколов. Без сессии каждое новое соединение получает новый IP, а удерживаемое соединение сохраняет свой IP.

Если нужен один неизменный адрес, IP дата-центра можно арендовать: $0,25 за 1 день или $3,99 за 30 дней, HTTP или SOCKS5 выбирается при покупке. Бесплатного пробного периода нет; минимальная покупка — 1 ГБ трафика ротационных резидентных прокси или один IP на один день.

Как это сделать с Proxy302: шаги

  1. Шаг 1

    Откройте страницу ротационных резидентных прокси, выберите линию и нажмите «Проверить цену и создать». Если нужен постоянный IP, купите IP дата-центра на странице аренды по IP.

  2. Шаг 2

    Откройте «Мои активы» и скопируйте HOST, PORT, USERNAME и PASSWORD в точности как они показаны.

  3. Шаг 3

    Подставьте их в код из этой статьи, порт — по протоколу: 2222 для HTTP, 3333 для SOCKS5.

  4. Шаг 4

    Запустите код с запросом к https://ipinfo.io/json и проверьте, что поля country и org описывают прокси, а не ваше подключение.

Диагностика

Прокси возвращает 407 или ошибку аутентификации

Проверьте LOGIN и PASSWORD в адресе в точности как в «Мои активы»; спецсимволы пароля в URL кодируются в процентном виде.

Решение Скопируйте заново или используйте отдельные поля логина и пароля там, где они есть (Crawl4AI).

Когда остановиться Если тот же логин не работает и в curl, напишите в поддержку с номером заказа.

Таймауты или ошибка браузера ERR_PROXY_CONNECTION_FAILED

Проверьте Порт соответствует протоколу: 2222 для HTTP; адрес SOCKS5 с логином не используется в браузере на базе Chromium.

Решение Перейдите на http://HOST:2222 и запустите снова; остальные проверки — в руководстве по ошибке подключения.

Когда остановиться Если по всем портам таймаут из вашей сети, проверьте из другой сети, прежде чем менять код.

На вкладке Input актора нет поля прокси

Проверьте Во входной схеме актора конфигурация прокси не описана.

Решение Запустите свой актор с createProxyConfiguration или попросите автора добавить поле.

Когда остановиться Не пытайтесь править чужой актор; используйте собственный код.

Вопросы и ответы

Как добавить свой прокси в Crawlee?

Создайте new ProxyConfiguration({ proxyUrls: [...] }) и передайте как параметр proxyConfiguration краулера. Crawlee использует адреса по очереди, а при заданном ID сессии — один адрес на сессию.

Как задать прокси с логином в Crawl4AI?

Используйте CrawlerRunConfig(proxy_config=ProxyConfig(server=..., username=..., password=...)). Аргумент proxy у BrowserConfig устарел.

Можно ли использовать свой прокси в акторе Apify?

Да. Если у актора есть это поле, введите адреса прокси в Proxy and browser configuration на вкладке Input в консоли; в своём коде вызовите Actor.createProxyConfiguration с proxyUrls.

Как удержать один IP на всю сессию парсинга?

ID сессии в Crawlee или Apify закрепляет один адрес прокси. Если это ротационный шлюз, зафиксируйте IP ещё и на его стороне: откройте там сессию или используйте постоянный IP.

Читайте также

Руководства Proxy302 на GitHub по той же теме:

Ссылки и источники

5
  1. Crawlee: Proxy management

    Официальная документация · Проверено:

    Прочитано 20 ноября 2026: ProxyConfiguration с proxyUrls, поочерёдное использование без ID сессии, newUrl(sessionId), tieredProxyUrls, useSessionPool и persistCookiesPerSession, параметр proxyConfiguration у краулера.

  2. Crawl4AI: Proxy and security

    Официальная документация · Проверено:

    Прочитано 20 ноября 2026: CrawlerRunConfig(proxy_config=ProxyConfig(server, username, password)), ProxyConfig.from_string и from_env, устаревший аргумент прокси в BrowserConfig, RoundRobinProxyStrategy и proxy_rotation_strategy.

  3. Документация Apify: Using your own proxies

    Официальная документация · Проверено:

    Прочитано 20 ноября 2026: свои адреса прокси на вкладке Input актора в разделе Proxy and browser configuration (только для акторов, у которых это поле есть во входной схеме) и proxyConfiguration.newUrl(sessionId) в SDK.

  4. Apify SDK: Proxy management

    Официальная документация · Проверено:

    Прочитано 20 ноября 2026 (по краткому описанию страницы в результатах поиска): создание конфигурации прокси из списка proxyUrls и поочерёдное использование без ID сессии.

  5. Факты о продуктах и прайс Proxy302

    Наблюдение за продуктом · Проверено:

    Файл фактов о продуктах сайта (значения сверены с консолью, бэкендом и прайсом): продукты, цены в долларах США (1 PTC = 1 USD), сроки аренды, протоколы и порты, лимиты количества, отсутствие бесплатного теста.

Готовы попробовать?

Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.