Цены приходят не в той валюте
Проверьте Страна выхода может не совпадать с витриной.
Решение Проверьте выход на ipinfo.io и используйте домен той же страны.
Обновлено
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
Страна выхода должна совпадать с витриной, одно подключение на задачу, темп запросов умеренный.
eBay, Etsy и Walmart показывают цену, валюту, способы доставки, а иногда и сам товар в зависимости от страны посетителя и версии сайта. Запрос из другой страны может вернуть другую цену или срок доставки, и сохранённое число уже не подходит для вашего рынка.
Поэтому сначала решите, какой рынок измеряете, поставьте страну прокси и проверьте выход до первого запуска. Ротируемые резидентные прокси покрывают 195+ стран; для нескольких рынков держите по одному подключению на страну, а не переключайтесь внутри одной задачи.
| Пункт | Что прочитали | Что это значит для скрипта |
|---|---|---|
| eBay (ebay.com) | Для всех краулеров (*): страницы поиска /sch/ запрещены (с несколькими исключениями Allow), а также пути вроде /itm/addToCart, /itm/watch/ и /usr/*/followers | Не обходите страницы поиска; читайте только нужные страницы отдельных лотов и не торопясь |
| Etsy (etsy.com) | Для всех краулеров (*): запрещены /api/, /cart, /your/ и поисковые URL с параметром q=, а также много параметров фильтров; строки crawl-delay нет; страницы товаров целиком не закрыты | Не трогайте поиск и пути аккаунта; страницы товаров публичны, но держите темп |
| Walmart (walmart.com) | Для всех краулеров (*): запрещены /search, /api/, /account/ и /orders, а также пути поиска магазинов и оформления; страницы товаров /ip/ в списке запретов не значатся; Crawl-delay 5 задан только для Slurp | Поиск по этому файлу закрыт; страницы товаров не перечислены, но темп держите вежливый |
Источники: robots.txt сайтов ebay.com, etsy.com и walmart.com, открыты 20 ноября 2026. Файлы меняются; перед каждым проектом читайте актуальный. Это не юридическая консультация, условия сайтов и API платформ могут говорить больше.
Без сессии каждое новое соединение получает новый IP, а повторно используемое сохраняет его, так что менять IP на каждый запрос не нужно. На Бюджетной линии есть и сессии от 1 до 120 минут, если один запуск должен идти с одного IP. Число одновременных соединений не ограничено, но ограничивает вас сам сайт: начните с одного запроса в несколько секунд на сайт и повышайте, пока страницы отдают 200.
Собирайте только публичные страницы, не входите в чужие аккаунты и не собирайте персональные данные; увидели 429 или повторные проверки — остановитесь, а увеличение числа IP не выход. Если вы продаёте на Etsy, для данных своего магазина правильный источник — его Open API.
import time
import urllib.robotparser
import requests
# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-price-research/1.0 (contact: you@example.com)"
SITE = "https://www.walmart.com"
PAGES = ["/ip/EXAMPLE-ITEM-ID"] # replace with the public product pages you need
rp = urllib.robotparser.RobotFileParser(SITE + "/robots.txt")
rp.read()
print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))
for path in PAGES:
if not rp.can_fetch(UA, SITE + path):
print("robots.txt says no:", path)
continue
r = requests.get(SITE + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(path, r.status_code, len(r.text))
time.sleep(3) # slow and steady; stop if you see 429
Пример: замените LOGIN, PASSWORD, контактный адрес и путь страницы. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.
Откройте «Ротируемые резидентные прокси». Бюджетная линия: $1,50 за ГБ (только страна), Премиум-линия: $5 за ГБ, можно выбрать штат или город. Пакеты от 50 до 500 ГБ снижают цену за ГБ на Бюджетной линии.
Выберите регион, совпадающий со страной витрины, и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».
Запустите скрипт выше или откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.
Берите только публичные страницы товаров, которые разрешает robots.txt, делайте паузы и сохраняйте дату и витрину рядом с каждой ценой.
Проверьте Страна выхода может не совпадать с витриной.
Решение Проверьте выход на ipinfo.io и используйте домен той же страны.
Проверьте Слишком много запросов слишком быстро.
Решение Снизьте темп, уменьшите параллельность; если сам выход выглядит неправильно, откройте тикет в поддержку с номером заказа.
Проверьте Скрипт не шлёт привычные браузеру заголовки или без таймаута, либо страница рисуется скриптами.
Решение Задайте User-Agent и таймаут; если данные рисуются скриптами, используйте браузерный инструмент вроде Playwright с тем же прокси.
Ротируемый резидентный в стране нужного сайта eBay, от $1,50 за ГБ. В robots.txt eBay закрыты страницы поиска /sch/, поэтому читайте отдельные лоты и держите темп.
В их robots.txt страницы товаров не входят в списки запретов, но пути поиска закрыты. Прочитайте и условия использования, а где есть официальное API под вашу задачу, берите его.
Нет. Новый IP выдаётся на каждое новое соединение, повторно используемое соединение сохраняет IP. Следите за темпом, а не за сменой IP.
Зависит от размера страниц и объёма; в руководстве по трафику есть способ оценки.
Руководства Proxy302 на GitHub по той же теме:
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): страницы поиска /sch/ запрещены (с несколькими исключениями Allow), а также пути вроде /itm/addToCart, /itm/watch/ и /usr/*/followers
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /api/, /cart, /your/ и поисковые URL с параметром q=, а также много параметров фильтров; строки crawl-delay нет; страницы товаров целиком не закрыты
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /search, /api/, /account/ и /orders, а также пути поиска магазинов и оформления; страницы товаров /ip/ в списке запретов не значатся; Crawl-delay 5 задан только для Slurp
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: страница описывает Open API v3 как REST API для инвентаря, заказов и управления магазином, с разделами об аутентификации и лимитах.
Документация посвящена интеграциям магазинов и приложений; для иного использования данных читайте условия.
Официальная документация · Проверено:
Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.
Наблюдение за продуктом · Проверено:
Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.
Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.