Появилась страница проверки или HTTP 403
Проверьте Запросы слишком быстрые, либо этот путь сайт закрывает.
Решение Снизьте темп, уменьшите параллельность и сверьте путь с robots.txt; добавление IP не поможет.
Обновлено
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
Порталы недвижимости привязаны к странам и строги к путям: выберите страну выхода, прочитайте robots.txt и идите медленно.
Порталы недвижимости локальны: Zillow и Redfin работают по США, а у Idealista отдельные сайты для Испании, Италии и Португалии. Выдача, валюта и язык следуют за версией сайта и местоположением посетителя, а запрос из другой страны могут перенаправить или показать иначе.
Поставьте страну прокси, совпадающую с собираемым рынком, и проверьте выход до запуска. Для работы на уровне районов внутри США на Премиум-линии можно выбрать штат или город; см. руководство по штатам и городам США.
| Пункт | Что прочитали | Что это значит для скрипта |
|---|---|---|
| Zillow (zillow.com) | Для всех краулеров (*): запрещены /api/ и /homes/, при этом списком Allow открыты отдельные индексные страницы, например /homes/for_sale/ и /homes/for_rent/ и их постраничные версии; URL с картой (_rect) запрещены | Открыты только перечисленные индексные страницы; карта и API закрыты, сверяйте каждый URL с файлом |
| Redfin (redfin.com) | Для всех краулеров (*): запрещены /stingray/ (с исключением Allow для newest_listings.rss), /myredfin/, /tools и /api/v1/buildings/properties; пути страниц объектов целиком не закрыты. Redfin также публикует скачиваемые данные рынка жилья в Data Center | Страницы объектов не перечислены как закрытые, а внутренние API-пути закрыты; для рыночных цифр сначала берите загрузки |
| Idealista (idealista.com) | Для всех краулеров (*): запрещены /ajax/*, пути фото и виртуальных туров (/inmueble*/foto, /inmueble*/visita-virtual), многие URL сортировки ?ordenado-por=, а также постраничные /pagina/ и /*/pagina-*.htm | Сортировка и постраничные URL закрыты, поэтому обход выдачи страница за страницей выходит за рамки файла; планируйте иначе |
Источники: robots.txt сайтов zillow.com, redfin.com, idealista.com и страница Redfin Data Center, открыты 20 ноября 2026. Файлы часто меняются, при конфликте действует самое длинное правило; для каждого используемого шаблона URL читайте актуальный файл. Это не юридическая консультация, условия сайтов могут говорить больше.
Новый IP выдаётся на каждое новое соединение, а повторно используемое сохраняет IP, поэтому рычаг не число IP, а темп. Прокси не ограничивает одновременные соединения, но начните с одного запроса в несколько секунд на сайт и остановитесь при 429 или странице проверки.
Собирайте только публичные данные объявлений, храните URL источника и дату у каждой записи и не собирайте персональные данные владельцев и агентов. Если нужна статистика рынка, а не отдельные объекты, чище взять загрузки Redfin: прокси-трафик на них не тратится.
import time
import urllib.robotparser
import requests
# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-housing-research/1.0 (contact: you@example.com)"
CHECKS = [
("https://www.zillow.com", "/homes/for_sale/"),
("https://www.redfin.com", "/city/30772/TX/Austin"),
] # replace with the public pages you are allowed to read
print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))
for site, path in CHECKS:
rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
rp.read()
if not rp.can_fetch(UA, site + path):
print("robots.txt says no:", site + path)
continue
r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(site + path, r.status_code, len(r.text))
time.sleep(5) # keep the pace slow; stop on 429 or a check page
Пример: замените LOGIN, PASSWORD, контактный адрес и пути. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.
Откройте «Ротируемые резидентные прокси». Бюджетная линия: $1,50 за ГБ (уровень страны); Премиум-линия: $5 за ГБ, можно выбрать штат или город.
Выберите регион: США, Испания или страна нужного сайта, и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».
Запустите скрипт выше или откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.
Берите только пути, которые файл оставляет открытыми, делайте паузы и сохраняйте URL объекта, версию сайта и дату.
Проверьте Запросы слишком быстрые, либо этот путь сайт закрывает.
Решение Снизьте темп, уменьшите параллельность и сверьте путь с robots.txt; добавление IP не поможет.
Проверьте Страна выхода не совпадает с читаемым сайтом.
Решение Проверьте выход на ipinfo.io и поставьте страну этого сайта.
Проверьте Не установлен requests[socks].
Решение Выполните python -m pip install "requests[socks]" или используйте HTTP-линию на порту 2222.
Ротируемый резидентный в США, от $1,50 за ГБ. В robots.txt Zillow закрыт /homes/, кроме перечисленных индексных страниц, так что сначала сверьте каждый URL.
В её robots.txt закрыты URL сортировки и пагинации и часть путей с медиа. Прочитайте файл и условия сайта; прокси не меняет того, что разрешено.
Да: в Data Center Redfin есть скачиваемые данные рынка жилья.
Только для работы на уровне районов. На Премиум-линии можно выбрать штат или город; для данных по стране хватает Бюджетной.
Руководства Proxy302 на GitHub по той же теме:
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /api/ и /homes/, при этом списком Allow открыты отдельные индексные страницы, например /homes/for_sale/ и /homes/for_rent/ и их постраничные версии; URL с картой (_rect) запрещены
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /stingray/ (с исключением Allow для newest_listings.rss), /myredfin/, /tools и /api/v1/buildings/properties; пути страниц объектов целиком не закрыты. Redfin также публикует скачиваемые данные рынка жилья в Data Center
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /ajax/*, пути фото и виртуальных туров (/inmueble*/foto, /inmueble*/visita-virtual), многие URL сортировки ?ordenado-por=, а также постраничные /pagina/ и /*/pagina-*.htm
robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.
Официальная документация · Проверено:
Открыто 20 ноября 2026: на странице есть скачиваемые данные рынка жилья (еженедельный и ежемесячный Housing Market Tracker, Balance of Power и другие трекеры) в разделе Downloads.
Официальная документация · Проверено:
Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.
Наблюдение за продуктом · Проверено:
Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.
Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.