К содержимому

Обновлено

Прокси для парсинга Zillow, Redfin и Idealista

  1. Для публичных страниц объектов Zillow и Redfin (США) и Idealista (Испания, Италия, Португалия) обычно берут ротируемый резидентный прокси в той же стране: $1,50 за ГБ на Бюджетной линии и $5 за ГБ на Премиум-линии с выбором штата или города.
  2. Важнее IP файлы robots.txt: Zillow открывает только перечисленные индексные страницы, Idealista закрывает URL сортировки и пагинации, а Redfin даёт рыночные данные в виде загрузок.
  3. Сверяйте с файлом каждый шаблон URL и работайте медленно.

Проверьте сразу после покупкиПример вывода

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
Совпадает с выбранной страной
День 15
203.0.113.24
Тот же адрес весь срок
Адреса для примера (203.0.113.0/24), не реальные выходы
01 / 08Почему для объявлений важна страна выхода

Порталы недвижимости привязаны к странам и строги к путям: выберите страну выхода, прочитайте robots.txt и идите медленно.

Почему для объявлений важна страна выхода

Порталы недвижимости локальны: Zillow и Redfin работают по США, а у Idealista отдельные сайты для Испании, Италии и Португалии. Выдача, валюта и язык следуют за версией сайта и местоположением посетителя, а запрос из другой страны могут перенаправить или показать иначе.

Поставьте страну прокси, совпадающую с собираемым рынком, и проверьте выход до запуска. Для работы на уровне районов внутри США на Премиум-линии можно выбрать штат или город; см. руководство по штатам и городам США.

Что было в robots.txt, когда мы его открыли

Что было в robots.txt, когда мы его открыли
ПунктЧто прочиталиЧто это значит для скрипта
Zillow (zillow.com)Для всех краулеров (*): запрещены /api/ и /homes/, при этом списком Allow открыты отдельные индексные страницы, например /homes/for_sale/ и /homes/for_rent/ и их постраничные версии; URL с картой (_rect) запрещеныОткрыты только перечисленные индексные страницы; карта и API закрыты, сверяйте каждый URL с файлом
Redfin (redfin.com)Для всех краулеров (*): запрещены /stingray/ (с исключением Allow для newest_listings.rss), /myredfin/, /tools и /api/v1/buildings/properties; пути страниц объектов целиком не закрыты. Redfin также публикует скачиваемые данные рынка жилья в Data CenterСтраницы объектов не перечислены как закрытые, а внутренние API-пути закрыты; для рыночных цифр сначала берите загрузки
Idealista (idealista.com)Для всех краулеров (*): запрещены /ajax/*, пути фото и виртуальных туров (/inmueble*/foto, /inmueble*/visita-virtual), многие URL сортировки ?ordenado-por=, а также постраничные /pagina/ и /*/pagina-*.htmСортировка и постраничные URL закрыты, поэтому обход выдачи страница за страницей выходит за рамки файла; планируйте иначе

Источники: robots.txt сайтов zillow.com, redfin.com, idealista.com и страница Redfin Data Center, открыты 20 ноября 2026. Файлы часто меняются, при конфликте действует самое длинное правило; для каждого используемого шаблона URL читайте актуальный файл. Это не юридическая консультация, условия сайтов могут говорить больше.

Темп, сессии и правила работы с данными

Новый IP выдаётся на каждое новое соединение, а повторно используемое сохраняет IP, поэтому рычаг не число IP, а темп. Прокси не ограничивает одновременные соединения, но начните с одного запроса в несколько секунд на сайт и остановитесь при 429 или странице проверки.

Собирайте только публичные данные объявлений, храните URL источника и дату у каждой записи и не собирайте персональные данные владельцев и агентов. Если нужна статистика рынка, а не отдельные объекты, чище взять загрузки Redfin: прокси-трафик на них не тратится.

Проверить robots.txt для точного пути, страну выхода и медленно получить страницы

import time
import urllib.robotparser
import requests

# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-housing-research/1.0 (contact: you@example.com)"
CHECKS = [
    ("https://www.zillow.com", "/homes/for_sale/"),
    ("https://www.redfin.com", "/city/30772/TX/Austin"),
]  # replace with the public pages you are allowed to read

print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))

for site, path in CHECKS:
    rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
    rp.read()
    if not rp.can_fetch(UA, site + path):
        print("robots.txt says no:", site + path)
        continue
    r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
    print(site + path, r.status_code, len(r.text))
    time.sleep(5)  # keep the pace slow; stop on 429 or a check page

Пример: замените LOGIN, PASSWORD, контактный адрес и пути. Для SOCKS5 установите requests[socks] и используйте socks5h:// с портом 3333.

Настройка за 4 шага

  1. Шаг 1: Выберите линию

    Откройте «Ротируемые резидентные прокси». Бюджетная линия: $1,50 за ГБ (уровень страны); Премиум-линия: $5 за ГБ, можно выбрать штат или город.

  2. Шаг 2: Одно подключение на страну

    Выберите регион: США, Испания или страна нужного сайта, и создайте подключение. Хост, порт, логин и пароль скопируйте в «Мои активы».

  3. Шаг 3: Проверьте выход

    Запустите скрипт выше или откройте ipinfo.io через прокси. Ожидаемо: страна, которую вы выбрали.

  4. Шаг 4: Работайте медленно и ведите лог

    Берите только пути, которые файл оставляет открытыми, делайте паузы и сохраняйте URL объекта, версию сайта и дату.

Быстрые решения

Появилась страница проверки или HTTP 403

Проверьте Запросы слишком быстрые, либо этот путь сайт закрывает.

Решение Снизьте темп, уменьшите параллельность и сверьте путь с robots.txt; добавление IP не поможет.

Сайт перенаправляет на страницу другой страны

Проверьте Страна выхода не совпадает с читаемым сайтом.

Решение Проверьте выход на ipinfo.io и поставьте страну этого сайта.

Python показывает ошибку SOCKS-прокси

Проверьте Не установлен requests[socks].

Решение Выполните python -m pip install "requests[socks]" или используйте HTTP-линию на порту 2222.

Частые вопросы о данных недвижимости

Какой прокси для парсинга Zillow?

Ротируемый резидентный в США, от $1,50 за ГБ. В robots.txt Zillow закрыт /homes/, кроме перечисленных индексных страниц, так что сначала сверьте каждый URL.

Можно ли парсить Idealista?

В её robots.txt закрыты URL сортировки и пагинации и часть путей с медиа. Прочитайте файл и условия сайта; прокси не меняет того, что разрешено.

Есть ли способ получить рыночные данные Redfin без парсинга?

Да: в Data Center Redfin есть скачиваемые данные рынка жилья.

Нужны ли IP уровня города?

Только для работы на уровне районов. На Премиум-линии можно выбрать штат или город; для данных по стране хватает Бюджетной.

Читайте также

Руководства Proxy302 на GitHub по той же теме:

Ссылки и источники

6
  1. Zillow (zillow.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /api/ и /homes/, при этом списком Allow открыты отдельные индексные страницы, например /homes/for_sale/ и /homes/for_rent/ и их постраничные версии; URL с картой (_rect) запрещены

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  2. Redfin (redfin.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /stingray/ (с исключением Allow для newest_listings.rss), /myredfin/, /tools и /api/v1/buildings/properties; пути страниц объектов целиком не закрыты. Redfin также публикует скачиваемые данные рынка жилья в Data Center

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  3. Idealista (idealista.com) robots.txt

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: Для всех краулеров (*): запрещены /ajax/*, пути фото и виртуальных туров (/inmueble*/foto, /inmueble*/visita-virtual), многие URL сортировки ?ordenado-por=, а также постраничные /pagina/ и /*/pagina-*.htm

    robots.txt описывает правила для краулеров и может измениться; это не юридическое заключение, условия сайта могут говорить больше.

  4. Redfin Data Center

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: на странице есть скачиваемые данные рынка жилья (еженедельный и ежемесячный Housing Market Tracker, Balance of Power и другие трекеры) в разделе Downloads.

  5. Документация Requests: Advanced usage, Proxies

    Официальная документация · Проверено:

    Открыто 20 ноября 2026: прокси передаются словарём в аргумент proxies; user:password пишется в URL; для SOCKS нужен requests[socks]; socks5h разрешает DNS на стороне прокси; без timeout таймаута нет.

  6. Продуктовые факты и прайс Proxy302

    Наблюдение за продуктом · Проверено:

    Файл продуктовых фактов сайта (версия от 10 ноября 2026), прочитан 20 ноября 2026: цена за ГБ обеих линий ротируемых резидентных прокси, трафик не сгорает, страны и таргетинг по городам, протоколы и порты, бесплатного пробного периода нет.

Готовы попробовать?

Создайте аккаунт, пополните баланс и выберите ротируемый резидентный, статический ISP или дата-центр IP — настроить его в браузере можно за несколько минут.