跳到正文

更新

采集 Zillow、Redfin 房产数据用什么代理

  1. 读 Zillow、Redfin(美国)和 Idealista(西班牙、意大利、葡萄牙)的公开房源页,常见做法是用同一国家的动态住宅代理:低价线路每 GB US$1.50,优质线路每 GB US$5,可选州或城市。
  2. 比 IP 更要紧的是 robots.txt:Zillow 只开放列出的索引页,Idealista 关了排序和分页网址,Redfin 把市场数据做成了下载。
  3. 你要用的每种网址都先对照文件,并放慢速度。

买完先验一次示例输出

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
和你下单时选的国家一致
第 15 天
203.0.113.24
租期内还是同一个地址
IP 为文档示例地址(203.0.113.0/24),不是真实出口
01 / 08为什么房源数据要看出口国家

房产站按国家划分,对路径管得严:先定出口国家,读 robots.txt,再放慢速度。

为什么房源数据要看出口国家

房产站是本地化的:Zillow 和 Redfin 覆盖美国,Idealista 有西班牙、意大利、葡萄牙各自的站点。结果、币种和语言跟着国家站点和访问者位置走,从别的国家请求可能被跳转或显示不同。

把代理国家设成你采集的市场,运行前先确认出口。美国境内要做到街区级,用优质线路选州或城市,见美国州和城市指南。

三家 robots.txt 我们打开时写了什么

三家 robots.txt 我们打开时写了什么
项目读到的内容对脚本意味着什么
Zillow(zillow.com)所有爬虫(*):/api/ 和 /homes/ 禁止,同时用一批 Allow 放开特定的列表索引页,如 /homes/for_sale/、/homes/for_rent/ 及其分页;地图矩形网址(_rect)禁止只有列出的索引页是开放的,地图和接口路径都关了,每个网址都要对照文件核对
Redfin(redfin.com)所有爬虫(*):/stingray/(newest_listings.rss 例外放开)、/myredfin/、/tools 和 /api/v1/buildings/properties 禁止;没有整体禁止房源页路径。Redfin 另在 Data Center 提供可下载的住房市场数据房源页没有被列为关闭,但内部接口路径是关的;要市场层面的数字,先用它提供的下载数据
Idealista(idealista.com)所有爬虫(*):/ajax/*、房源照片和虚拟看房路径(/inmueble*/foto、/inmueble*/visita-virtual)、众多 ?ordenado-por= 排序网址、/pagina/ 与 /*/pagina-*.htm 分页网址禁止排序和分页网址是关的,逐页翻结果页的爬法超出了这个文件允许的范围,需要另想办法

来源:zillow.com、redfin.com、idealista.com 的 robots.txt 以及 Redfin Data Center 页面,2026 年 11 月 20 日打开。文件常变,且以最长匹配的规则为准;你要用的每种网址都请读最新版。这不是法律意见,网站条款可能有更多规定。

速率、会话和数据规矩

每个新连接换一个 IP,复用的连接保持 IP,所以关键不在 IP 数量而在节奏。代理不限并发连接数,但每个站先按几秒一个请求起步,遇到 429 或验证页就停。

只采公开房源信息,每条记录存下来源网址和日期,不采房东或经纪人的个人信息。如果你要的是市场层面的统计而不是单套房源,Redfin 的下载数据更干净,也不花代理流量。

按具体路径查 robots.txt,确认出口,慢速取页

import time
import urllib.robotparser
import requests

# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-housing-research/1.0 (contact: you@example.com)"
CHECKS = [
    ("https://www.zillow.com", "/homes/for_sale/"),
    ("https://www.redfin.com", "/city/30772/TX/Austin"),
]  # replace with the public pages you are allowed to read

print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))

for site, path in CHECKS:
    rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
    rp.read()
    if not rp.can_fetch(UA, site + path):
        print("robots.txt says no:", site + path)
        continue
    r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
    print(site + path, r.status_code, len(r.text))
    time.sleep(5)  # keep the pace slow; stop on 429 or a check page

示例:替换 LOGIN、PASSWORD、联系邮箱和路径。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。

4 步设置

  1. 第 1 步:选线路

    打开动态住宅代理。低价线路每 GB US$1.50(国家级);优质线路每 GB US$5,可选州或城市。

  2. 第 2 步:一个国家一条连接

    地区选美国、西班牙或你所读站点的国家,生成连接,从「我的资产」复制主机、端口、用户名和密码。

  3. 第 3 步:测出口

    运行上面的脚本,或让 ipinfo.io 走代理访问。预期:显示你设的国家。

  4. 第 4 步:慢速运行并留记录

    只取文件没关的路径,请求间留停顿,存下房源网址、国家站点和日期。

常见问题速查

出现验证页或 HTTP 403

检查 请求太快,或这个路径本来就是站点关闭的。

处理 放慢速度、减少并行,对照 robots.txt 看路径;靠加 IP 解决不了。

站点跳转到别的国家页面

检查 出口国家和你读的站点不一致。

处理 在 ipinfo.io 查出口,设成该站点所在国家。

Python 报 SOCKS 代理错误

检查 没有安装 requests[socks]。

处理 运行 python -m pip install "requests[socks]",或改用 2222 端口的 HTTP 线路。

房产数据采集常见问题

采集 Zillow 用什么代理?

用美国的动态住宅代理,每 GB US$1.50 起。Zillow 的 robots.txt 关了 /homes/,只放开列出的索引页,先把每个网址对照一遍。

能采 Idealista 吗?

它的 robots.txt 关闭了排序和分页结果网址以及部分媒体路径。读文件和网站条款;代理不会改变什么被允许。

有不用爬的办法拿 Redfin 市场数据吗?

有:Redfin 的 Data Center 提供可下载的住房市场数据。

需要城市级 IP 吗?

只有做街区级分析才需要。优质线路可选州或城市;国家级采集用低价线路即可。

延伸阅读

Proxy302 在 GitHub 上公开的同主题配置指南:

参考资料

6
  1. Zillow(zillow.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):/api/ 和 /homes/ 禁止,同时用一批 Allow 放开特定的列表索引页,如 /homes/for_sale/、/homes/for_rent/ 及其分页;地图矩形网址(_rect)禁止

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  2. Redfin(redfin.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):/stingray/(newest_listings.rss 例外放开)、/myredfin/、/tools 和 /api/v1/buildings/properties 禁止;没有整体禁止房源页路径。Redfin 另在 Data Center 提供可下载的住房市场数据

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  3. Idealista(idealista.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):/ajax/*、房源照片和虚拟看房路径(/inmueble*/foto、/inmueble*/visita-virtual)、众多 ?ordenado-por= 排序网址、/pagina/ 与 /*/pagina-*.htm 分页网址禁止

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  4. Redfin Data Center

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:页面提供可下载的住房市场数据(每周和每月的 Housing Market Tracker、Balance of Power 等),在 Downloads 栏目下。

  5. Requests 文档:Advanced usage(代理)

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。

  6. Proxy302 产品信息与价格表

    产品观察 · 确认日期:

    站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。

准备好试试了吗?

注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。