出现验证页或 HTTP 403
检查 请求太快,或这个路径本来就是站点关闭的。
处理 放慢速度、减少并行,对照 robots.txt 看路径;靠加 IP 解决不了。
更新
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
房产站按国家划分,对路径管得严:先定出口国家,读 robots.txt,再放慢速度。
房产站是本地化的:Zillow 和 Redfin 覆盖美国,Idealista 有西班牙、意大利、葡萄牙各自的站点。结果、币种和语言跟着国家站点和访问者位置走,从别的国家请求可能被跳转或显示不同。
把代理国家设成你采集的市场,运行前先确认出口。美国境内要做到街区级,用优质线路选州或城市,见美国州和城市指南。
| 项目 | 读到的内容 | 对脚本意味着什么 |
|---|---|---|
| Zillow(zillow.com) | 所有爬虫(*):/api/ 和 /homes/ 禁止,同时用一批 Allow 放开特定的列表索引页,如 /homes/for_sale/、/homes/for_rent/ 及其分页;地图矩形网址(_rect)禁止 | 只有列出的索引页是开放的,地图和接口路径都关了,每个网址都要对照文件核对 |
| Redfin(redfin.com) | 所有爬虫(*):/stingray/(newest_listings.rss 例外放开)、/myredfin/、/tools 和 /api/v1/buildings/properties 禁止;没有整体禁止房源页路径。Redfin 另在 Data Center 提供可下载的住房市场数据 | 房源页没有被列为关闭,但内部接口路径是关的;要市场层面的数字,先用它提供的下载数据 |
| Idealista(idealista.com) | 所有爬虫(*):/ajax/*、房源照片和虚拟看房路径(/inmueble*/foto、/inmueble*/visita-virtual)、众多 ?ordenado-por= 排序网址、/pagina/ 与 /*/pagina-*.htm 分页网址禁止 | 排序和分页网址是关的,逐页翻结果页的爬法超出了这个文件允许的范围,需要另想办法 |
来源:zillow.com、redfin.com、idealista.com 的 robots.txt 以及 Redfin Data Center 页面,2026 年 11 月 20 日打开。文件常变,且以最长匹配的规则为准;你要用的每种网址都请读最新版。这不是法律意见,网站条款可能有更多规定。
每个新连接换一个 IP,复用的连接保持 IP,所以关键不在 IP 数量而在节奏。代理不限并发连接数,但每个站先按几秒一个请求起步,遇到 429 或验证页就停。
只采公开房源信息,每条记录存下来源网址和日期,不采房东或经纪人的个人信息。如果你要的是市场层面的统计而不是单套房源,Redfin 的下载数据更干净,也不花代理流量。
import time
import urllib.robotparser
import requests
# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-housing-research/1.0 (contact: you@example.com)"
CHECKS = [
("https://www.zillow.com", "/homes/for_sale/"),
("https://www.redfin.com", "/city/30772/TX/Austin"),
] # replace with the public pages you are allowed to read
print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))
for site, path in CHECKS:
rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
rp.read()
if not rp.can_fetch(UA, site + path):
print("robots.txt says no:", site + path)
continue
r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(site + path, r.status_code, len(r.text))
time.sleep(5) # keep the pace slow; stop on 429 or a check page
示例:替换 LOGIN、PASSWORD、联系邮箱和路径。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。
打开动态住宅代理。低价线路每 GB US$1.50(国家级);优质线路每 GB US$5,可选州或城市。
地区选美国、西班牙或你所读站点的国家,生成连接,从「我的资产」复制主机、端口、用户名和密码。
运行上面的脚本,或让 ipinfo.io 走代理访问。预期:显示你设的国家。
只取文件没关的路径,请求间留停顿,存下房源网址、国家站点和日期。
检查 请求太快,或这个路径本来就是站点关闭的。
处理 放慢速度、减少并行,对照 robots.txt 看路径;靠加 IP 解决不了。
检查 出口国家和你读的站点不一致。
处理 在 ipinfo.io 查出口,设成该站点所在国家。
检查 没有安装 requests[socks]。
处理 运行 python -m pip install "requests[socks]",或改用 2222 端口的 HTTP 线路。
用美国的动态住宅代理,每 GB US$1.50 起。Zillow 的 robots.txt 关了 /homes/,只放开列出的索引页,先把每个网址对照一遍。
它的 robots.txt 关闭了排序和分页结果网址以及部分媒体路径。读文件和网站条款;代理不会改变什么被允许。
有:Redfin 的 Data Center 提供可下载的住房市场数据。
只有做街区级分析才需要。优质线路可选州或城市;国家级采集用低价线路即可。
Proxy302 在 GitHub 上公开的同主题配置指南:
官方文档 · 确认日期:
2026 年 11 月 20 日打开:所有爬虫(*):/api/ 和 /homes/ 禁止,同时用一批 Allow 放开特定的列表索引页,如 /homes/for_sale/、/homes/for_rent/ 及其分页;地图矩形网址(_rect)禁止
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:所有爬虫(*):/stingray/(newest_listings.rss 例外放开)、/myredfin/、/tools 和 /api/v1/buildings/properties 禁止;没有整体禁止房源页路径。Redfin 另在 Data Center 提供可下载的住房市场数据
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:所有爬虫(*):/ajax/*、房源照片和虚拟看房路径(/inmueble*/foto、/inmueble*/visita-virtual)、众多 ?ordenado-por= 排序网址、/pagina/ 与 /*/pagina-*.htm 分页网址禁止
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:页面提供可下载的住房市场数据(每周和每月的 Housing Market Tracker、Balance of Power 等),在 Downloads 栏目下。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。
产品观察 · 确认日期:
站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。
注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。