出现验证页或 HTTP 403
检查 请求太快、太整齐,或这个网址本来就受站点保护。
处理 放慢速度、减少并行,对照 robots.txt 看网址;不要靠轮换 IP 硬冲。
更新
curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json
招聘站按国家分站,先定出口国家,再放慢速度,并看清 robots.txt 关了什么。
招聘站会按国家分站和访问者位置返回不同的职位、薪资币种和语言。同一个职位名,从两个国家搜,结果可能完全不同,所以出口国家本身就是你数据口径的一部分。
把代理国家设成要分析的市场,一个市场一条连接。要做城市级对比,用优质线路,可以选州或城市;低价线路只到国家。动态住宅在俄罗斯和新加坡没有城市级定位。
| 项目 | 读到的内容 | 对脚本意味着什么 |
|---|---|---|
| Indeed(indeed.com) | 所有爬虫(*):该组以 Allow: / 开头,随后禁止 /viewjob、/rc/、/company/*、若干 /cmp/ 点评路径(如 /cmp/*/write-review),以及带国家代码或职位名的 /jobs/ 浏览路径;没有 crawl-delay | 单个职位页的路径被关了;先看清你请求的具体网址,并放慢速度 |
| Glassdoor(glassdoor.com) | 所有爬虫(*):/search/、/jobview/、/ajax/、/profile/ 和多个 /partners/ 路径禁止,另有部分 /Job/、/Reviews/ 网址模式;没有 crawl-delay | 站内搜索和 ajax 路径不让爬;只读文件没禁的页面,其余部分可能要登录 |
来源:indeed.com、glassdoor.com 的 robots.txt,2026 年 11 月 20 日打开。各国分站的文件不同且常变,请读你所用站点的版本。这不是法律意见,网站条款可能有更多规定。
读一页结果再翻下一页是一段很短的浏览流程:低价线路选 10 或 30 分钟会话,整个流程用同一个 IP;不开会话则每个新连接换一个 IP。并发连接数不限,但要慢:每个站先按几秒一个请求起步。
只采公开职位信息。不要为了多拿数据去登录,不要采求职者或点评者的个人信息,遇到 429 或反复验证就停,不要靠加 IP 硬冲。每条职位都存下来源网址和采集日期,雇主会删改职位,数据会过期。
import time
import urllib.robotparser
import requests
# One connection per country, copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-jobs-research/1.0 (contact: you@example.com)"
CHECKS = [
("https://www.indeed.com", "/jobs?q=data+analyst&l=Austin%2C+TX"),
("https://www.glassdoor.com", "/Job/austin-data-analyst-jobs-SRCH_IL.0,6_IC1139761_KO7,19.htm"),
] # replace with the public pages you are allowed to read
print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))
for site, path in CHECKS:
rp = urllib.robotparser.RobotFileParser(site + "/robots.txt")
rp.read()
if not rp.can_fetch(UA, site + path):
print("robots.txt says no:", site + path)
continue
r = requests.get(site + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
print(site + path, r.status_code, len(r.text))
time.sleep(5) # keep the pace slow; stop on 429 or a check page
示例:替换 LOGIN、PASSWORD、联系邮箱和两个路径。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。
打开动态住宅代理。全国范围的招聘数据用低价线路(每 GB US$1.50,国家级);需要州或城市就用优质线路(每 GB US$5)。
地区选国家(优质线路可再选城市),生成连接,从「我的资产」复制主机、端口、用户名和密码。
运行上面的脚本,或让 ipinfo.io 走代理访问。预期:显示你设的国家。
只取 robots.txt 没关的网址,请求间留停顿,存下职位网址、市场和日期。
检查 请求太快、太整齐,或这个网址本来就受站点保护。
处理 放慢速度、减少并行,对照 robots.txt 看网址;不要靠轮换 IP 硬冲。
检查 出口国家或城市和你浏览器的位置不一致。
处理 在 ipinfo.io 查出口,设成同一个国家(优质线路可设城市)。
检查 没有安装 requests[socks]。
处理 运行 python -m pip install "requests[socks]",或改用 2222 端口的 HTTP 线路。
用你所读 Indeed 站点所在国家的动态住宅代理,每 GB US$1.50 起。先按具体网址核对 robots.txt,那里单个职位页路径是关闭的。
它的 robots.txt 对爬虫关闭了 /search/、/jobview/ 和 ajax 路径,条款可能还有更多规定。采集前两者都要读。
只有对比本地市场时才需要。优质线路可选州或城市;全国范围的数据用低价线路即可。
取决于页面大小和量,GB 指南里有估算方法。
Proxy302 在 GitHub 上公开的同主题配置指南:
官方文档 · 确认日期:
2026 年 11 月 20 日打开:所有爬虫(*):该组以 Allow: / 开头,随后禁止 /viewjob、/rc/、/company/*、若干 /cmp/ 点评路径(如 /cmp/*/write-review),以及带国家代码或职位名的 /jobs/ 浏览路径;没有 crawl-delay
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:所有爬虫(*):/search/、/jobview/、/ajax/、/profile/ 和多个 /partners/ 路径禁止,另有部分 /Job/、/Reviews/ 网址模式;没有 crawl-delay
robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。
官方文档 · 确认日期:
2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。
产品观察 · 确认日期:
站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。
注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。