跳到正文

更新

采集 eBay、Etsy、沃尔玛公开商品数据用什么代理

  1. 读 eBay、Etsy、沃尔玛的公开商品页,常见做法是用目标站点所在国家的动态住宅代理:低价线路每 GB US$1.50,优质线路每 GB US$5,流量不过期。
  2. 比 IP 更要紧的是节奏和路径:三家的 robots.txt 都把搜索页或搜索网址关了,所以只读单个商品页、放慢速度;平台有官方接口覆盖你的用途时,优先用接口。

买完先验一次示例输出

curl -x http://USER:PASS@HOST:PORT https://ipinfo.io/json

ip
203.0.113.24
country
US
和你下单时选的国家一致
第 15 天
203.0.113.24
租期内还是同一个地址
IP 为文档示例地址(203.0.113.0/24),不是真实出口
01 / 08出口国家会改变电商页面上的什么

出口国家要和站点对上,一个任务一条连接,请求放慢。

出口国家会改变电商页面上的什么

eBay、Etsy、沃尔玛会按访问者所在国家和站点显示价格、币种、配送方式,有时连商品本身都不同。从别的国家请求,可能拿到另一个价格或另一个送达时间,存下来的数字就不适用于你的市场。

所以先定好要测的市场,把代理国家设成它,首次运行前先确认出口。动态住宅覆盖 195+ 个国家;要测多个市场,一个国家一条连接,别在同一个任务里来回切。

三家 robots.txt 我们打开时写了什么

三家 robots.txt 我们打开时写了什么
项目读到的内容对脚本意味着什么
eBay(ebay.com)所有爬虫(*):/sch/ 搜索结果页禁止(有少数 Allow 例外),另有 /itm/addToCart、/itm/watch/、/usr/*/followers 等路径别爬搜索结果页;只读你需要的单个商品页,并放慢速度
Etsy(etsy.com)所有爬虫(*):/api/、/cart、/your/ 和带 q= 的搜索网址禁止,还有很多筛选参数;没有 crawl-delay;商品页整体没有被禁搜索页和账号路径别碰;商品页是公开部分,控制好节奏
沃尔玛(walmart.com)所有爬虫(*):/search、/api/、/account/、/orders 禁止,另有门店查询和结账相关路径;/ip/ 商品页不在禁止列表里;只有 Slurp 单独设了 Crawl-delay 5按这个文件,搜索页不能爬;商品页没列在禁止里,但仍要礼貌限速

来源:ebay.com、etsy.com、walmart.com 的 robots.txt,2026 年 11 月 20 日打开。文件经常变,每个项目开工前请读最新版。这不是法律意见,网站条款和平台接口可能有更多规定。

让任务稳定跑下去的速率、会话和规矩

不开会话时,每个新连接换一个 IP,复用的连接保持 IP,所以不需要每个请求换一个 IP。低价线路还能选 1 到 120 分钟的会话,一次运行想固定一个 IP 就用它。并发连接数不限,但真正限制你的是目标站:每个站先按几秒一个请求起步,页面一直返回 200 再慢慢加。

只采公开页面,不登录不属于你的账号,不采个人信息;一看到 429 或反复出现验证页就停,靠加 IP 硬冲不是办法。如果你在 Etsy 开店,自己店铺的数据用它的 Open API 才是正路。

先查 robots.txt,再确认出口国家,最后慢速取一页

import time
import urllib.robotparser
import requests

# One connection copied from My assets (HTTP port 2222; the same login also works over SOCKS5 on 3333).
PROXY = "http://LOGIN:PASSWORD@proxy.proxy302.com:2222"
PROXIES = {"http": PROXY, "https": PROXY}
UA = "my-price-research/1.0 (contact: you@example.com)"
SITE = "https://www.walmart.com"
PAGES = ["/ip/EXAMPLE-ITEM-ID"]  # replace with the public product pages you need

rp = urllib.robotparser.RobotFileParser(SITE + "/robots.txt")
rp.read()

print("exit country:", requests.get("https://ipinfo.io/json", proxies=PROXIES, timeout=(5, 20)).json().get("country"))

for path in PAGES:
    if not rp.can_fetch(UA, SITE + path):
        print("robots.txt says no:", path)
        continue
    r = requests.get(SITE + path, proxies=PROXIES, headers={"User-Agent": UA}, timeout=(5, 20))
    print(path, r.status_code, len(r.text))
    time.sleep(3)  # slow and steady; stop if you see 429

示例:替换 LOGIN、PASSWORD、联系邮箱和页面路径。用 SOCKS5 时请安装 requests[socks],写 socks5h:// 和端口 3333。

4 步设置

  1. 第 1 步:选线路

    打开动态住宅代理。低价线路每 GB US$1.50(只到国家级),优质线路每 GB US$5,可以选州或城市。低价线路买 50 到 500 GB 的包,每 GB 更便宜。

  2. 第 2 步:一个市场一条连接

    地区选成站点所在国家,生成连接,从「我的资产」复制主机、端口、用户名和密码。

  3. 第 3 步:测出口

    运行上面的脚本,或让 ipinfo.io 走代理访问。预期:显示你设的国家。

  4. 第 4 步:慢速运行并留记录

    只取 robots.txt 允许的公开商品页,保持间隔,每个价格都存下日期和站点。

常见问题速查

价格币种不对

检查 出口国家可能和站点不一致。

处理 在 ipinfo.io 查出口,并使用同一国家的网站域名。

HTTP 429 或出现验证页

检查 请求太多太快。

处理 放慢速度、减少并行;出口本身看起来有问题的话,带订单号提交工单。

网页自己打得开,脚本拿不到

检查 脚本没带浏览器常见的请求头、没设超时,或页面靠脚本渲染。

处理 设置 User-Agent 和超时;数据靠脚本渲染的话,改用 Playwright 这类浏览器工具并配同一个代理。

电商数据采集常见问题

采集 eBay 用什么代理?

用你读取的 eBay 站点所在国家的动态住宅代理,每 GB US$1.50 起。eBay 的 robots.txt 关闭了 /sch/ 搜索页,所以读单个商品页并控制节奏。

能采 Etsy 或沃尔玛的商品数据吗?

它们的 robots.txt 没有把商品页列进禁止名单,但关闭了搜索路径。还要看使用条款,官方接口能覆盖你的场景就用接口。

每个请求都要换新 IP 吗?

不用。每个新连接换一个 IP,复用的连接保持 IP。要控制的是节奏,不是追着换 IP。

需要多少 GB?

取决于页面大小和量,流量指南里有估算方法。

延伸阅读

Proxy302 在 GitHub 上公开的同主题配置指南:

参考资料

6
  1. eBay(ebay.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):/sch/ 搜索结果页禁止(有少数 Allow 例外),另有 /itm/addToCart、/itm/watch/、/usr/*/followers 等路径

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  2. Etsy(etsy.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):/api/、/cart、/your/ 和带 q= 的搜索网址禁止,还有很多筛选参数;没有 crawl-delay;商品页整体没有被禁

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  3. 沃尔玛(walmart.com) robots.txt

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:所有爬虫(*):/search、/api/、/account/、/orders 禁止,另有门店查询和结账相关路径;/ip/ 商品页不在禁止列表里;只有 Slurp 单独设了 Crawl-delay 5

    robots.txt 是爬虫礼仪文件,会变;它不是法律意见,网站条款可能写得更多。

  4. Etsy Open API v3 文档

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:页面把 Open API v3 描述为用于库存、订单和店铺管理的 REST API,并有认证和限速的说明。

    文档主要面向店铺和应用集成;超出这个范围的数据用途要自己看条款。

  5. Requests 文档:Advanced usage(代理)

    官方文档 · 确认日期:

    2026 年 11 月 20 日打开:代理以字典传给 proxies 参数;user:password 写在网址里;SOCKS 需要 requests[socks];socks5h 由代理端解析 DNS;不设 timeout 就没有超时。

  6. Proxy302 产品信息与价格表

    产品观察 · 确认日期:

    站内产品事实文件(2026 年 11 月 10 日版),2026 年 11 月 20 日读取:两条动态住宅线路的每 GB 价格、流量不过期、国家与城市定位、协议与端口、没有免费试用。

准备好试试了吗?

注册账号、充值一次,就能选动态住宅、静态 ISP 或数据中心 IP,几分钟配进你的浏览器。