案例 10｜电商商品搜索列表采集

一、案例背景与采集目标

打开当当网（dangdang.com，国内老牌图书电商），在搜索框里输入「Python编程」，页面立刻返回一屏图书：书名、作者、出版社、出版时间、定价、当当价、折扣、评论数，一行一个商品。这一屏，就是一张现成的图书市场调查表——哪本书更便宜、哪家出版社出得多、哪本书评论最多，全都写在里面。

本案例要做的，就是把这屏信息整整齐齐地搬进表格。示范站点选的是当当网图书搜索结果页，网址 http://search.dangdang.com/?key=Python编程。它属于「搜索列表页采集」，和案例01 的新闻列表页是同一个路子，但难点完全不同：新闻的字段都是干净文本，而图书电商的字段几乎全是「文案」——价格有「定价」和「当当价」两套、折扣写作「7.0折」、评论数写作「48312条评论」。能不能把这些文案变成能计算的数字，就是本案例的成败所在。

1.1 这个案例要拿到什么

• 关键词「Python编程」的搜索结果第 1 页，约 60 条图书商品；
• 每条商品：书名、作者、出版社、出版时间、定价、当当价、折扣、评论数、商品链接、封面图；
• 价格类字段同时给出「数值」和「页面原文」两列，方便回溯验收；
• 用「当当价 ÷ 定价」反推折扣，和页面上的折扣文案交叉核对，确认自己没算错。

1.2 三个绕不开的难点

目标站点与交付产物

下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点；橙色是延伸站点，多数有登录墙或风控，课堂上只讲结构、原理与合规边界，不教绕过。

二、数据源与字段设计

数据源就一个页面：当当网图书搜索结果页，地址 http://search.dangdang.com/?key=Python编程。它把关键词直接写在网址参数里（key= 后面就是关键词），换一个词就换一批结果，非常适合课堂反复演练。

2.1 站点信息

2.2 延伸站点（只讲原理与合规边界）

2.3 完整字段表（15 个字段）

凡「页面写法五花八门」的字段，都按原文列 + 清洗列成对出现。下表是当当图书列表页能稳定取到的字段。

2.4 价格与折扣的清洗口径

价格是重灾区。同一行里可能出现四种写法，处理规则要先说死：

常见评论数写法与目标结果（示例）：
  「120753条评论」   → 120753
  「1.2万条评论」    → 12000
  「暂无评论」       → 空值（不要填 0，0 与「没有」含义不同）

核对公式（示例）：
  当当价 66.00 ÷ 定价 88.00 = 0.75，与页面折扣 7.5折 完全吻合 → 说明两列都对上。
  对不上就说明某一列取错了，要回原文复核。

三、零代码操作步骤

本案例全程在 WorkBuddy 里用中文对话完成，不写一行代码。

1. 新建对话，粘贴「采集任务提示词」（见下一节）。关键词先用「数据采集」，把网址原样复制进去。
2. 让它先「看一眼」。说「先打开 http://search.dangdang.com/?key=Python编程，把每个商品能采到的字段名和示例值列出来，先不要采集」。这一步能避免字段猜错。
3. 先采 5 条试水。只采前 5 条，重点检查定价、当当价、折扣、评论数四列的清洗结果对不对。
4. 用公式核对。拿「当当价 ÷ 定价」算折扣率，和「折扣」列对照，看是否一致；不一致就说明口径有问题。
5. 放开到整页。确认无误后说「请按同样规则采集本页全部商品」。
6. 要求翻页。如果列表有「下一页」或走页码参数，说「继续采第 2 页并合并，按商品链接去重」。
7. 导出并命名。说「导出为 Excel，文件名 ecom_dangdang_数据采集_20261009.xlsx」。

四、提示词模板与追问技巧

下面这段可以直接复制。注意三个要点：真实网址写全、字段编号列清、清洗口径写死。

请帮我完成一个电商图书列表采集任务。
【目标页面】当当网图书搜索结果页，网址：http://search.dangdang.com/?key=Python编程
【搜索关键词】数据采集
【采集范围】搜索结果第 1 页，先只采前 5 条给我验证
【需要字段】按这个顺序，价格与折扣都要「数值 + 原文」：
  1. 序号（从 1 开始）
  2. 关键词
  3. 书名（保持原文，不要带「自营」「电子书」这类前缀）
  4. 作者（多作者用「、」连接）
  5. 出版社
  6. 出版时间（格式 YYYY-MM-DD）
  7. 定价（纯数字，单位元，两位小数）
  8. 当当价（纯数字，单位元，两位小数，这是实际售价）
  9. 折扣（由「7.5折」换算成 0.75 这样的折扣率，保留两位小数）
  10. 促销标签（如「满100减50」，没有就留空）
  11. 评论数（整数，去掉「条评论」，有「万」乘 10000）
  12. 评论数原文（页面上的写法，如「1.2万条评论」）
  13. 商品链接（完整网址，http://product.dangdang.com/… 这种）
  14. 封面图（真实图片地址，不要占位图）
  15. 采集日期（今天的日期）

【清洗口径】
  - 价格：优先记录「当当价」为实际售价；区间价只取最低价并在备注注明；
    「￥39.9」按 39.90 记录。
  - 折扣：去掉「折」再除以 10；无法识别的写法折扣留空，不要猜。
  - 评论数：出现「万」就乘以 10000；无法识别时留空，不要填 0。

【输出要求】
  1. 先在对话里给出 5 条预览，字段顺序按上面来
  2. 用「当当价 ÷ 定价」算出折扣率，与「折扣」列对照，把对不上的行标出来
  3. 我确认后，再采集本页全部商品
  4. 导出为 Excel，文件名 ecom_dangdang_数据采集_20261009.xlsx

4.1 三条常用追问指令

追问一（补全链接）：
第 3 条的商品链接不是完整网址，请补上域名改成绝对地址，
并确认每条链接都能用浏览器直接打开。

追问二（核对清洗）：
请把「定价」「当当价」「折扣」三列并排给我看，
逐条说明每一条的折扣是怎么算出来的，与页面文案是否一致。

追问三（继续翻页）：
这一页还有下一页，请继续采集第 2 页并与现有结果合并，
按「商品链接」去重后重新给我完整表格。

五、结果核对、清洗与保存

下面是 WorkBuddy 返回的结果样例（节选，书目为真实出版物，价格与评论数为教学示意，以实时页面为准）：

5.1 四项必查

5.2 清洗与保存

① 去空格：
   所有文本列去掉首尾空格与换行符。

② 统一价格与折扣：
   定价、当当价保留两位小数；折扣统一成两位小数的折扣率。

③ 按链接去重：
   按「商品链接」去重，重复的保留第一条。

④ 补两列：
   新增「采集日期」（今天）与「关键词」（数据采集），方便以后合并多次采集。

ecom_dangdang_数据采集_20261009.xlsx        ← 原始结果（原样保留）
ecom_dangdang_数据采集_20261009_clean.xlsx  ← 清洗后结果
ecom_dangdang_数据采集_20261009_log.txt     ← 日志：页数、条数、异常

六、常见问题与合规红线

6.1 五个高频问题

6.2 合规红线

1. 只在公开、无需登录的当当搜索页做示范。京东、天猫等站点有风控且内容受保护，不研究、不尝试绕过。
2. 控制频率。请求之间留足间隔（1 秒以上），不并发轰炸；出现验证码立即停手。
3. 只用公开信息。书名、价格、评论数属于公开展示信息；不采买家个人信息、不做账号爬取。
4. 用途正当。结果用于课堂比价分析；对外展示时注明来源与采集时间，不冒用平台名义。

七、随堂自测（10 题）

点击选项即可判分，答错的题会立刻显示解析。