案例 12｜商品评论采集与情感倾向统计

清洗目标：把短评正文变成一句干净的话。

  1. 去掉表情符号与颜文字，如 [给力]、~~、^_^；
  2. 去掉连续的重复标点，如「！！！」→「！」；
  3. 去掉首尾空白与多余换行；
  4. 繁体转简体，全角标点统一为半角；
  5. 空短评（只有符号没有文字）整条剔除，并记录条数。

示例（示例数据）：
  原文：故事写得好！！！读到最后才懂[给力][给力] 值得一读~~
  清洗：故事写得好！读到最后才懂 值得一读

请帮我完成一个图书短评采集任务。
【目标页面】豆瓣读书短评页，网址：https://book.douban.com/subject/1084336/comments/
【条目编号】1084336
【采集范围】短评第 1 页（start=0），先只采这一页给我验证
【翻页方式】网址里 start 参数每次加 20
【需要字段】按这个顺序：
  1. 序号（从 1 开始）
  2. 条目编号
  3. 书名
  4. 短评正文（原文，不要改写）
  5. 正文清洗（去表情、去重复标点、去空行后的文本）
  6. 评价档位（豆瓣原文：力荐/推荐/还行/较差/很差）
  7. 评价分值（1~5 的整数：力荐5 推荐4 还行3 较差2 很差1）
  8. 有用数（整数）
  9. 评价时间（格式 2026-09-21 14:03）
  10. 页码（这条来自第几页）
  11. 情感倾向（正向/负向/中性，由关键词词典判定）
  12. 情感得分（正向词数 − 负向词数）

【执行要求】
  - 先采第 1 页给我确认，再继续第 2~4 页（start=20、40、60）
  - 每条页面之间间隔 3 秒以上，不要并发，出现验证码立即停止
  - 不要采集评论者的昵称与主页
  - 结果导出为 review_1084336_20261009.xlsx

追问一（补翻页）：
页面上显示这本书共有 4000 多条短评，但你只采到 20 条，
请按 start 参数继续翻页，采满 4 页后再合并。

追问二（统一档位）：
第 3、8 条的评价档位是「力荐」「很差」这样的文字，
请统一映射成 5 和 1 的整数分。

追问三（情感统计）：
请在结果里把「情感倾向」和「情感得分」两列补齐，规则如下：
  - 正向词：好、喜欢、满意、值得、推荐、精彩、感动、喜欢
  - 负向词：差、失望、无聊、拖沓、晦涩、烂、不好
  - 每个词出现一次计 1 分，正分多于负分记为正向，反之记为负向，相等记为中性
请最后给我一个好评率 = 正向条数 ÷ 全部条数（保留一位小数），
并说明这个方法的局限。

① 去重：
   按「评价时间 + 短评正文」去重。

② 剔除无意义短评：
   纯符号、纯表情、只有一个字的短评单独列一份清单，
   主表里剔除，并记录剔除了多少条。

③ 补时间列：
   新增「采集日期」，统一填今天。

review_1084336_20261009.xlsx         ← 明细表（原文 + 清洗版 + 档位）
review_1084336_20261009_clean.xlsx   ← 清洗后（去重、剔除空短评）
review_1084336_20261009_stats.xlsx   ← 统计表（好评率、平均分、词频）
review_1084336_20261009_log.txt      ← 日志：页数、条数、剔除数、异常