案例 07｜社区问答与热门回答采集

一、案例背景与采集目标

社区问答平台上有一种特别的数据：一个提问，下面挂着几十个回答，每个回答还有点赞数、评论数、作者、发布时间。它和新闻不一样——新闻是机构发的，问答是普通人写的；新闻有正文，问答是一问多答。这类数据里藏着大量真实经验与观点，是做内容分析的常见素材。

结构上，它属于我们前面见过的两级抓取：列表页给出问题和链接，详情页才有那几十个回答。区别在于，这一次详情页里的条目数量很多、长短不一，还牵涉到翻页和请求节奏，比采一篇新闻正文要讲究。

1.1 这一篇用哪些真实站点

示范站点是知乎，入口用它的发现页 https://www.zhihu.com/explore。这一页会把一批正在被关注的问题推给你，每个问题带标题、回答数与关注数；点进任意一个问题（地址形如 https://www.zhihu.com/question/1000123）就是详情页，回答按平台默认的口径排列，每条回答带点赞数（知乎叫「赞同」）、评论数、作者与时间。要注意：知乎对未登录访问有较强限制，同一会话里浏览多了会弹出登录墙，因此课堂练习只取少量公开可见的问题与回答，控制频率、不登录。

延伸站点可作对照：V2EX https://www.v2ex.com/?tab=hot（话题与回复数）、CSDN 问答 https://ask.csdn.net/（技术问答，含「已采纳」标记）。

1.2 这个案例要拿到什么

• 从列表页取回一批问题：标题、链接、回答数、关注数、问题标签；
• 顺着链接进入详情页，取回答正文、点赞数、评论数、作者、回答时间；
• 回答按点赞从高到低排序，只保留前若干条；
• 分页把列表翻几页，凑够目标数量；
• 控制请求节奏：每条之间留间隔，总量设上限。

1.3 两级抓取这一次的新问题

1.4 这一案例的取舍原则

新闻类采集讲究「尽量全」，而问答类采集更讲究「按价值取」。一个热门问题下排名靠后的回答，往往点赞寥寥、信息量也不高。把精力放在每页前若干条高赞回答上，既能拿到有代表性的内容，又能把请求量压到合理范围。

1.5 知乎回答的「折叠」要提前说清

知乎的问题页上，并不是每个回答都会老老实实排在列表里。点赞少、被举报或被平台判为「无帮助」的回答，会被折叠到「被折叠的回答」入口里；此外还有「作者精选」「编辑推荐」这类排序标签。

这对采集意味着两件事：一是口径要写清——只取默认展示的回答，还是把折叠回答也算进来；二是预期要放平——你采到的条数，很可能小于页面上标注的「回答总数」。这两点不写进提示词，验收时就说不清「为什么少了」。

目标站点与交付产物

下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点；橙色是延伸站点，多数有登录墙或风控，课堂上只讲结构、原理与合规边界，不教绕过。

二、数据源与字段设计

数据源是知乎的问题列表页与问题详情页两级结构。我们先在列表页上拿问题清单，再逐条进入详情页取回答。出于合规与效率考虑，本案例只采公开可见的问答区，只取每页前若干条高赞回答，不含被折叠的回答。

2.1 站点信息表

2.2 问题级字段表（列表页取）

2.3 回答级字段表（详情页取）

2.4 排序口径对照表

三、零代码操作步骤

1. 先采问题列表页。让 WorkBuddy 打开 https://www.zhihu.com/explore 取第 1 页的问题标题、链接、回答数，先做小样本。
2. 确认能翻页。问它「这个列表有没有下一页」，有的话就翻到第 2 页，合并时按问题编号去重。
3. 只取前几条高赞回答。进入一个问题的详情页，先只取按点赞排的前 5 条，看看字段齐不齐。
4. 核对回答字段。重点看点赞数（有没有「1.3 万」这类写法）、评论数、回答时间格式、正文有没有夹进推荐位。
5. 约定总量上限。说「最多采 10 个问题，每个问题最多前 20 条回答，总共不超过 200 条」。
6. 设定请求节奏。要求「每条详情页之间间隔 2 秒，不要并发，失败的重试 1 次即可」。
7. 长文本另存。说「长正文单独存 txt，表格里留摘要和字数」。
8. 导出并归档。问题表与回答表分开导出，方便后续按问题编号关联。

四、提示词模板与追问技巧

下面这段可以直接复制。它把真实网址、两级抓取、排序口径、总量上限、请求节奏、长文本处理这几件事一次交代清楚。

请帮我采集知乎的问答数据（两级抓取）。

【目标页面】知乎发现页，地址：https://www.zhihu.com/explore
【延伸站点】若受限，可改用 V2EX 热门 https://www.v2ex.com/?tab=hot

【第一级：问题列表】
  地址：https://www.zhihu.com/explore
  字段：问题标题、问题链接、问题编号、回答数、关注数、问题标签、列表页页码
  范围：第 1 页（约 20 个问题）

【第二级：问题详情页的回答】
  从上面挑 10 个问题，逐条进入详情页（形如 https://www.zhihu.com/question/1000123）采集回答：
  字段：问题编号、回答编号、回答链接、回答排序、回答正文、字数、
        点赞数、评论数、作者昵称、作者类型、回答时间、编辑状态
  排序口径：按「点赞数从高到低」，每个问题只取前 20 条
  点赞数若是「1.3 万」这样的写法，请换算成 13000

【输出要求】
  1. 问题表与回答表分成两个工作表
  2. 回答正文超过 200 字的，表格里只放前 100 字摘要，
     完整正文按 问题编号_回答序号.txt 另存到 responses 目录
  3. 导出 qa_questions_20261008.xlsx 与 qa_answers_20261008.xlsx

【执行要求】
  - 每条详情页之间间隔 2 秒以上，不要并发
  - 总量上限 200 条回答，够了就停
  - 失败的重试 1 次，仍失败就记录原因，不要一直重试
  - 只采公开可见的问答内容，不含被折叠的回答，不要登录、不要绕过访问限制
  - 出现登录墙立即停止并告诉我

4.1 三条常用追问指令

追问一（换排序口径）：
请把这 10 个问题的回答改成按「时间从新到旧」取前 20 条，
和按点赞排的结果分开保存，我要对比两种口径的差异。

追问二（控制节奏）：
请求看起来有点密，请把间隔改成每条 3 秒，
并把这次实际发出的请求次数统计给我。

追问三（长文本处理）：
回答正文里混进了「相关推荐」「关注作者」这类内容，
请把这类块去掉，只保留回答本身，并重新统计字数。

五、结果核对、清洗与保存

回答表的结果样例（节选，示例数据）：

5.1 四项核对

• 条数：10 个问题是否都取到了，每个问题是否够（或超过）约定条数；
• 排序：点赞数是不是从高到低排列，有没有乱序；
• 长文本：摘要截断位置是否干净，完整正文文件有没有按约定命名；
• 作者与时间：作者昵称与作者类型是否为空，回答时间格式是否统一。

5.2 清洗指令与文件组织

请对回答表做以下处理：
① 去掉正文摘要与作者昵称的首尾空格；
② 点赞数统一成整数（1.3 万 → 13000）；
③ 回答时间统一成 YYYY-MM-DD HH:MM；
④ 新增一列「字数区间」：短（≤100）/ 中（101~500）/ 长（大于 500）；
⑤ 按问题编号与回答排序，保持每个问题内部的有序性。

文件组织：
  qa_questions_20261008.xlsx    ← 问题表
  qa_answers_20261008.xlsx     ← 回答表（含摘要与字数）
  qa_answers_clean.xlsx        ← 清洗版
  responses/                   ← 完整回答正文（每个回答一个 txt）
  qa_log.txt                   ← 日志：请求次数、成功/失败条数

5.3 两级表怎么配合着用

问题表和回答表分开存之后，分析时要靠问题编号把它们接起来。常见的两种接法：

• 从问题看回答：挑回答数最多的问题，看它的高赞回答都在说什么；
• 从回答看问题：把所有回答按字数或点赞数排序，回看它们分别挂在哪个问题上。

长正文已经外置成 txt，表格里只留摘要，所以做词频或主题分析时，直接读 responses 目录里的文本文件即可，不必再从单元格里抠字。

六、常见问题与合规红线

6.1 五个高频问题

6.2 三条合规红线

1. 只采公开可见内容，不登录、不绕过限制；个人主页、私信、关注关系一律不碰。
2. 总量与频率要克制，设上限、留间隔，课堂练习以跑通方法为目的，不追求规模。
3. 不点评、不公开原作者内容，分析结论只呈现整体统计，避免把个体推到台前。

还有一条容易忽略的经验：回答的「作者类型」值得单独看一眼。机构号发的回答往往带品牌视角，个人号更偏经验分享；做来源分析时把两者分开统计，结论会稳得多——但无论哪种，都只对内容做统计，不对具体的人做评价。

七、随堂自测（10 题）

点击选项即可判分，答错的题会立刻显示解析。