案例 08｜搜索结果页聚合与关键词监测

一、案例背景与采集目标

前面几个案例，我们是「找到内容再采集」。这一案例反过来：不知道内容会出现在哪，就让搜索引擎替我们去找。做法是设定一组关键词，每隔一段时间去搜索结果页看看「又多了哪些新条目」，把结果按天攒成一张监测线索表。

这就是常说的关键词监测或舆情线索采集：不是去爬某个网站，而是把搜索结果页当成一个监测窗口，谁在什么时候发了和关键词相关的内容，一目了然。它特别适合品牌监测、行业动态跟踪、政策落地观察这类任务。

1.1 这一篇用哪个搜索引擎

示范站点是必应中文（Microsoft Bing 中文站），地址 https://cn.bing.com/search?q=数据采集。在搜索框里输入关键词（例如「数据采集 教学」），结果页会给出标题、链接、摘要，每条还带来源站点的域名；页面右侧与顶部另有推广位，需要单独识别。这个站点结构规整、翻页参数简单（翻页靠 first=1,11,21… 这样的参数），是最适合做「关键词监测」演示的对象，无需登录。

延伸站点用于对照与练「剔广告」：百度搜索 https://www.baidu.com/（结果页顶部有明显的「广告」角标，正好练识别），以及微信搜一搜 https://weixin.sogou.com/（公众号文章检索）。

1.2 这个案例要拿到什么

• 按一组关键词取回搜索结果页上的条目：标题、链接、来源域名、摘要、发布时间；
• 剔除搜索结果里的广告与推广位，只要自然结果；
• 按来源域名统计各站点出现了多少条；
• 按天归档，形成一条能连续观察的线索表；
• 标注命中关键词，方便回溯这条线索是怎么被捞出来的。

1.3 为什么用搜索页当监测窗口

1.4 关键词怎么设计

监测能不能有收获，一半取决于关键词设计。常见的思路是分三组配词：品牌词（自家或目标对象的名字、简称、别称）、品类词（所属行业、产品类目的一般叫法）、负面词（可能暴露问题的限定词，如「投诉」「故障」「退款」）。三组词交叉组合，既覆盖得开，又能把精力引向真正需要关注的方向。

1.5 关键词监测能回答什么问题

把搜索结果按天攒成线索表之后，它能回答的问题相当具体：

• 声量：某个词最近每天能捞出多少条，是涨还是落；
• 渠道：相关讨论集中在论坛、媒体还是电商页；
• 新线索：今天相比昨天多了哪些条目，是谁在什么时候发出来的；
• 风险信号：负面词命中的条目一旦从「偶尔几条」变成「持续出现」，就该重点看。

这些问题靠人工每天翻搜索页也能答，只是效率低、还容易漏；把词表和字段固定下来交给机器，人只需要每天看那张线索表。

目标站点与交付产物

下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点；橙色是延伸站点，多数有登录墙或风控，课堂上只讲结构、原理与合规边界，不教绕过。

二、数据源与字段设计

数据源是必应中文的搜索结果页。我们不做全站爬取，只按词检索、只取前若干页的自然结果。广告与推广位要明确剔除，这一点在字段设计里就要交代。

2.1 站点信息表

2.2 关键词组设计表

2.3 结果级字段表

2.4 结果性质与时间范围

三、零代码操作步骤

1. 先定词表。按品牌词、品类词、负面词三组，把本案例要监测的关键词列出来，交给 WorkBuddy。
2. 先跑一个词看效果。让它打开 https://cn.bing.com/search?q=数据采集 用一个品牌词检索，取第 1 页结果，看看字段齐不齐、有没有混进广告。
3. 剔除广告。让它说明判断依据，把推广位删掉或标注为「是」。
4. 取来源域名。要求只保留域名（如 example-forum.com），不要整条长链接，方便后面统计。
5. 翻页扩量。说「继续取第 2、3 页（对应 first=11、first=21），合并后按链接去重」。
6. 跑完全部关键词。确认单个词的流程没问题后，让它对词表里其余关键词重复同样操作。
7. 按域名统计。说「统计每个来源域名出现了多少条，从多到少排列」。
8. 按天归档。导出成带日期的文件，并追加到累积线索表里。

四、提示词模板与追问技巧

下面这段可以直接复制。它的关键是真实网址、词表、字段、剔广告、按域名统计、按天归档几件事齐全。

请帮我做一个关键词监测任务（搜索结果页聚合）。

【监测对象】必应中文搜索，地址：https://cn.bing.com/search?q=数据采集
【对照站点】百度搜索 https://www.baidu.com/（用来练识别广告位）
【关键词表】
  品牌词：示例品牌、示例品牌简写
  品类词：示例品类
  负面词：示例品牌 投诉、示例品牌 故障
  排除词：招聘、二手

【采集字段】按这个顺序：
  1. 命中关键词（多词命中用分号隔开）
  2. 监测日期（2026-10-08）
  3. 标题   4. 链接（绝对地址）
  5. 来源域名（只要域名，如 example-forum.com）
  6. 摘要（去掉高亮标签）
  7. 结果性质（网页 / 图片 / 资讯 / PDF）
  8. 页面显示位次（含推广位的原始位置）
  9. 自然结果位次（剔除广告后的名次）
  10. 发布时间（有就记，没有留空）
  11. 搜索页页码（第 1~3 页）
  12. 是否广告（是 / 否）
  13. 结果地区（中国大陆 / 境外）

【处理要求】
  1. 每个关键词取前 3 页结果（对应 first=1、first=11、first=21），合并后按链接去重
  2. 广告与推广位一律剔除；如果保留，必须标注为「是」
  3. 统计每个来源域名出现的条数，从多到少排列
  4. 导出 search_monitor_20261008.xlsx
  5. 把结果追加到累积表 search_monitor_all.xlsx

【执行要求】每个请求间隔 1 秒以上；先只用「示例品牌」跑一遍给我确认，
通过后再跑其余关键词。

4.1 三条常用追问指令

追问一（加强剔广告）：
第 1 页前两条是推广结果，请剔除，
并告诉我你是根据什么判断它们是广告的。

追问二（只留域名）：
「来源」这一列现在是完整网址，太长了。
请只保留域名部分，方便按站点统计。

追问三（按天对比）：
这是昨天的监测结果。请和今天的结果对比，
告诉我今天新增了哪些线索、哪些关键词今天没有新结果。

五、结果核对、清洗与保存

先看一次监测的结果样例（示例数据）：

5.1 按来源域名统计（这一节的重点产物）

5.2 四项核对

• 命中情况：每个关键词是不是都有结果，有没有哪个词一条没捞到；
• 广告剔除：抽查「是否广告」列，确认推广位处理正确；
• 域名归一：同一个站点有没有被拆成两个域名（带 www 与不带）；
• 日期一致：整批的监测日期是否统一，有没有混入昨日数据。

5.3 清洗与归档指令

请对本次监测结果做以下处理：
① 去掉标题、摘要首尾空格，摘要去掉高亮标签；
② 来源域名统一去掉开头的 www.，避免同一站点被拆成两条；
③ 剔除「是否广告 = 是」的行，另存一份广告清单备查；
④ 按来源域名统计条数并算出占比，从多到少排列；
⑤ 按监测日期归档，追加到 search_monitor_all.xlsx 累积表。

文件命名：
  search_monitor_20261008.xlsx      ← 当日原始结果
  search_monitor_20261008_clean.xlsx ← 清洗版（已剔广告）
  search_monitor_ads_20261008.xlsx  ← 被剔除的广告清单
  search_monitor_domains_20261008.xlsx ← 按域名统计
  search_monitor_all.xlsx           ← 累积线索表

5.4 线索表怎么用才不白采

线索整理完，真正的使用有两条线：

• 横向看渠道：先看按域名的分布，锁定讨论最集中的几个站点，再回到线索表看它们具体在说什么；
• 纵向看时间：把每天的线索按日期接起来，看某个关键词的条目数是逐日增加还是逐渐平息。

两条线一交叉，一条舆情线索就立体了：既知道「谁在说」，也知道「说的时候量是大是小」。

六、常见问题与合规红线

6.1 五个高频问题

6.2 三条合规红线

1. 只采公开搜索结果，不登录、不绕过限制，不采集需要授权或个人隐私的内容。
2. 控制检索频率，按天或按小时即可，避免对搜索引擎造成压力。
3. 线索要核实再使用，搜索结果里的说法未经证实，不能直接当成结论对外发布。

最后提醒一句：线索表里的每一条都要能溯源。「命中关键词」「来源域名」「链接」这三列合起来，才能说清这条线索是从哪来的。少了任何一列，日后想复核都无从下手。

七、随堂自测（10 题）

点击选项即可判分，答错的题会立刻显示解析。