案例 34｜动态网页采集实战

一、案例背景与采集目标

前面二十多个案例，我们采的大多是「一打开网页就能看到全部内容」的静态页。可真实世界里的页面越来越不爱这么干了：内容要等你往下滚才出现，要等你点一下「加载更多」才补上，甚至要你登录之后才给你看。这类页面叫动态网页。

这一篇的示范对象是携程旅游攻略，网址 https://you.ctrip.com/sight/guangzhou152.html ，它是一个公开、无需登录、滚动到底部会继续加载的图文列表页，非常适合课堂复现。另一个目标对象是小红书探索页，https://www.xiaohongshu.com/explore ，它是典型的强登录墙动态页，我们只讲它的原理与合规边界，不绕过登录。这一篇是全课的技术难点，但请放心——你依然不写代码，要学的是怎么判断页面是不是动态的、怎么让 WorkBuddy 驱动浏览器去操作页面再取内容、怎么处理等待、重试、条数上限与失败留证。

1.1 这个案例要拿到什么

• 识别出一个页面属于哪种动态类型：滚动加载 / 点击加载更多 / 需要登录；
• 让 WorkBuddy 驱动浏览器，把「滚动到底部」触发出来的条目全部取回；
• 处理等待与重试：内容没出来时先等，最多重试几次；
• 设定条数上限与终止条件，避免无限滚动把对话拖死；
• 采集失败时留下页面截图作为证据，方便排查。

1.2 为什么动态页面这么难

原因用一句话就能说清：你右键查看的「网页源代码」里，根本没有你要的内容。携程攻略页、小红书探索页都是这样——你在屏幕上明明看到了标题和图片，按 Ctrl/Cmd + F 去搜源代码却搜不到，因为它们是浏览器运行 JavaScript 之后才填进去的。

目标站点与交付产物

下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点；橙色是延伸站点，多数有登录墙或风控，课堂上只讲结构、原理与合规边界，不教绕过。

二、数据源与字段设计

示范站点选携程旅游攻略，https://you.ctrip.com/sight/guangzhou152.html ，公开、无需登录、滚动加载；目标站点选小红书探索页，https://www.xiaohongshu.com/explore ，强登录墙，只讲原理与合规边界。这类页面在资讯聚合、攻略、公开榜单站里很常见。

2.1 目标站点信息

2.2 完整字段表（12 个字段）

2.3 三条操作口径要点

1. 先设定「停下来」的条件。滚动加载页面理论上可以无限往下，必须提前说清楚：采到 50 条就停，或者连续滚动 3 次都没有新条目就停。没有终止条件，任务可能永远结束不了。
2. 等待要「显式」。页面渲染需要时间。要明确告诉助手：每滚动一次，等 1 到 2 秒，等内容稳定后再抓取。很多「采到一半是空的」问题，根子都在没等够。
3. 失败要留证。当某次操作没拿到内容时，让助手把当前页面截图保存下来。有了截图，你能一眼看清是页面变了、还是被限速了、还是根本没滚动到底。

三、零代码操作步骤

本案例的操作分两段：先判断页面类型，再让 WorkBuddy 驱动浏览器。请按顺序来。

3.1 第一步：判断页面是不是动态的

1. 在浏览器里打开携程旅游攻略 https://you.ctrip.com/sight/guangzhou152.html，随便记住一个你看到的标题词。
2. 右键 → 查看页面源代码（注意不是「检查元素」）。
3. 在源代码页面按 Ctrl/Cmd + F，搜索刚才记住的那个词。
4. 搜不到：这是动态页面，内容由脚本渲染，需要驱动浏览器。
5. 搜得到：这是静态页面，直接按前面案例的方式采，不需要本案例的复杂操作。

3.2 第二步：驱动浏览器采全内容

1. 把判断结果告诉 WorkBuddy：「这个页面是滚动加载的动态页，代码里没有内容，请用浏览器打开它，滚动到底部加载更多，再采集」。
2. 约定滚动规则：「每次滚动后等 2 秒；连续 3 次没有新增条目就停止；最多采 50 条」。
3. 先小步验证：让它先滚动 3 次，把已加载的条目报给你，看内容是不是你要的。
4. 确认真到底：看它报告的最末一次新增条数；若停止时新增不为 0，说明还没到底，让它继续。
5. 要求失败留证：「如果某一步没采到内容，请截一张当前页面的图保存下来，并告诉我卡在哪一步」。
6. 导出结果：导出为 dynamic_20261008.xlsx，把加载批次列保留，方便你判断覆盖范围。

四、提示词模板与追问技巧

动态页面的提示词，关键是把页面类型、触发动作、等待时长、终止条件、失败留证五件事写全。下面针对携程旅游攻略这种「滚动到底部加载更多」的页面给出一份完整模板。

请帮我完成一个动态网页的采集任务。

【目标站点】携程 · 旅游攻略，网址 https://you.ctrip.com/
【页面类型】内容是滚动到底部后才加载的（我已经右键看过源代码，里面搜不到标题）
【采集方式】请用浏览器打开这个页面，反复滚动到底部，触发加载更多，再采集内容

【需要字段】
  1. 序号（从 1 开始）
  2. 内容标题
  3. 正文摘要（只取前 80 字，没有就留空）
  4. 作者昵称
  5. 点赞数（「1.2 万」这类要换算成整数）
  6. 收藏数
  7. 评论数
  8. 发布时间
  9. 话题标签（多个用分号分隔）
  10. 详情链接（完整网址）
  11. 加载批次（这是第几次滚动后出现的）

【滚动与等待规则】
  1. 每次滚动到页面底部后，请等待 2 秒，等新内容渲染出来
  2. 连续 3 次滚动都没有新增条目时停止
  3. 最多采集 50 条，达到就停止

【失败处理】
  1. 如果某一步没采到内容，请保存一张当前页面截图（命名为 shot_01.png 递增）
  2. 并告诉我卡在第几次滚动、当前页面显示什么

【输出】
  1. 先在对话里给我表格预览和「共滚动几次、最后一批新增几条」
  2. 我确认后导出为 dynamic_20261008.xlsx

4.1 三条常用追问指令

追问一（还没到底）：
你停止时最后一批还新增了 4 条，说明还没到底。
请继续滚动 5 次，直到连续三次新增为 0 再停下。

追问二（改成点击型）：
这个页面不是滚动加载，而是要点击「加载更多」按钮。
请改为反复点击该按钮，直到按钮消失或变灰，
再把全部条目给我，并报告一共点了几次。

追问三（结果不全）：
第 20 条之后的标题都是空的，请检查是不是等的时间不够。
请把等待时间加到 3 秒重试一次，并把这次和上次的条数对比给我。

4.2 怎么验收一份动态页面的采集结果

动态页面没有「一眼能数清」的总数，所以验收要靠三条间接证据。

五、结果核对、清洗与保存

下面是 WorkBuddy 从携程旅游攻略页返回的结果样例（节选，数据为示例）：

5.1 四步核对与清洗

① 批次体检：
   请按「加载批次」分组统计条数，
   如果中间某一批突然变少，单独标出来让我检查。

② 去重：
   请按「详情链接」去重，重复的只保留第一次出现的条目。

③ 数字列规范化：
   请把「点赞数」「收藏数」「评论数」里的「万」换算成整数，
   例如「1.2 万」换算成 12000，只保留数字。

④ 补采集信息：
   请新增两列：「来源页面」和「采集时间」（精确到分钟），
   因为动态页面的内容随时会变，时间戳格外重要。

5.2 保存与归档

动态页面的采集结果，最好连同截图与日志一起归档。因为页面内容会变，日后别人质疑「你当时采的时候是这样的吗」，你有证据。

dynamic_20261008.xlsx        ← 结果主表
dynamic_20261008_log.txt     ← 日志：滚动次数、每批条数、终止原因、耗时
dynamic_20261008_shots/      ← 过程截图
    shot_01.png、shot_02.png …

六、常见问题与合规红线

6.1 六个高频问题

6.2 三条合规红线

1. 不绕过登录与验证。需要登录、需要验证码才能看的内容，本课一律不采；不要在提示词里要求助手「模拟登录」「破解验证码」。小红书探索页就是典型例子，只讲原理，不去绕登录。
2. 控制操作节奏。滚动与点击都要留出等待，既是为了采全，也是为了不给对方服务器造成压力。
3. 动态内容同样有边界。视频、音乐、付费专栏这类需要授权的内容，即使技术上能取到，也不在本课的采集范围内。

七、随堂自测（10 题）

点击选项即可判分，答错的题会立刻显示解析。