案例 35｜短视频与直播数据采集

一、案例背景与采集目标

短视频已经成了很多人每天打开次数最多的应用。做社团宣传、做个人账号、做市场调研，都绕不开一个问题：什么样的内容在平台上更受欢迎？要回答它，就得把一批公开的视频元数据——点赞、评论、收藏、话题——捞出来做对比。

这一篇的示范站点是抖音，https://www.douyin.com/ ，以及B 站的视频列表，https://www.bilibili.com/ 。抖音是典型的无限滚动加登录墙加强风控三件套：不登录只能看很少的内容，继续往下滚会弹登录，请求稍微密一点就会被要求验证。B 站的视频列表相对友好一些，但同样有频率限制。

正因为三个难点凑在一起，这个案例的重点不是「怎么多采」，而是「怎么守住边界」：哪些采、哪些坚决不采、遇到登录墙和验证码怎么办。把这条边界讲清楚，比多采几十条数据重要得多。

1.1 这个案例要拿到什么

• 从抖音与 B 站公开可见的视频列表页取回视频元数据；
• 取回文案标题、作者昵称、作者 ID、点赞、评论、收藏、分享等字段；
• 把「10w+」「1.2万」这类缩写数字还原成整数；
• 记录发布时间、时长、话题标签、背景音乐；
• 把结果按采集批次保存，并写清哪些内容属于不采范围。

1.2 这个案例的难点在哪里

短视频平台把「难采」和「不让采」两件事叠在了一起，所以动手之前要先把现象看明白。

目标站点与交付产物

下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点；橙色是延伸站点，多数有登录墙或风控，课堂上只讲结构、原理与合规边界，不教绕过。

二、数据源与字段设计

示范站点是抖音 https://www.douyin.com/ 与 B 站视频列表 https://www.bilibili.com/ 。两者都需要注意采集边界：抖音登录墙明显，B 站相对友好但也有频率限制。

2.1 目标站点信息

2.2 完整字段表（14 个字段）

2.3 三条字段口径要点

1. 「10w+」要还原成整数，并注明是估算。它表示「超过十万」，不是一个精确值。统一写成 100000，并在备注里说明「平台显示为 10w+，此处按 100000 记录」，不要让它看起来像精确统计。
2. 时长统一成秒。页面可能显示「03:06」，要换算成 186 秒。统一单位后，做「时长与点赞关系」的分析才不会出错。
3. 只采元数据，不采视频本身。文案、作者昵称、点赞数这些是页面上公开显示的；视频文件、直播间用户列表、弹幕里的个人信息都不在字段表里。

三、零代码操作步骤

本案例的操作原则是「少量、慢速、公开」。请务必按下面的顺序来，尤其注意登录与风控的处理方式。

1. 先在浏览器里打开抖音 https://www.douyin.com/，不登录，看看首页能显示多少内容。
2. 判断登录墙位置。往下滚，观察什么时候弹出「登录后查看更多」的提示；记住弹窗之前你能看到的内容范围。
3. 在 WorkBuddy 里新建对话，把页面地址和字段要求给它，并要求「只采登录前公开可见的内容，遇到登录弹窗就停止」。
4. 先小批试采 5 条。让它先在对话里给出 5 条结果，重点看数字是不是被还原成了整数。
5. 确认缩放规则。让它说明「10w+」这类值是怎么处理的，以及有没有标注为估算。
6. 如遇验证或拦截，立即停止。不要反复重试、不要尝试绕过；切到 B 站视频列表这个备选站点继续。
7. 导出结果。导出为 douyin_视频元数据_20261008.xlsx，保留采集批次列。
8. 打开文件验收。核对照标行数，抽查 3 条链接是否可打开。

四、提示词模板与追问技巧

短视频采集的提示词，最重要的是把边界写清楚：只采公开可见的部分，遇到登录与验证就停。同时把字段、数字还原规则、滚动终止条件写全。下面这段可以直接复制。

请帮我完成一个短视频元数据采集任务，注意边界。

【目标站点】抖音 https://www.douyin.com/
【采什么】只采无需登录即可看到的公开视频元数据
【不采什么】不下载视频文件；不采直播间用户信息；不采弹幕内容；
            不绕过登录与验证码

【需要字段】按这个顺序：
  1. 序号（从 1 开始）
  2. 视频文案（页面显示的原文，不要改写）
  3. 作者昵称
  4. 作者 ID（页面公开的账号标识）
  5. 点赞数（「10w+」「1.2万」要还原成整数，并注明是估算值）
  6. 评论数
  7. 收藏数（没有就留空）
  8. 分享数（没有就留空）
  9. 发布时间
  10. 时长（统一成秒）
  11. 话题标签（多个用分号分隔）
  12. 背景音乐
  13. 视频链接（完整地址）
  14. 采集批次（第几次滚动后出现）

【滚动与停止规则】
  1. 每次滚动后等 2 秒
  2. 连续 3 次没有新增条目就停止
  3. 最多采集 30 条
  4. 一旦弹出登录提示或出现验证码，立即停止并报告

【数字还原规则】
  把「10w+」还原成 100000、「1.2万」还原成 12000，
  并在备注里说明这是平台显示的缩写值，不是精确数字。

【输出】
  先在对话里给我 5 条预览和「是否遇到登录墙」的说明，
  我确认后再导出 douyin_视频元数据_20261008.xlsx

4.1 三条常用追问指令

追问一（遇到登录墙）：
你在第 8 条遇到了登录提示，请就停在第 8 条，
告诉我登录前一共能采到几条，不要尝试登录或绕过。

追问二（数字还原）：
请说明「点赞数」这一列里哪些是按缩写还原的估算值，
把这一列的原始显示文本（例如「10w+」）单独列一列给我看。

追问三（换备选站点）：
抖音这边采不动了，请改用 B 站视频列表采同样字段，
规则不变：只采公开内容、不下载视频文件、控制节奏。

4.2 被拦住了，可以做什么、不可以做什么

五、结果核对、清洗与保存

下面是 WorkBuddy 从抖音登录前公开可见页面返回的结果样例（节选，数据为示例）：

5.1 四步核对与清洗

① 批次体检：
   请按「采集批次」分组统计条数，并报告在哪一批遇到了登录墙而停止。

② 数字列规范化：
   请把「点赞数」「评论数」「收藏数」「分享数」里的「万」「w」换算成整数，
   例如「1.2万」换算成 12000、「10w+」换算成 100000。

③ 标注估算值：
   请把上面这些可能来自缩写值的数字，
   在备注里写明「平台显示为缩写，按估算值记录」。

④ 时长换算：
   请把「时长」列里「03:06」这类写法统一换算成秒（如 186）。

5.2 保存与归档

douyin_视频元数据_20261008.xlsx   ← 公开可见的元数据主表
douyin_数字还原对照_20261008.xlsx    ← 原始显示值 vs 还原值对照
douyin_20261008_log.txt             ← 日志：采到第几条、因何停止、是否遇到登录墙

六、常见问题与合规红线

6.1 五个高频问题

6.2 四条合规红线（本节重点）

1. 不下载视频文件。视频画面、音频、文案都受著作权保护。采集的是页面上公开的元数据，不是视频本身；不下载、不去水印、不二次发布。
2. 不采直播间用户信息与弹幕里的个人隐私。弹幕、打赏名单、粉丝列表里可能带着昵称、头像、地域等信息；这些不属于公开的元数据采集范围，一律不采。
3. 不绕过登录与验证码。需要登录、需要验证才能看到的内容，本课一律不采；不要在提示词里要求助手模拟登录或破解验证。
4. 公开数据不等于可以随意批量抓取。平台公开显示内容，是给用户看的，不等于授权你批量采集。要遵守平台的 robots.txt 与用户协议，控制频率，只取少量用于课堂分析的样本。

七、随堂自测（10 题）

点击选项即可判分，答错的题会立刻显示解析。