案例 01｜校园新闻采集（webplus 站群）

一、案例背景与采集目标

我们从今天开始做一件很实用的事：把网页上公开的信息，整整齐齐地搬进一张表格里。这件事就叫网络数据采集。

第一个案例直接上真站点：广州城市理工学院 · 校园新闻网，网址 https://www.gcut.edu.cn/xyxw_183/list.htm。这是学校对外发布校园新闻的公开栏目，全站新闻按时间倒序排列，一页 16 条，一共 955 页，最早能追到 2006 年。

1.1 为什么第一个案例挑这个站点

• 数据是我们学校自己公开发布的，采集它零门槛、零伦理争议，适合作为整门课的起点；
• 它是国内高校与政府网站最主流的建站系统之一（webplus / 苏迪科技站群，特征就是网址里的 /xyxw_183/list.htm 这种栏目编号加分页），学一套能直接套用到几百家同类站点；
• 规模真实、结构规整——近千页列表、上万篇详情，既够练「批量 + 断点续跑」，又不会像电商、社交站那样一上手就撞登录墙和验证码。

1.2 这个案例要拿到什么

做完这一篇，你会得到一张 一万五千多行的校园新闻明细表，一行一条新闻，字段固定为下表那 20 个（字段表见第二节）。在此基础上顺手就能做出三个统计：逐年、逐月的发布量、署名记者的发稿量排名、浏览量 Top100 的热门稿件。

1.3 站点结构速查（动手前先认识它）

1.4 这个案例的难点在哪

目标站点与交付产物

下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点；橙色是延伸站点，多数有登录墙或风控，课堂上只讲结构、原理与合规边界，不教绕过。

二、数据源与字段设计

目标站点：广州城市理工学院 · 校园新闻网，网址 https://www.gcut.edu.cn/xyxw_183/list.htm。

2.1 先定字段，再动手

很多人一上来就说「帮我把这个网站爬下来」，结果拿回一张字段乱七八糟的表。正确顺序是：先把要哪些列想清楚、列成清单，再交给 WorkBuddy。

2.2 完整字段表（20 个字段）

下表就是本案例的验收标准。其中前 6 个来自列表页与详情页原始数据，其余是清洗阶段派生出来的分析字段——派生字段看着多，其实都是「日期拆开、署名拆开」这两种操作的产物。

2.3 三个必须写死的口径

• 浏览量要走接口，不能抄页面。详情页 HTML 里那个 10 对每一篇都一样，真实数字必须带着这篇的网址去问计数接口（接口细节见 《案例02》 第三节）。口径不写清，AI 很可能直接把 10 抄进表里。
• 日期有两个，要说清用哪个。列表页上显示的时间（news-list-section-item-time）与详情页的发布时间（article-time）其实是一致的，容易让人误以为只有一个日期；真正可能差一天的是网址里的归档日期——详情页网址形如 /2026/1014/c183a214802/page.htm，中间那段 1014 未必等于页面上的发布时间。本案例统一以详情页发布时间为分析基准，同时把网址归档日期也保留、再算一个「日期差」字段做校验。
• 「转发稿」要单独标出来。校园网里有少量新闻其实是跳转到微信公众号的转发稿，这类链接点开取不到正文与浏览量，必须用「链接类型」字段标成「微信」，否则统计时会把它们当成「浏览量缺失」的坏数据。

三、零代码操作步骤

下面是在 WorkBuddy 里完成本案例的完整流程。全程不需要你写一行代码，但每一步都要动脑核对。

1. 打开 WorkBuddy，新建一个对话，粘贴下一节的「采集任务提示词」（网址就用 https://www.gcut.edu.cn/xyxw_183/list.htm）。
2. 先采 3 页试试水。说「先只采前 3 页列表，并只进这 3 页里的详情页，采完给我看」。这一步是为了在十分钟内验证字段都能取到，而不是等全量跑完才发现字段错了。
3. 核对三件要命的事。① 详情页地址是不是完整的 https:// 开头；② 浏览量是不是每篇都不一样的真实数字（如果整列都是 10，说明抄了占位符）；③ 署名原文与记者姓名两列是不是对得上。
4. 追加修正指令。发现问题用大白话说，例如「浏览量整列都是 10，请改成从计数接口取真实值」。
5. 放开全量。确认无误后说「按同样规则采集全部 955 页列表，以及所有详情页，已经采过的自动跳过」。这一步耗时较长，让它在后台跑。
6. 导出四件套。说「把结果整理成：数据明细 Excel、可筛选的明细网页、带图表的数据看板，再把这套采集流程打包成一个可复用的技能包」。
7. 打开文件验收。数一数总条数、抽查几行字段，再看看板上「逐年发布量」的形状是不是符合常识（比如 2020 年一般会低一些）。

四、提示词模板与追问技巧

下面这段可以直接复制。注意三个要点：网址写全、字段按编号列清、把「浏览量走接口」和「断点续跑」交代死。

请帮我采集广州城市理工学院校园新闻网的新闻数据。

【目标站点】https://www.gcut.edu.cn/xyxw_183/list.htm
  这个站是 webplus 站群，列表页分页形式为 /xyxw_183/list2.htm、list3.htm …
  列表每条新闻在 <li class="news-list-section-item"> 里，页脚有 <a class="next"> 指向下一页。

【采集范围】先只采前 3 页列表做验证，我确认后再采全部 955 页。

【需要字段】按这个顺序：
  1. 序号（最后统一重排）
  2. 标题（保持原文，不要改写或截断）
  3. 详情页地址（一定是完整的 https 绝对地址，不要相对路径）
  4. 链接类型（站内 / 微信 / 其他：mp.weixin.qq.com 的算微信，gcut.edu.cn 的算站内）
  5. 网址归档日期（详情页网址 /2026/1014/ 里的那段年月日）
  6. 发布时间（详情页 article-time，格式 2026-10-08）
  7. 浏览量（注意：详情页 HTML 里那个 10 是占位符！真实值请带 Referer 请求
     /_visitcountdisplay?siteId=19&type=3&articleId=文章ID 这个接口获取）
  8. 是否有署名 / 署名原文 / 记者姓名（把「本网讯（记者 张三）」括号里的原文和解析结果都留下）
  9. 采集日期

【执行要求】
  1. 先在对话里给我一张表格预览，我确认后再导出
  2. 相对地址必须用网址拼接补成绝对地址
  3. 支持断点续跑：已采过的链接自动跳过，中断后重跑同一条命令能接着采
  4. 并发不要超过 16，请求之间留间隔，不要轰炸对方服务器
  5. 导出为 Excel，文件名 campus_news.xlsx

4.1 三条常用追问指令

追问一（浏览量不对）：
  浏览量这一列现在每行都是 10，这是页面里的占位符。
  请改成请求 /_visitcountdisplay 计数接口取真实值，
  请求时必须带上这篇文章的详情页地址作为 Referer。

追问二（补全链接）：
  请检查「详情页地址」这一列，凡是 /开头、没有域名的相对地址，
  一律补上 https://www.gcut.edu.cn 前缀，并去掉重复的链接。

追问三（署名解析）：
  署名解析有几种情况要处理好：全角括号「（记者 张三）」、半角括号「(记者 张三)」、
  全角冒号「(记者：张三)」、以及像「记者庄 祉祎 甄诚」这种一个字姓加两个字名的情况，
  还要把「汽车与交通工程学院团学学术部」这种部门名过滤掉，不要当成记者姓名。

五、结果核对、清洗与保存

采集到的原始结果节选（示例数据，均为真实字段形态）。这一张表就是最终要交付的明细表：

说明：第 4 行是跳转微信公众号的转发稿，原链接已不可考，表中以示意地址代替；各行「发布时间」都已统一成 YYYY-MM-DD，网址里的归档日期通常与之相同或早一天。

5.1 五步清洗，一句话一条

① 链接补全与去重：
   把「详情页地址」里的相对地址补成绝对地址，并按该列去重，重复的只留第一条。

② 日期拆列：
   以「发布时间」为准新增「发布日」，再派生出「发布年份」「发布月份」「年月」「星期」四列。

③ 署名拆分：
   把「署名原文」解析成「记者姓名」列，多人用「、」连接；
   另外补上「是否有署名」「署名人数」「首位署名」三列。

④ 缺失标注：
   把浏览量按数值型处理，缺失的留空不要填 0；
   统计浏览量、署名的缺失条数与占比，单独写进质量说明。

⑤ 输出交付：
   先给我一张 Excel 数据明细，再生成一个可筛选排序的明细网页和一个数据看板。

5.2 这套流程最后交付四样东西

六、常见问题与合规红线

6.1 这个站点上最容易踩的五个坑

6.2 三条合规红线（每个案例都要过一遍）

1. 只采公开信息。校园新闻是学校对外公开的宣传信息，可以采；但不采集需要登录才能看到的内容，不采集个人隐私。
2. 控制频率。本案例并发不超过 16、请求之间留间隔；对方 robots.txt 明确禁止的路径一律不碰。
3. 不越权使用。采集结果用于课堂分析与学习研究；引用正文须注明来源与原文链接，不把原文整篇搬去二次发布。

七、随堂自测（10 题）

点击选项即可判分，答错的题会立刻显示解析。