一、案例背景与采集目标
政府部门网站上有大量面向公众公开的信息:政策文件、通知公告、规划意见、办事指南。做区域经济分析、跟踪某个行业的监管动向、写一份政策梳理,第一步都是把一段时间内的政策文件整理成台账。
这一篇的示范站点是中国政府网的政策文件库,网址 https://www.gov.cn/zhengce/ 。它是国务院及其部门政策文件的官方公开平台,栏目是静态页面结构,无反爬,最适合课堂复现。政策信息本来就是公开的——发布的目的就是要让社会知道、让企业和公众执行,所以采集它在性质上比采电商评论「干净」得多。但也正因为是政府信息,准确与规范的要求更高:发文机关、发文字号、成文日期一个都不能错。
1.1 这个案例要拿到什么
- 从中国政府网政策文件库的栏目列表页取回条目;
- 取回标题、发文机关、发文字号、成文日期;
- 取回正文链接,以及页面上的附件链接(PDF / DOC);
- 按成文日期或发文机关归档成一份文件台账;
- 对附件做统一的命名规范,方便日后检索。
1.2 这个案例的难点在哪里
| 难点 | 具体表现 | 为什么难 |
|---|---|---|
| 字号与日期格式不统一 | 有的写「国办发〔2026〕12 号」,有的只写「第 12 号」 | 不规范就归档不了,必须先统一格式 |
| 附件藏在正文页里 | 列表页只有标题,附件在详情页或「相关文件」区 | 要进详情页,还要认出哪些才是正式附件 |
| 列表分页与归档按年 | 政策文件常常按年份或按主题分类 | 要按时间窗口归好类,避免跨年混在一起 |
| 同名文件很多 | 不同机构可能发出标题相似的文件 | 要用发文字号加标题做唯一标识,避免混淆 |
目标站点与交付产物
下表是本篇用到的真实站点。绿色是课堂可稳定复现的示范站点;橙色是延伸站点,多数有登录墙或风控,课堂上只讲结构、原理与合规边界,不教绕过。
| 项目 | 内容 |
|---|---|
| 示范站点 | 中国政府网 · 政策文件库 https://www.gov.cn/zhengce/ 官方政策公开平台,列表 + 附件结构规整,含发文字号与成文日期 |
| 延伸站点 |
|
| 交付产物 |
|
| 难度 | ★★☆ 中 |
| 合规提示 | 政务公开信息可采集,但要控制频率、不得影响对方服务;转载使用须注明来源与原文链接。 |
二、数据源与字段设计
示范站点是中国政府网政策文件库,https://www.gov.cn/zhengce/ 。它是官方政策公开平台,列表页与详情页结构规整,附件多为 PDF。延伸站点给出几个省市级政务公开入口,结构类似、可以照搬同一套字段。
2.1 目标站点信息
| 站点全称 | 网址 | 页面形态与接口 | 规模与角色 |
|---|---|---|---|
| 中国政府网 · 政策文件库 | https://www.gov.cn/zhengce/ | 静态栏目列表页 + 详情页;列表含标题、发文机关、成文日期,详情页含发文字号、索引号、附件 | 国务院及部门政策文件官方公开平台,按主题与年份分类 |
| 广东省人民政府 · 政务公开 | https://www.gd.gov.cn/zwgk/ | 省级政务公开栏目,列表 + 详情,结构类似 | 省级政府文件、通知公告 |
| 教育部 | http://www.moe.gov.cn/ | 部委文件栏目,列表 + 附件下载 | 部委级规章与政策 |
| 广州市人民政府 | https://www.gz.gov.cn/ | 市级政务公开,含政策解读与附件 | 市级政策与通知 |
2.2 完整字段表(12 个字段)
| 字段名 | 字段含义 | 示例值 | 口径与备注 |
|---|---|---|---|
序号 | 台账顺序 | 1 | 采集时自动生成 |
标题 | 文件标题原文 | 国务院办公厅关于印发全国一体化政务大数据体系建设指南的通知 | 完整原文,不要截短;以详情页「标题」栏为准 |
发文机关 | 发布单位 | 国务院办公厅 | 取页面上标注的正式单位名 |
发文字号 | 文件编号 | 国办函〔2022〕102 号 | 原样照抄含〔〕,没有就留空 |
成文日期 | 文件成文日期 | 2022-09-13 | 统一成 YYYY-MM-DD,与发布日期区分 |
发布日期 | 网站发布日期 | 2022-10-28 | 有的文件成文与发布不同日 |
主题分类 | 文件所属栏目 | 综合政务\政务公开 | 中国政府网按主题分类,没有就留空 |
索引号 | 政府信息公开索引号 | 000014349/2022-00122 | 详情页常给出,作为唯一标识之一 |
正文链接 | 文件详情页地址 | https://www.gov.cn/zhengce/zhengceku/2022-10/28/content_5722322.htm | 完整地址,可点开 |
附件名称 | 附件文件名 | (本文件无附件) | 多个用分号分隔;文件确实没有附件就留空,不要编造 |
附件链接 | 附件下载地址 | (本文件无附件) | 只要 pdf/doc/docx,多个用分号分隔;没有附件就留空 |
效力状态 | 文件现行效力 | 现行有效 | 现行有效 / 已废止,页面上有才填 |
2.3 两条字段口径要点
- 发文字号要「照抄」,不要整理。字号里的机构简称、六角括号〔〕、顺序号都是正式格式的一部分。采集时原样保留,统一格式这一步放到清洗环节再做,不要一边采一边改,否则出了问题分不清是采错还是改错。
- 附件只认「正式附件」。同一页面上可能有「相关链接」「政策解读」「一图读懂」等一堆跳转,真正的附件通常是 PDF 或 DOC 下载文件。要明确告诉 WorkBuddy:只取扩展名是 pdf、doc、docx 的链接,其余不算附件。
AI 助手小贴士|政务页面的日期写法五花八门,有「2026-01-15」也有「2026 年 1 月 15 日」。先让 WorkBuddy 报告页面上日期的实际写法,你再决定统一规则。
打开 WorkBuddy 或任意 AI 对话工具,试试这样问:请先打开中国政府网这个政策文件列表页,告诉我每条记录里「成文日期」这一项在页面上到底怎么写的,各举两个例子,先不要采集。
课程思政|工匠精神与严谨求实 · 字号与日期,一个都不能错
政策台账里最不能出错的两个字段,就是发文字号和成文日期。企业在引用政策、申请补贴时,靠的就是这两个编号去对应文件。你抄错一个数字,别人可能拿着一份错误的依据去办事。数据工作越靠近公共事务,越要把「准确」当成职业底线。
三、零代码操作步骤
工具与技能|先看清三个角色,再动手
本篇全程零代码:你把要求说清楚,AI 去执行,你负责验收。三个角色分工如下——浏览器技能指的是腾讯开源的 BrowserSkill,它能让 AI 直接操作你电脑上真实的浏览器(可复用已经登录的状态),自己开一个独立窗口干活,不打扰你正在看的网页;遇到验证码、登录或确认弹窗,它会停下来交给你本人处理。
| 角色 | 负责什么 | 在本案例里具体做什么 |
|---|---|---|
| 你 | 确认字段清单、验收结果、清洗与合规把关 | 盯字段清单、核对结果、处理异常(如验证码) |
| WorkBuddy | 接中文指令:探字段 → 批量采 → 清洗 → 导出交付物 | 拆解本篇的采集任务并跑完全量、产出交付物 |
| 浏览器技能 BrowserSkill | 以真实浏览器打开页面:跑脚本渲染、滚动 / 翻页 / 点开详情、截图留证;可复用本机浏览器已登录状态,遇到验证码或登录弹窗会停下来交给你处理 | 打开政策文件库,选好栏目与时间窗口再采 |
五步操作主线(全课程统一,每一篇都按这个顺序推进):
- 定目标与字段:先看本篇第二节的字段表,把「要哪几列、每列什么口径、要多少条」说清楚——字段清单就是验收标准,说不清就会拿回一张字段乱七八糟的表。
- 现场踩点(浏览器技能 BrowserSkill):打开
https://www.gov.cn/zhengce/,选好栏目与时间窗口(例如「国务院文件 · 2026 年」)。 - 小样试采(WorkBuddy):小批试采 5 条,逐列核对:机构名、字号、链接。
- 核对与清洗:① 发文机构名写全了没有;② 字号里的括号有没有漏;③ 分页的停止条件(成文日期早于 2026-01-01 就停)有没有生效。
- 导出与归档:导出交付物(数据明细表 / 可筛选明细页 / 数据看板 / 可复用的技能包),文件名带上采集日期,并写清数据来源、采集时间与已知局限。
用浏览器技能 BrowserSkill 打开 https://www.gov.cn/zhengce/(中国政府网 · 政策文件库),把这一页每条记录能采到的字段名和示例值列出来,先不要采集。- 先在中国政府网政策文件库(
https://www.gov.cn/zhengce/)上选好栏目与时间窗口,例如「国务院文件 · 2026 年」,把栏目列表页地址复制下来。 - 新建对话,说清时间窗口与栏目。例如「我要采 2026 年 1 月至 9 月的政策文件,来自上述栏目列表页」,并给出页面地址。
- 先让它列出可见字段。要求它报告列表页上每条有哪些字段、日期怎么写、有没有附件信息,先不要采。
- 小批试采 5 条。在对话里给出一张表,逐列核对:机构名对不对、字号有没有漏括号、链接能不能点开。
- 处理分页。若列表分页,要求「继续采集后续页面直到成文日期早于 2026-01-01 为止」,并说明停止了没有。
- 补采附件。要求「进入每条详情页,把正式附件(pdf/doc/docx)的地址取回来,多个用分号分隔」。
- 导出成台账。导出为
policy_2026_20261008.xlsx,并把附件另行下载到attachments/目录,按规范重命名。 - 最终验收。按成文日期升序排一遍,看有没有跨年混入的文件;抽查两条的字号与原文是否一致。
请把附件按「成文日期_发文机构_原文件名」的规则重命名后保存到 attachments 目录,并给我一份「原文件名到新文件名」的对照表。四、提示词模板与追问技巧
下面的提示词把真实站点地址与 12 个字段按编号列全,可以直接复制使用。
请帮我完成一个政务政策文件台账的采集任务。
【目标站点】中国政府网 · 政策文件库,网址 https://www.gov.cn/zhengce/
【时间范围】成文日期在 2026-01-01 至 2026-09-30 之间
【需要字段】按这个顺序:
1. 序号(从 1 开始)
2. 标题(完整原文)
3. 发文机关(页面标注的正式单位名)
4. 发文字号(原样照抄,含〔〕;没有就留空)
5. 成文日期(统一成 2026-01-15 这样的格式)
6. 发布日期(网站挂出的日期)
7. 主题分类(没有就留空)
8. 索引号(详情页给出的政府信息公开索引号)
9. 正文链接(完整可点开的网址)
10. 附件名称(pdf/doc/docx 的文件名,多个用分号分隔)
11. 附件链接(附件下载地址,多个用分号分隔)
12. 效力状态(现行有效 / 已废止,没有就留空)
【执行要求】
1. 先只采前 5 条给我核对,我确认后再采全部
2. 若列表分页,继续向后采,直到成文日期早于 2026-01-01 就停止,并告诉我停在哪一页
3. 不要下载全文大文件,只登记附件链接
4. 每条之间间隔 1 秒以上
5. 结果导出为 policy_2026_20261008.xlsx
4.1 三条常用追问指令
追问一(补字号):
第 4 条的发文字号是空的,请再到详情页确认一次;
如果确实没有标注,请写明「原文未标注」,不要自己编号。
追问二(统一日期):
请把所有成文日期统一成 YYYY-MM-DD 格式,
「2026 年 1 月 15 日」这类写法要改过来,并检查有没有跨年文件混进来。
追问三(追附件):
请逐条进入详情页,把正式附件(pdf / doc / docx)的地址补上,
并把每个附件按「日期_机构_原文件名」重命名后存到 attachments 目录。
如果这台电脑上你已经装好了一个能读文件的助手,还可以再追一句,让它顺手把台账里「发文机关」和「主题分类」的分布统计出来,看看这段时间哪个部门发文最多——这一步会成为你后续分析的好线索。
请基于这份台账再给我两张小表:
1. 按「发文机关」统计文件数量,降序排列;
2. 按「主题分类」统计文件数量,没有分类的归到「未分类」。
AI 助手小贴士|若文件名里带有乱码或空格,重命名规则要能兜住。让 WorkBuddy 用「英文数字下划线」兜底,避免出现奇怪字符。
打开 WorkBuddy 或任意 AI 对话工具,试试这样问:附件重命名时,如果原文件名含空格或特殊字符,请统一替换成下划线;文件名里只保留中文、字母、数字、下划线。
五、结果核对、清洗与保存
下面是 WorkBuddy 从中国政府网政策文件库返回的结果样例(节选。以下为虚构示例数据,仅用于演示台账结构与清洗规则:第 1 条以公开文件(国办函〔2022〕102 号)作格式对照,其余三条的标题与发文字号均为构造,不对应任何真实公文,请勿当作政策文件引用):
| 序号 | 标题 | 发文机关 | 发文字号 | 成文日期 | 附件 |
|---|---|---|---|---|---|
| 1 | 国务院办公厅关于印发全国一体化政务大数据体系建设指南的通知 | 国务院办公厅 | 国办函〔2022〕102 号 | 2022-09-13 | 0 个 |
| 2 | 关于印发《数字乡村发展行动计划(2026—2028 年)》的通知 | 中央网信办 农业农村部 | 中网办发文〔2026〕88 号 | 2026-08-11 | 2 个 |
| 3 | 关于促进中小企业数字化转型的若干措施 | 工业和信息化部 | 2026-07-05 | 1 个 | |
| 4 | 关于规范数据要素市场秩序的意见 | 国家市场监督管理总局 | 国市监〔2026〕41 号 | 2026-06-18 | 0 个 |
5.1 四步清洗,一句话一条
① 统一日期:
请把成文日期统一成 YYYY-MM-DD,按日期升序排列。
② 规范字号:
请把发文字号里的括号统一成六角括号〔〕,
并检查每条的格式是否都是「机构简称〔年份〕序号 号」。
③ 缺失标注:
请把空的发文字号统一填「原文未标注」,空的主题分类填「未分类」。
④ 补采集信息:
请新增两列:「来源网站」和「采集日期」,方便日后追溯。
5.2 按时间归档成台账
政策文件最自然的归档方式是按年份或季度分开。让 WorkBuddy 按成文日期把台账拆成几份,一份代表一个季度,文件名带上年份与季度。
请按成文日期把台账拆分成季度文件:
2026Q1、2026Q2、2026Q3 各一份 xlsx,
文件名叫 policy_2026Q1_20261008.xlsx 这样,
并在每份文件的开头保留一行「采集来源与日期」的说明。
5.3 保存与归档
policy_2026_20261008.xlsx ← 全量台账
policy_2026Q1_20261008.xlsx ← 按季度拆分
policy_2026Q2_20261008.xlsx
policy_2026Q3_20261008.xlsx
attachments/ ← 附件(按「日期_机构_文件名」重命名)
policy_20261008_log.txt ← 采集日志:栏目、时间窗、页数、条数、失败项
AI 助手小贴士|归档前先让 AI 检查一遍日期有没有落进区间:把小于 2026-01-01 或大于 2026-09-30 的条目单独列出来,这类「跨年混入」是政务台账最常见的错误。
打开 WorkBuddy 或任意 AI 对话工具,试试这样问:请把成文日期不在 2026-01-01 到 2026-09-30 之间的条目单独列出来,其余不用展示。
课程思政|工匠精神与严谨求实 · 台账的价值在于可查
一份好的政策台账,半年后别人拿去用,仍然能顺着文件名找到当年那份文件、顺着链接回到原文。这背后是一整套命名与归档的规矩。你今天多花五分钟把附件改名、把日志写全,将来就能替自己和同事省下几个小时。
六、常见问题与合规红线
6.1 五个高频问题
| 现象 | 原因 | 怎么处理 |
|---|---|---|
| 列表只显示到本月,往年的采不到 | 栏目按年份分区,入口在另一个页面 | 把往年的分区链接一并给出,逐个采集 |
| 发文字号里出现半角括号 ( ) | 页面排版用了半角 | 清洗环节统一替换成六角括号〔〕 |
| 附件链接点开是网页而不是文件 | 那是「政策解读」页,不是附件 | 限定只取 pdf/doc/docx 结尾的链接 |
| 同一份文件在台账里出现两次 | 同一文件在多个栏目重复发布 | 按「发文字号 + 标题」联合去重 |
| 日期是「1 月 15 日」没有年份 | 页面按年份分区,年只在分区标题上 | 采集时把分区年份补进日期,形成完整日期 |
6.2 三条合规红线
- 只采公开栏目。内部办公系统、需要账号登录才能看的文件一律不采;只取政府信息公开栏目下对公众开放的页面。
- 控制频率。政务网站流量承载有限,请求之间留足间隔,不要并发抓取、不要短时间反复重采。
- 注明来源、不曲解。引用时写清机构名与成文日期;正文以原文链接为准,不截取半句话做结论。
课程思政|数据安全与法治素养 · 公开信息的正确用法
政务公开的目的是让公众更好地知情、办事、监督。我们采集它,是为了把散落的政策整理清楚,方便分析和应用。这中间的边界很清楚:可以整理、可以分析、可以引用,但要注明来源、不能伪造、不能用于误导他人。用数据做实事,而不是用数据造声势。
七、随堂自测(10 题)
点击选项即可判分,答错的题会立刻显示解析。
1政务政策文件台账里,最能唯一标识一份文件的字段组合通常是?
- A. 发文字号 + 标题
- B. 标题
- C. 采集日期
- D. 序号
2在中国政府网列表页采集时发现日期只写了「1 月 15 日」没有年份,最可能的原因是?
- A. 年份写在栏目分区标题上,条目本身省略了
- B. 页面出错
- C. 日期需要登录才显示
- D. 该文件没有年份
3采集「附件链接」时,下面哪个链接才应该被当作正式附件?
- A. 关于本文件的政策解读页
- B. 相关的新闻稿页面
- C. 数据下载说明页面
- D. 以 pdf 或 docx 结尾的下载文件
4把发文字号里的半角括号 ( ) 统一替换成六角括号〔〕,这一步应该在什么时候做?
- A. 采集的时候顺手改
- B. 决定不采集时
- C. 采集完成后的清洗环节统一做
- D. 每次打开文件时手动改
5关于政务信息的合规使用,下面哪种做法是正确的?
- A. 把内部办公系统的文件也一并采集
- B. 注明来源机构与发布日期,正式引用回原文核对
- C. 直接转述公众号的二手版本
- D. 为了效率可以每秒请求很多次
6某份文件在台账里出现了两次,去重时最可靠的依据是?
- A. 标题相同就删一条
- B. 序号相同
- C. 发文字号加标题相同
- D. 成文日期相同
7把政策台账按季度拆分文件,主要好处是?
- A. 便于按时间窗口检索与交接,历史数据不会被反复覆盖
- B. 文件变小了
- C. 可以让日期更好看
- D. 能减少附件数量
8采集政务页面之前,最应该先确认的一件事是?
- A. 页面的配色
- B. 服务器所在地
- C. 页面的访问量
- D. 该栏目是否属于对公众开放的信息公开栏目
9附件按「日期_机构_原文件名」重命名后保存,最大的意义是?
- A. 名字更长更气派
- B. 日后一眼能看出附件的归属与时间,方便检索
- C. 可以减小文件体积
- D. 方便隐藏原文件名
10台账交付前,让 WorkBuddy 单独列出「成文日期不在时间窗口内」的条目,是为了?
- A. 凑够表格行数
- B. 发现跨年混入的错误条目,避免台账不准确
- C. 测试 AI 的能力
- D. 让结果更美观