# 党史文献库
中共中央党史和文献研究院官网公开电子书的本地文本存档。存放从官方电子书平台提取的全文 Markdown，便于检索、引用与 RAG 索引。
> 建立：2026-09-17（第100次会话）｜最近更新：2026-09-18（第102次会话）
## 来源与提取方式
- **来源站点**：中共中央党史和文献研究院官网
- **电子书平台**：（站方公开的在线阅读页）
- **提取方式**：**均不是 OCR**，按站方两种格式分别处理：
1. **HTML5（名编辑企业版）**：每册自带为**站内搜索**服务的全文文本文件 `mobile/javascript/search_config.js`（`textForPages` 数组按页存放全文）→ 直接解析文本层，无识别错误，但保留搜索索引的排版特征（见下）；
2. **Flash（FlipViewer Xpress）**：每页是单页 `.swf`，**文字页内是矢量字形**（`DefineFont2` + glyph→Unicode 映射）→ 用 `swfmill swf2xml` 转 XML 后按坐标**精确还原文字**（同样非 OCR、无识别错误；图版/封面页则为空白）。
- **提取日期**：2026-09-17（HTML5 部分）／2026-09-18（Flash 部分）
## 目录结构
```
党史文献库/
├── README.md # 本索引
├── _全站书目清单.md # 全站 303 本电子书普查（格式 / 可提取性 / 状态）
├── 建党以来重要文献选编/ # 《建党以来重要文献选编（1921—1949）》全 26 册 ✅
│ ├── _fetch_report.json # 抓取报告（每册页数/字数/来源链接/状态）
│ └── 建党以来重要文献选编（第N册）.md
├── 建国以来重要文献/ # 《建国以来重要文献选编》20 册 ✅
├── 专题文献/ # 专题文献栏目 18 种（FlipViewer / Flash，矢量文字提取）
└── 全站电子书/ # 全站其余 HTML5 电子书 88 本（按栏目分目录）
```
## 文本特征与使用注意
| 特征 | 说明 | 处理 |
|---|---|---|
| 词间空格 | 搜索索引按词切分，原文词间被插入空格 | 已压缩连续空白，保留单空格 |
| 全角数字 | 原书排版为全角（如 `１９２１`） | **未转换**，检索时注意 |
| 装饰性字符残留 | 版权页/封面装饰字被映射为 `! " # $ %&'()*` 等 ASCII | 保留原样，勿当正文引用 |
| 缺字标记 | 原书用 `□` 或空引号「」表示辨认不清的字 | 保留原样 |
| 页眉页码 | 每页首部含页眉/页码（如 `２８９ 中国共产党对于时局之主张`） | 保留，可用于定位 |
| 插图/表格 | **图片不在文本层内**（文本层仅为文字） | 需要图文对照时请查原电子书页面 |
> ⚠️ 本库文本用于**检索与定位**；**正式引用请以纸质版/原书为准**。
## 收录清单
### 《建党以来重要文献选编（1921—1949）》全 26 册
原书：中共中央文献研究室、中央档案馆 编；全书 26 册，约 1350 万字，收入各类文献 3600 余篇（其中 300 余篇首次公开发表）。
| # | 册 | 页数 | 字数 | 文件 | 状态 |
|---|---|---|---|---|---|
| 1 | 建党以来重要文献选编（第一册） | 549 | 337,403 | [建党以来重要文献选编（第一册）.md](建党以来重要文献选编/建党以来重要文献选编（第一册）.md) | ✅ |
| 2 | 建党以来重要文献选编（第二册） | 682 | 422,386 | [建党以来重要文献选编（第二册）.md](建党以来重要文献选编/建党以来重要文献选编（第二册）.md) | ✅ |
| 3 | 建党以来重要文献选编（第三册） | 540 | 332,028 | [建党以来重要文献选编（第三册）.md](建党以来重要文献选编/建党以来重要文献选编（第三册）.md) | ✅ |
| 4 | 建党以来重要文献选编（第四册） | 853 | 562,486 | [建党以来重要文献选编（第四册）.md](建党以来重要文献选编/建党以来重要文献选编（第四册）.md) | ✅ |
| 5 | 建党以来重要文献选编（第五册） | 827 | 543,618 | [建党以来重要文献选编（第五册）.md](建党以来重要文献选编/建党以来重要文献选编（第五册）.md) | ✅ |
| 6 | 建党以来重要文献选编（第六册） | 771 | 502,091 | [建党以来重要文献选编（第六册）.md](建党以来重要文献选编/建党以来重要文献选编（第六册）.md) | ✅ |
| 7 | 建党以来重要文献选编（第七册） | - | - | - | ⏳ 待补（ERROR: HTTP Error 404: Not Found） |
| 8 | 建党以来重要文献选编（第八册） | 813 | 540,268 | [建党以来重要文献选编（第八册）.md](建党以来重要文献选编/建党以来重要文献选编（第八册）.md) | ✅ |
| 9 | 建党以来重要文献选编（第九册） | 675 | 441,513 | [建党以来重要文献选编（第九册）.md](建党以来重要文献选编/建党以来重要文献选编（第九册）.md) | ✅ |
| 10 | 建党以来重要文献选编（第十册） | 672 | 415,217 | [建党以来重要文献选编（第十册）.md](建党以来重要文献选编/建党以来重要文献选编（第十册）.md) | ✅ |
| 11 | 建党以来重要文献选编（第十一册） | 672 | 434,636 | [建党以来重要文献选编（第十一册）.md](建党以来重要文献选编/建党以来重要文献选编（第十一册）.md) | ✅ |
| 12 | 建党以来重要文献选编（第十二册） | 599 | 331,110 | [建党以来重要文献选编（第十二册）.md](建党以来重要文献选编/建党以来重要文献选编（第十二册）.md) | ✅ |
| 13 | 建党以来重要文献选编（第十三册） | 532 | 302,600 | [建党以来重要文献选编（第十三册）.md](建党以来重要文献选编/建党以来重要文献选编（第十三册）.md) | ✅ |
| 14 | 建党以来重要文献选编（第十四册） | 792 | 464,264 | [建党以来重要文献选编（第十四册）.md](建党以来重要文献选编/建党以来重要文献选编（第十四册）.md) | ✅ |
| 15 | 建党以来重要文献选编（第十五册） | 809 | 540,857 | [建党以来重要文献选编（第十五册）.md](建党以来重要文献选编/建党以来重要文献选编（第十五册）.md) | ✅ |
| 16 | 建党以来重要文献选编（第十六册） | 884 | 561,812 | [建党以来重要文献选编（第十六册）.md](建党以来重要文献选编/建党以来重要文献选编（第十六册）.md) | ✅ |
| 17 | 建党以来重要文献选编（第十七册） | 742 | 413,559 | [建党以来重要文献选编（第十七册）.md](建党以来重要文献选编/建党以来重要文献选编（第十七册）.md) | ✅ |
| 18 | 建党以来重要文献选编（第十八册） | 834 | 471,680 | [建党以来重要文献选编（第十八册）.md](建党以来重要文献选编/建党以来重要文献选编（第十八册）.md) | ✅ |
| 19 | 建党以来重要文献选编（第十九册） | 666 | 399,111 | [建党以来重要文献选编（第十九册）.md](建党以来重要文献选编/建党以来重要文献选编（第十九册）.md) | ✅ |
| 20 | 建党以来重要文献选编（第二十册） | 702 | 438,757 | [建党以来重要文献选编（第二十册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十册）.md) | ✅ |
| 21 | 建党以来重要文献选编（第二十一册） | 698 | 420,618 | [建党以来重要文献选编（第二十一册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十一册）.md) | ✅ |
| 22 | 建党以来重要文献选编（第二十二册） | 917 | 577,717 | [建党以来重要文献选编（第二十二册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十二册）.md) | ✅ |
| 23 | 建党以来重要文献选编（第二十三册） | 639 | 327,820 | [建党以来重要文献选编（第二十三册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十三册）.md) | ✅ |
| 24 | 建党以来重要文献选编（第二十四册） | 587 | 327,260 | [建党以来重要文献选编（第二十四册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十四册）.md) | ✅ |
| 25 | 建党以来重要文献选编（第二十五册） | 801 | 475,852 | [建党以来重要文献选编（第二十五册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十五册）.md) | ✅ |
| 26 | 建党以来重要文献选编（第二十六册） | 797 | 463,414 | [建党以来重要文献选编（第二十六册）.md](建党以来重要文献选编/建党以来重要文献选编（第二十六册）.md) | ✅ |
**合计：25 册 ✓ ／ 18,053 页 ／ 11,048,077 字**
### 《建国以来重要文献选编》全 20 册 ✅
| # | 册 | 页数 | 字数 | 文件 | 状态 |
|---|---|---|---|---|---|
| 1 | 建国以来重要文献选编（第一册） | 479 | 271,147 | [建国以来重要文献选编（第一册）.md](建国以来重要文献/建国以来重要文献选编（第一册）.md) | ✅ |
| 2 | 建国以来重要文献选编（第二册） | 530 | 301,875 | [建国以来重要文献选编（第二册）.md](建国以来重要文献/建国以来重要文献选编（第二册）.md) | ✅ |
| 3 | 建国以来重要文献选编（第三册） | 426 | 241,861 | [建国以来重要文献选编（第三册）.md](建国以来重要文献/建国以来重要文献选编（第三册）.md) | ✅ |
| 4 | 建国以来重要文献选编（第四册） | 644 | 414,128 | [建国以来重要文献选编（第四册）.md](建国以来重要文献/建国以来重要文献选编（第四册）.md) | ✅ |
| 5 | 建国以来重要文献选编（第五册） | 654 | 410,859 | [建国以来重要文献选编（第五册）.md](建国以来重要文献/建国以来重要文献选编（第五册）.md) | ✅ |
| 6 | 建国以来重要文献选编（第六册） | 502 | 326,507 | [建国以来重要文献选编（第六册）.md](建国以来重要文献/建国以来重要文献选编（第六册）.md) | ✅ |
| 7 | 建国以来重要文献选编（第七册） | 378 | 238,858 | [建国以来重要文献选编（第七册）.md](建国以来重要文献/建国以来重要文献选编（第七册）.md) | ✅ |
| 8 | 建国以来重要文献选编（第八册） | 403 | 258,974 | [建国以来重要文献选编（第八册）.md](建国以来重要文献/建国以来重要文献选编（第八册）.md) | ✅ |
| 9 | 建国以来重要文献选编（第九册） | 518 | 347,541 | [建国以来重要文献选编（第九册）.md](建国以来重要文献/建国以来重要文献选编（第九册）.md) | ✅ |
| 10 | 建国以来重要文献选编（第十册） | 626 | 400,215 | [建国以来重要文献选编（第十册）.md](建国以来重要文献/建国以来重要文献选编（第十册）.md) | ✅ |
| 11 | 建国以来重要文献选编（第十一册） | 604 | 373,410 | [建国以来重要文献选编（第十一册）.md](建国以来重要文献/建国以来重要文献选编（第十一册）.md) | ✅ |
| 12 | 建国以来重要文献选编（第十二册） | 594 | 372,533 | [建国以来重要文献选编（第十二册）.md](建国以来重要文献/建国以来重要文献选编（第十二册）.md) | ✅ |
| 13 | 建国以来重要文献选编（第十三册） | 703 | 439,692 | [建国以来重要文献选编（第十三册）.md](建国以来重要文献/建国以来重要文献选编（第十三册）.md) | ✅ |
| 14 | 建国以来重要文献选编（第十四册） | 760 | 463,871 | [建国以来重要文献选编（第十四册）.md](建国以来重要文献/建国以来重要文献选编（第十四册）.md) | ✅ |
| 15 | 建国以来重要文献选编（第十五册） | 672 | 434,150 | [建国以来重要文献选编（第十五册）.md](建国以来重要文献/建国以来重要文献选编（第十五册）.md) | ✅ |
| 16 | 建国以来重要文献选编（第十六册） | 548 | 340,634 | [建国以来重要文献选编（第十六册）.md](建国以来重要文献/建国以来重要文献选编（第十六册）.md) | ✅ |
| 17 | 建国以来重要文献选编（第十七册） | 507 | 323,539 | [建国以来重要文献选编（第十七册）.md](建国以来重要文献/建国以来重要文献选编（第十七册）.md) | ✅ |
| 18 | 建国以来重要文献选编（第十八册） | 544 | 326,926 | [建国以来重要文献选编（第十八册）.md](建国以来重要文献/建国以来重要文献选编（第十八册）.md) | ✅ |
| 19 | 建国以来重要文献选编（第十九册） | 475 | 291,272 | [建国以来重要文献选编（第十九册）.md](建国以来重要文献/建国以来重要文献选编（第十九册）.md) | ✅ |
| 20 | 建国以来重要文献选编（第二十册） | 569 | 335,398 | [建国以来重要文献选编（第二十册）.md](建国以来重要文献/建国以来重要文献选编（第二十册）.md) | ✅ |
**合计：20 册 ✓ ／ 11,136 页 ／ 6,913,390 字**
### ✅ Flash 格式 19 本：**矢量文字精确提取**（非 OCR）
> **2026-09-17 晚部署 → 09-18 实测**：这批书的单页 `.swf` 内是**矢量文字**（`DefineFont2` 携带 glyph→Unicode 映射），**不是扫描图** → 可**精确还原**（零识别错误），且比 OCR 快。
> 早期「只能 OCR」的判断源于**抽样偏差**（抽到的恰好是图版页），已推翻，见本节末尾「技术结论更正」。
**① 已完成 10 本**（4,250 页 / 246.3 万字）→ `专题文献/`（9 本）+ `建党以来重要文献选编/`（第七册）：
| # | 书名 | 页数 | 字数 |
|---|---|---|---|
| 1 | 建党以来重要文献选编（第七册） | 776 | 482,017 |
| 2 | 新疆工作文献选编（一九四九——二〇一〇年） | 835 | 487,766 |
| 3 | 中国特色社会主义理论体系形成与发展大事记 | 574 | 359,677 |
| 4 | 民族工作文献选编（二○○三——二○○九年） | 483 | 297,137 |
| 5 | 人民政协重要文献选编（上） | 368 | 203,254 |
| 6 | 人民政协重要文献选编（中） | 296 | 162,806 |
| 7 | 人民政协重要文献选编（下） | 288 | 182,678 |
| 8 | 深入学习实践科学发展观活动领导干部学习文件选编 | 358 | 178,786 |
| 9 | 论文化建设——重要论述摘编 | 152 | 55,666 |
| 10 | 科学发展观重要论述摘编 | 120 | 53,227 |
**② 已完成 8 本**（2026-09-18 09:19~12:22 补跑；**4,727 页 / 2,416,276 字**，零失败）：
| # | 书名 | 页数 | 字数 |
|---|---|---|---|
| 1 | 新时期统一战线文献选编：续编 | 880 | 423,272 |
| 2 | 西藏工作文献选编（一九四九——二○○五年） | 752 | 420,108 |
| 3 | 新时期环境保护重要文献选编 | 708 | 356,626 |
| 4 | 新时期统一战线文献选编 | 556 | 263,375 |
| 5 | 毛泽东 周恩来 刘少奇 朱德 邓小平 陈云 思想方法工作方法文选 | 514 | 278,417 |
| 6 | 民族工作文献选编（一九九○——二○○二年） | 483 | 297,137 |
| 7 | 新时期民族工作文献选编 | 472 | 231,217 |
| 8 | 新时期党和国家领导人论林业与生态建设 | 362 | 146,124 |
> **《专题文献》栏目结论：18 种中 17 种已入库 ✅** —— 仅剩 1 种站方数据缺陷（见下）。
> **Flash 类合计：18 本 / 8,977 页 / 4,879,290 字**（首批 10 本 + 补跑 8 本）。
**③ 1 本无法提取（站方数据缺陷，非我方问题）**：
- **《金融工作文献选编：一九七八——二○○五》** —— 其 OPF（`jrgzwxxb1978-2005.xml`）在服务器上被替换成 **dummy 模板**：`` 只有 1 条 `- `、``。但同目录的**封面（19 KB）/ 目录（`toc_.xml`，含真实章节标题）/ license** 都在 → 判定为**站方上传不完整**；本站暂无其它入口或复本。
**⚠️ 技术结论更正（2026-09-18）**：
早期抽到的样本页恰好是**图版/封面页**（内含 1 张 `DefineBitsJPEG2` 扫描图），据此得出的「只能 OCR / 约 9 小时」结论**是错的**。实际的**文字页**里是 `DefineFont2` + `DefineText2` 的**矢量字形**（带 glyph→Unicode 映射）→ 用 `swfmill swf2xml` 转 XML 后按坐标**精确还原**，零识别错误。
（实测：西藏工作文献选编 30 页 / 11,711 字 / 0.46 页/秒；前 7 页为图版空页，属正常。）
**已修的两个脚本 bug（2026-09-18）**：
1. `find_opf()` 匹配 xml 文件名的字符类**把 `/` 排除在外** → `urlOfFlipBook = "../xxx.xml"` 这类写法的书（19 本中 9 本）一律被判「找不到 OPF」；
2. 本站部分书的 `../` 是**无效前缀**（文件实际就在书目录内；带 `../` 的 URL 返回 404）→ 改为「书目录 + 文件名」拼接。
**工具**：开发机 `/data/flip_ocr/flip_pipeline.py`（限速 2 秒/页；OPF 与页面响应均按**内容特征**校验 + 退避重试，防止「限流返回内容不对的 200」被误判为「0 页」）。
## 可扩展性（同站其他栏目）
本站同类栏目（同一套电子书平台、同一提取方法可直接复用）包括：
- 经典著作编译
- 党和国家领导人著作（毛泽东 / 周恩来 / 刘少奇 / 朱德 / 任弼时 / 邓小平 / 陈云 / 江泽民 / 胡锦涛 / 习近平 / 合集 / 其他领导人）
- 党史研究重大成果
- 党和国家重要文献 → 建国以来重要文献 ✅已抓 / 十一届三中全会以来重要文献 / 专题文献 ⏳（Flash 格式）
- 年谱·传记·手迹·画册（毛泽东 / 周恩来 / 刘少奇 / 朱德 / 任弼时 / 邓小平 / 陈云 / 江泽民 / 其他领导人）
> 提取脚本：`00_System/fetch_dswxyjy_ebook.py`（2026-09-17 固化；用法见文件头注释）
## 使用规则
1. 新资料入库：抓取全文 → 建同名 `.md` → 更新本文件收录清单
2. 本库为**公开资料**（站方公开发布的电子书），与小说设定文件严格隔离
3. 文本仅作检索/定位用途，正式引用以原书为准
---
## 2026-09-17 扩充：全站电子书批量收录
在完成「建党以来 / 建国以来」两套之后，对**全站电子书栏目做了普查**并批量收录。
### 全站格式分布（关键规律）
| 批次 | 格式 | 能否零成本提取 | 主要栏目 |
|---|---|---|---|
| **2022 年上传（新）** | **HTML5**（名编辑企业版） | ✅ 能 | 习近平著作 / 党和国家重要文献 / 党史研究重大成果 / 邓小平著作 / 建党以来 / 建国以来 |
| **2019 年上传（老）** | **FLASH**（FlipViewer Xpress） | ❌ 只能 OCR | 年谱·传记·手迹·画册 / 专题文献 / 党和国家领导人著作（大部分） |
### 本次新增入库
目录：`全站电子书/`（按栏目分子目录）
| 栏目 | 册数 | 页数 | 字数 |
|---|---|---|---|
| 习近平著作 | 39 | 9,796 | 4,762,769 |
| 党史研究重大成果 | 4 | 743 | 308,409 |
| 党和国家领导人著作 | 4 | 1,575 | 997,332 |
| 党和国家领导人著作-合集 | 3 | 397 | 200,635 |
| 十一届三中全会以来重要文献 | 24 | 18,570 | 12,801,732 |
| 江泽民著作 | 3 | 1,901 | 1,176,439 |
| 经典著作编译 | 4 | 4,144 | 1,557,743 |
| 胡锦涛著作 | 2 | 1,253 | 749,581 |
| 邓小平著作 | 5 | 2,760 | 1,786,644 |
| **合计** | **88** | **41,139** | **24,341,284** |
含《毛泽东选集》《邓小平文选》《江泽民文选》《胡锦涛文选》《习近平谈治国理政》《十九大以来重要文献选编》等。
### ⚠️ 3 本未能提取（站方数据问题）
- **习近平谈治国理政（第三卷）**
- **习近平关于社会主义文化建设论述摘编**
- **习近平关于社会主义生态文明建设论述摘编**
原因：这 3 本的 `javascript/search_config.js` **本身就是一个 7741 字节的 HTML 模板页**（非文本数据），
`text_position[1].js` 仅 45 字节、其余候选路径全部 404 → **站方上传时文本层缺失**，非提取方法问题。
补救只能走 OCR（同 Flash 路线）。
### 全站书目清单
完整书目（含未提取项、Flash 待处理项）见 [`_全站书目清单.md`](_全站书目清单.md)。
### 库合计
**151 册 ✓ ／ 79,305 页 ／ 47,182,041 字（4718 万字）／ 132 MB**