这里写自定义目录标题欢迎使用Markdown编辑器引言为什么企业要自建 RAG 知识库一、RAG 的核心链路与两种落地模式二、文档解析被低估的第一道关卡生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能丰富你的文章UML图表流程图FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好 这是你第一次使用# 企业级 RAG 知识库从零搭建实战文档解析、权限过滤与效果评测引言为什么企业要自建 RAG 知识库通用大模型有两个致命问题知识滞后和幻觉。企业内部的制度文档、技术手册、客户资料通用模型统统不知道。RAGRetrieval-Augmented Generation检索增强生成的核心思路是不让大模型只依赖训练知识而是回答前先从企业知识库检索相关资料再基于真实资料生成答案。但一个真正能上线的 RAG 系统远不止文档切块 向量化 调 LLM这么简单。它还要处理文档解析与版本更新、关键词与向量混合检索、权限过滤、结果重排、引用来源、资料不足时拒答、效果评测与监控。本文带你从零搭建一套本地可运行、生产可扩展的 RAG 知识库系统。一、RAG 的核心链路与两种落地模式RAG 的核心流程就三步检索Retrieval——从知识库中找到与问题最相关的文档片段增强Augmentation——把检索到的文档与用户问题拼成 Prompt生成Generation——模型基于增强后的上下文生成回答。LangChain 等框架提供了两种主流模式2-Step RAG先检索再一次性调模型适合简单查询实现简单、延迟低。Agentic RAG把检索暴露为工具Agent 自主决定什么时候检索、检索什么、检索几轮。适合复杂查询但需要额外的编排逻辑。对于企业知识库的第一版建议从 2-Step RAG 起步跑通后再演进到 Agentic RAG。二、文档解析被低估的第一道关卡很多团队在文档解析上栽跟头。直接把 PDF 转成纯文本会彻底丢失图表与周围文本的关联表格数据错位、页眉页脚混入正文、扫描件乱码这些问题都会直接污染后续的检索质量。2026 年的标准做法是分层解析文本型 PDF用 PyMuPDF 等库按块提取文本保留标题层级和段落结构。扫描件/图片型 PDF接入 OCR 或视觉语言模型VLM进行识别。表格与图表用 VLM 把图表翻译成 Markdown 表格或结构化文本并与上下文文本进行块级绑定。importfitz# PyMuPDFdefparse_pdf(pdf_path:str)-list[dict]:docfitz.open(pdf_path)chunks[]forpage_num,pageinenumerate(doc):blockspage.get_text(dict)[blocks]page_textforblockinblocks:iflinesinblock:forlineinblock[lines]:page_text.join(span[text]forspaninline[spans]) ifpage_text.strip():chunks.append({page:page_num1,content:page_text.strip(),metadata:{source:pdf_path,page:page_num1}})returnchunks 关键点在于图像描述被直接拼接在当页文本的末尾形成一个强绑定的 Chunk。这确保了后续向量检索时文本和图表不会被割裂。## 三、切分策略决定检索质量的上限切分策略直接影响检索质量。固定长度切分虽然简单但会把语义完整的段落拦腰截断。推荐的做法是-**按文档结构切分**优先按标题、段落等结构边界切分保持语义完整。--**语义切分**用嵌入模型检测语义边界在语义转折处切分。--**块重叠**相邻块之间保留少量重叠避免关键信息恰好落在切分边界上。 pythonfromlangchain.text_splitterimportRecursiveCharacterTextSplitter splitterRecursiveCharacterTextSplitter(chunk_size500,chunk_overlap50,separators[\n\n,\n,。,,,, ,])chunkssplitter.split_documents(docs) chunk_size 的选择需要权衡块太小上下文信息不足块太大检索精度下降且容易混入无关内容。经验值在300-800之间具体取决于文档类型和问题粒度。## 四、混合检索向量 关键词 重排序单一的向量检索在语义匹配上很强但对精确关键词、专有名词、编号类查询往往力不从心。生产级方案是混合检索Query → 意图识别 → 向量检索 全文检索(BM25) → 重排序 → 上下文组装 → 生成- **向量检索**用嵌入模型把查询和文档映射到高维空间做语义相似度匹配。 - - **BM25 全文检索**对专有名词、编号、精确短语做关键词匹配。 - - **重排序Re-ranking**把两路结果合并后用交叉编码器Cross-Encoder做精细的相关性重排只保留 Top-K。 python from langchain.retrievers import BM25Retriever, EnsembleRetriever from langchain_community.vectorstores import Chroma vector_retriever vectorstore.as_retriever(search_kwargs{k: 8}) bm25_retriever BM25Retriever.from_documents(chunks, k8) ensemble EnsembleRetriever( retrievers[bm25_retriever, vector_retriever], weights[0.3, 0.7] # 关键词与语义的权重配比 ) 重排序是提升精度的关键一环。向量检索的 Top-K 召回率可能很高但精度不足重排序模型能对候选做精细打分把真正相关的排到前面。 ## 五、权限过滤企业知识库的生死线 企业知识库最容易被忽略、也最致命的是权限控制。不同部门、不同职级的员工能访问的文档范围不同。如果检索阶段不做权限过滤模型就可能把机密信息泄露给无权访问的人。 权限过滤要在检索阶段就落地而不是在生成阶段才处理 python def search_with_permission(query: str, user_roles: list[str], k: int 5): # 1. 先按权限过滤候选文档 allowed_ids get_allowed_doc_ids(user_roles) # 2. 在允许范围内做向量检索 results vectorstore.similarity_search( query, kk * 3, filter{doc_id: {$in: allowed_ids}} ) # 3. 重排序后返回 return rerank(query, results)[:k] 权限过滤的粒度可以从文件级细化到段落级、敏感字段级。对于核心机密还要做动态脱敏。 ## 六、引用来源与拒答机制 RAG 的一个核心价值是可溯源回答来自具体文档片段可以展示出处用户能验证监管能审计。因此在生成阶段要让模型在回答中标注引用来源。 同时要建立拒答机制当检索结果与问题相关性不足时模型应该明确说资料中没有相关信息而不是强行编造。这需要在 Prompt 中做硬约束 python prompt ChatPromptTemplate.from_template( 请基于以下资料回答问题。如果资料中没有相关信息请明确回答资料中未找到相关信息不要编造。 资料 {context} 问题{question} 回答 ) ## 七、效果评测与监控 没有评估体系优化就是盲人摸象。生产级 RAG 系统至少要建立三层评测 1. **检索质量**召回率RecallK、命中率Hit Rate、MRR。 2. 2. **生成质量**忠实度Faithfulness回答是否忠于检索资料、相关性、答案完整性。 3. 3. **业务指标**用户满意度、问题解决率、平均响应时间。 可以构建一个评测集用 LLM 作为裁判自动打分定期回归。当检索或生成质量下降时能快速定位是文档解析、切分、检索还是 Prompt 的问题。 ## 八、总结 企业级 RAG 知识库的搭建是一个从文档解析到效果评测的全链路工程。文档解析决定数据质量的上限切分策略决定检索质量的上限混合检索与重排序决定召回精度权限过滤决定安全底线引用与拒答决定可信度评测体系决定优化方向。把这六个环节都做到位你的 RAG 系统才能真正从 Demo 走向生产。 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章了解一下Markdown的基本语法知识。 ## 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持除了标准的Markdown编辑器功能我们增加了如下几点新功能帮助你用它写博客 1. **全新的界面设计** 将会带来全新的写作体验 2. 在创作中心设置你喜爱的代码高亮样式Markdown **将代码片显示选择的高亮样式** 进行展示 3. 增加了 **图片拖拽** 功能你可以将本地的图片直接拖拽到编辑区域直接展示 4. 全新的 **KaTeX数学公式** 语法 5. 增加了支持**甘特图的mermaid语法[^1]** 功能 6. 增加了 **多屏幕编辑** Markdown文章功能 7. 增加了 **焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置** 等功能功能按钮位于编辑区域与预览区域中间 8. 增加了 **检查列表** 功能。 [^1]: [mermaid语法说明](https://mermaid.js.org/intro/) ## 功能快捷键 撤销kbdCtrl/Command/kbd kbdZ/kbd 重做kbdCtrl/Command/kbd kbdY/kbd 加粗kbdCtrl/Command/kbd kbdB/kbd 斜体kbdCtrl/Command/kbd kbdI/kbd 标题kbdCtrl/Command/kbd kbdShift/kbd kbdH/kbd 无序列表kbdCtrl/Command/kbd kbdShift/kbd kbdU/kbd 有序列表kbdCtrl/Command/kbd kbdShift/kbd kbdO/kbd 检查列表kbdCtrl/Command/kbd kbdShift/kbd kbdC/kbd 插入代码kbdCtrl/Command/kbd kbdShift/kbd kbdK/kbd 插入链接kbdCtrl/Command/kbd kbdShift/kbd kbdL/kbd 插入图片kbdCtrl/Command/kbd kbdShift/kbd kbdG/kbd 查找kbdCtrl/Command/kbd kbdF/kbd 替换kbdCtrl/Command/kbd kbdG/kbd ## 合理的创建标题有助于目录的生成 直接输入1次kbd#/kbd并按下kbdspace/kbd后将生成1级标题。 输入2次kbd#/kbd并按下kbdspace/kbd后将生成2级标题。 以此类推我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。 ## 如何改变文本的样式 *强调文本* _强调文本_ **加粗文本** __加粗文本__ 标记文本 ~~删除文本~~ 引用文本 H~2~O is是液体。 2^10^ 运算结果是 1024. ## 插入链接与图片 链接: [link](https://www.csdn.net/). 图片:  带尺寸的图片:  居中的图片:  居中并且带尺寸的图片:  当然我们为了让用户更加便捷我们增加了图片拖拽功能。 ## 如何插入一段漂亮的代码片 去[博客设置](https://mp.csdn.net/console/configBlog)页面选择一款你喜欢的代码片高亮样式下面展示同样高亮的 代码片. javascript // An highlighted block var foo bar;生成一个适合你的列表项目项目项目项目1项目2项目3计划任务完成任务创建一个表格一个简单的表格是这么创建的项目Value电脑$1600手机$12导管$1设定内容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一个文本转换工具主要功能是将普通的 ASCII 标点符号自动转换为更美观的印刷体标点符号。例如原始符号转换后说明引号“引号”直引号变弯引号单引号‘单引号’直单引号变弯单引号--–两个连字符变短破折号---—三个连字符变长破折号...…三个点变省略号创建一个自定义列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何创建一个注脚一个具有注脚的文本。1注释也是必不可少的Markdown将文本转换为HTML。KaTeX数学公式您可以使用渲染LaTeX数学表达式 KaTeX:Gamma公式展示Γ ( n ) ( n − 1 ) ! ∀ n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n−1)!∀n∈N是通过欧拉积分Γ ( z ) ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞​tz−1e−tdt.你可以找到更多关于的信息LaTeX数学表达式here.新的甘特图功能丰富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成进行中计划一计划二现有任务Adding GANTT diagram functionality to mermaid关于甘特图语法参考 这儿,UML图表可以使用UML图表进行渲染例如下面产生的一个序列图王五李四张三王五李四张三李四想了很长时间, 文字太长了不适合放在一行.你好李四, 最近怎么样?你最近怎么样王五我很好谢谢!我很好谢谢!打量着王五...很好... 王五, 你怎么样?关于UML图表语法参考 这儿,流程图链接长方形圆圆角长方形菱形关于Mermaid语法参考 这儿,FLowchart流程图我们依旧会支持flowchart.js的流程图语法Created with Raphaël 2.3.0开始我的操作确认结束yesno关于Flowchart流程图语法参考 这儿.导出与导入导出如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到文章导出生成一个.md文件或者.html文件进行本地保存。导入如果你想加载一篇你写过的.md文件在上方工具栏可以选择导入功能进行对应扩展名的文件导入继续你的创作。注脚的解释 ↩︎