动态型网站建设哪里便宜专业企业建站公司

动态型网站建设哪里便宜,专业企业建站公司,电子商务网站建设 代码,网站应该设计成什么样RAG技术通过分块策略解决大模型在企业应用中的局限性。文章详细分析了五种分块策略#xff1a;固定大小分块实现简单但易语义断裂#xff1b;语义分块保证内容完整但计算复杂#xff1b;递归分块适应长文档但块大小不均#xff1b;基于文档结构的分块保留逻辑但依赖格式固定大小分块实现简单但易语义断裂语义分块保证内容完整但计算复杂递归分块适应长文档但块大小不均基于文档结构的分块保留逻辑但依赖格式基于LLM的分块智能化但成本高。针对不同场景如金融、医疗等高风险领域应选择合适的分块策略或组合使用以提高检索准确性、降低幻觉风险并解决复杂文档解析瓶颈问题。前排提示文末有大模型AGI-CSDN独家资料包哦前言RAG通过结合检索与生成技术依赖其高效检索算法、多模态融合能力及系统级优化解决了基础大模型在企业内部应用的局限性例如通过RAG技术对接企业内部知识库支持知识动态更新与实时交互显著降低了大模型的幻觉风险无需微调训练模型低成本适配企业垂直领域的应用场景在数据安全与可控性方面可加入权限控制逻辑确保敏感信息仅在授权范围内使用同时通过引用标注实现可追溯性。但是在RAG应用工程化过程中特别在金融、医疗等高风险领域“可验证性”、“准确性”比“智能性”更重要分块策略是RAG系统的核心环节不同的分块策略直接影响检索效率与生成质量。我们先简单回顾一个RAG的基本工作流程RAG工作流程图片来源DailyDoseofDS有时候我们的文档可能很大或者结构很复杂在步骤①中需要对文档进行分块处理将大文档分成较小单位/可管理的部分以确保文本适合嵌入模型的输入大小。由于采用不恰当的分块策略可能导致我们最终应用RAG的效果达不到预期面临答案可信度不足、关键信息漏检、复杂文档提取瓶颈等问题。这些问题直接影响RAG系统的可靠性和实用性。RAG分块应用中普遍存在的问题准确性答案可信度不足幻觉问题即使检索到相关文档大模型仍可能脱离文档内容编造答案尤其在文档信息模糊或矛盾时。例如如用户问“某基金近3年收益率”模型可能捏造数据而非引用检索到的报告。检索噪声干扰相似度搜索返回的文档片段可能包含无关信息导致模型生成答案时被误导。例如检索到10篇文档其中3篇主题相关但含错误数据模型可能融合错误信息。细粒度理解缺失模型难以精准理解数字、日期、专业术语的上下文含义导致关键信息误用。例如将“预计2025年增长10%”误解为历史数据。召回率关键信息漏检语义匹配局限传统向量搜索依赖语义相似度但用户问题与文档表述差异大时漏检如术语vs口语。例如用户问“钱放货币基金安全吗”可能漏检标题为“货币市场基金信用风险分析”的文档。长尾知识覆盖不足低频、冷门知识因嵌入表示不充分在向量空间中难以被检索到。例如某小众金融衍生品的风险说明文档未被召回。多跳推理失效需组合多个文档片段才能回答的问题如因果链单次检索难以关联分散的知识点。例如“美联储加息如何影响A股消费板块”需先检索加息机制再关联A股消费板块。复杂文档解析信息提取瓶颈非结构化数据处理表格/图表文本分块会破坏表格结构导致行列关系丢失如财报中的利润表。公式/代码数学公式或程序代码被错误分段语义完整性受损。扫描件/图片OCR识别错误率高尤其对手写体或模糊文档。上下文割裂问题固定长度分块如512字符可能切断关键上下文分块1结尾“…风险因素包括”分块2开头“利率波动、信用违约…” → 模型无法关联分块1的提示语。文档逻辑结构丢失标准分块策略忽略章节、段落、标题的层级关系影响知识图谱构建。例如将“附录”中的备注误认为正文结论。RAG的分块策略与选择选择合适的分块策略是解决RAG实际应用中准确性、召回率与复杂文档解析等痛点最直接有效的方式也是我们建设RAG系统最关键的一个环节。最常见的RAG分块策略包括固定大小分块、语义分块、递归分块、基于文档结构的分块、基于LLM的分块。RAG五种分块策略图片来源DailyDoseofDS下面我们围绕这五种分块策略系统介绍不同分块策略的基本原理、实现步骤、主要优缺点与适用场景。固定大小分块基本原理固定大小分块Fixed-size Chunking将文本按固定长度如字符数、单词数或token数切分每个块大小一致可能通过重叠保留上下文连贯性。例如将文档每256个字符切分为一个块重叠20个字符以减少边界信息丢失。固定大小分块示意图片来源DailyDoseofDS实现步骤预设参数定义块大小如256 token和重叠比例如20 token。切分文本按固定长度分割文本允许相邻块部分重叠。生成块列表输出所有块作为独立单元。主要优点实现简单无需复杂算法代码实现高效。标准化处理块大小一致便于批量处理和向量化。资源友好适合大规模文本处理降低计算成本。主要缺点语义断裂可能在句子或概念中间切分破坏上下文完整性。信息冗余重叠区域可能导致重复存储和计算。适用性受限对结构化文本如代码、技术文档效果较差。适用场景非结构化文本如新闻、博客的初步处理。对实时性要求高、需快速切分的场景。场景示例[原文档] 2023年Q3净利润同比增长5.2%详见附录Table 7 [分块1] 2023年Q3净利润同比增长5.2%详见 [分块2] 附录Table 7 # 关键数据来源丢失语义分块基本原理语义分块Semantic Chunking根据句子、段落、主题等有语义内涵的单位对文档进行分段创建嵌入如果第一个段的嵌入与第二个段的嵌入具有较高的余弦相似度则这两个段形成一个块。通过合并相似内容确保每个块表达完整的语义内容。由于每个分块的内容更加丰富它提高了检索准确性让大模型产生更加连续和相关的响应。但是它依赖于一个阈值来确定余弦相似度是否显著下降而这个阈值在不同类型文档中可能涉及不同的参数设置。语义分块流程语义分块示意图片来源DailyDoseofDS实现步骤分句/分段将文本拆分为句子或段落。生成嵌入为每个单元计算向量表示。相似度计算依次比较相邻单元的余弦相似度。动态合并当相似度高于阈值时合并单元相似度骤降时开始新块。主要优点语义完整性保留自然语义结构提升检索准确性。上下文敏感适应复杂逻辑关系如因果、对比。生成质量检索到的块更连贯利于LLM生成精准回答。主要缺点计算复杂度高需多次向量化计算和相似度比较。阈值依赖相似度阈值需人工调试不同文档需不同参数。实现门槛依赖高质量嵌入模型和相似度算法。适用场景高精度问答系统如法律、医疗领域研究论文、行业分析报告等专业文档。需保留上下文逻辑的复杂文档如论文、技术报告。场景示例[分块] 区块1: 货币政策的宽松将推动市场流动性提升。 区块2: 但需警惕通胀反弹带来的政策转向风险。 # 每个区块为完整语义单元递归分块基本原理递归分块Recursive Chunking先按主题或段落初步划分再对超长块递归细分直至满足大小限制。递归分块融合了结构化与非结构化处理逻辑与固定大小的分块不同这种方法保持了语言的自然流畅性并保留了完整的内容语义。递归分块流程递归分块示意图片来源DailyDoseofDS实现步骤粗粒度切分按段落、标题或主题初步划分大块。检查大小判断块是否超过预设长度如1024 token。递归细分超长按固定大小或语义逻辑进一步切分。终止条件块大小符合要求时停止递归。主要优点灵活性强平衡结构完整性与大小限制。适应复杂内容处理长文档如书籍、长篇论文时表现优异。多策略融合可结合固定大小或语义分块优化细分。主要缺点块大小不均不同层级的块可能差异较大。逻辑断裂风险递归过程中可能破坏原文的自然段落结构。实现复杂需设计递归终止条件和分块策略。适用场景长文档处理如企业年报、学术论文书籍、技术手册等层级化文档。需兼顾结构化与非结构化内容的场景包含嵌套结构的合同文本。场景示例1. 摘要 -- [保留完整] 2. 行业分析 -- [按子章节切分] 2.1 供需格局 -- [按段落切分] 2.2 竞争态势 -- [按段落切分] 3. 附录表格 -- [特殊处理]基于文档结构的分块基本原理基于文档结构分块Document Structure-based Chunking利用文档固有结构如标题、章节、列表、表格进行切分每个结构单元作为一个块。它通过与文档的逻辑部分对齐来保持结构完整性。这种分块适用于文档有清晰的结构但很多时候一个文档的结构会比想象中复杂此外很多时候文档章节内容大小不一很容易超过块的大小限制需要结合递归拆分再进行合并处理。基于文档结构分块流程基于文档结构分块示意图片来源DailyDoseofDS实现步骤识别结构元素解析文档中的标题、段落、小节等标记如Markdown、XML。按结构切分将每个结构单元如“引言”、“结论”独立为块。处理超长部分若某结构单元过大再结合递归或固定大小分块细化。主要优点逻辑清晰保留文档的层次化结构便于定位信息。检索高效用户可通过标题快速定位相关内容。格式兼容性适合结构化文档如技术手册、报告。主要缺点依赖格式标准化对非结构化文本如自由写作效果差。预处理复杂需解析文档格式如LaTeX、HTML增加实现难度。灵活性不足难以处理混合结构内容如图文混排。适用场景结构化文档如财报表格数据、技术文档代码块、合同条款列表。需按章节检索的场景如法规数据库任何含丰富格式标记的内容。场景示例[原始PDF表格] | 项目 | 2023Q3 | 同比 | |--------------|--------|-------| | 营业收入 | 5.2亿 | 12% | [结构化分块] { type: table, title: 利润表摘要, data: [[项目, 2023Q3, 同比], [营业收入, 5.2亿, 12%]] } # 整表作为独立区块基于LLM的分块基本原理基于LLM的分块LLM-based Chunking直接将原始文档输入大语言模型LLM由模型智能生成语义块。利用LLM的语义理解能力动态划分文本保证了分块语义的准确性但这种分块方法对算力要求最高对时效性与性能也将带来挑战。基于LLM分块流程图片来源DailyDoseofDS实现步骤输入文档将完整文档送入LLM如DeepSeek、GPT。生成块指令通过提示词Prompt引导模型按语义划分块。示例提示词“请将以下文档按语义划分为多个块每个块需包含完整主题。”输出块列表模型返回划分后的块可能包含逻辑标签如“引言”、“方法论”。主要优点高度智能化适应复杂、非结构化文本如自由写作、对话记录。动态适应性根据文档内容自动调整块大小和逻辑。生成质量块语义连贯减少人工干预。主要缺点计算成本高依赖高性能LLM资源消耗大。可解释性差模型决策过程难以追溯可能产生不可预测的块。依赖模型能力效果受限于LLM的训练数据和语义理解能力。适用场景非结构化文本如访谈记录会议纪要用户评论、社交媒体内容等。需高级语义分析的场景如跨领域知识整合场景示例[原始分散段落] 段落1: A公司宣布收购B公司... 段落2: 交易金额达50亿美元... 段落3: B公司核心资产为... [LLM智能分块结果] 并购事件A公司以50亿美元收购B公司核心资产为... # 跨段落聚合关键信息五种RAG分块策略总结对比分块策略优点缺点适用场景固定大小分块实现简单资源高效语义断裂信息冗余快速处理非结构化文本语义分块语义完整检索精准计算复杂依赖阈值高精度问答、复杂文档递归分块灵活适应长文档保留结构块大小不均逻辑断裂风险长篇技术文档、企业报告基于结构的分块逻辑清晰检索高效依赖格式标准化预处理复杂结构化文档论文、白皮书基于LLM的分块高度智能适应非结构化文本计算成本高决策过程不可控非结构化内容、跨领域整合RAG分块策略选择建议结合递归与结构分块处理长文档时如法律合同、表格、公式、技术手册。语义分块对生成质量要求高、文档语义复杂时如论文、医疗问答。使用LLM分块处理非结构化或混合内容如多模态文档。固定大小分块快速部署或资源受限场景如社交媒体、轻量级应用。分块策略选择决策树具体实施过程中我们需要根据具体需求与文档类型选择分块策略或组合多种方法如“结构分块语义细分”以实现最佳效果。RAG面临的挑战与前沿探索深层待解决问题知识关联缺失当前检索基于单点语义相似度无法构建跨文档知识图谱如“公司A收购事件”与“行业竞争格局变化”的隐含关联。推理-检索割裂生成模型无法主动指导检索过程形成“检索→生成”单向流水线而非动态交互式推理。例如模型应能反问“您需要对比哪两个季度的数据”以优化检索目标。多模态理解不足现有RAG主要处理文本对文档中的图表、公式、流程图等信息利用率极低。例如研报中的股价趋势图无法被检索系统理解。可信度量化困境缺乏统一标准评估答案可靠性用户难以判断“何时可信任RAG的输出”导致存在潜在风险例如金融场景中错误答案可能导致直接经济损失。长上下文建模缺陷当检索返回大量片段如20篇文档时模型对超长提示词的尾部信息忽略率显著上升。解决路径与前沿探索检索增强混合检索融合语义搜索Embedding与关键词搜索BM25提升召回率查询扩展用LLM将用户问题改写为专业查询如“钱放余额宝安全吗”→“货币基金信用风险评估”递归检索实现多跳推理先查“美联储加息”再查“科技股估值模型”生成控制强制引用要求模型标注答案来源位置如源自2023年报第5页置信度阈值对低置信答案触发人工审核流程结构化解构将复杂问题拆解为子问题分步检索生成优化分块语义分块按句子/段落边界切分而非固定长度结构感知保留表格、标题层级利用Markdown/XML标签动态重叠相邻块部分重叠避免上下文断裂读者福利倘若大家对大模型感兴趣那么这套大模型学习资料一定对你有用。针对0基础小白如果你是零基础小白快速入门大模型是可行的。大模型学习流程较短学习内容全面需要理论与实践结合学习计划和方向能根据资料进行归纳总结包括大模型学习线路汇总、学习阶段大模型实战案例大模型学习视频人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】AI大模型学习路线汇总大模型学习路线图整体分为7个大的阶段全套教程文末领取哈第一阶段从大模型系统设计入手讲解大模型的主要方法第二阶段在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段以SD多模态大模型为主搭建了文生图小程序案例第七阶段以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。大模型实战案例光学理论是没用的要学会跟着一起做要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。大模型视频和PDF合集这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一跟着老师的思路由浅入深从理论到实操其实大模型并不难。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】