分类建站cms系统,济南建设网站的公司哪家好,公司的网站建设哪家比较好,dchaser wordpress在当今知识密集型任务日益增多的时代#xff0c;如何有效地利用外部知识来增强语言模型的生成能力成为了一个重要的研究方向。RAG技术应运而生#xff0c;通过从外部记忆源中检索相关信息#xff0c;RAG不仅提高了模型生成的精准性和相关性#xff0c;还解决了大型语言模型…在当今知识密集型任务日益增多的时代如何有效地利用外部知识来增强语言模型的生成能力成为了一个重要的研究方向。RAG技术应运而生通过从外部记忆源中检索相关信息RAG不仅提高了模型生成的精准性和相关性还解决了大型语言模型在数据隐私、实时数据处理和幻觉问题等方面的局限。本文将详细介绍RAG的工作原理、应用场景、限制及挑战帮助读者更好地理解和应用这一前沿技术。 什么是RAG?
RAGRetrieval-Augmented Generation检索增强生成是一种通过从外部记忆源中检索相关信息来增强模型生成能力的技术。
“检索增强生成”一词是在《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》Lewis et al., 2020中首次提出的。该论文将RAG提议作为一种针对知识密集型任务knowledge-intensive tasks的解决方案因为无法将所有可用知识直接输入到模型中。
通过RAG仅检索和召回与query最相关的信息并将其输入到模型中从而提高模型response的精准性和相关性属于in-context learning范畴。RAG系统由两个组成部分构成一个检索器从外部记忆源中检索信息一个生成器基于检索到的信息生成响应。 RAG链路图示
RAG系统的成功依赖于其检索器的质量。检索器有两个主要功能索引和查询。索引主要是关注如何处理数据生成关键标识以便以后快速检索查询主要是根据query的信息检索并且找回关联的数据如何索引数据取决于你想要如何在后续检索它。
▐ 检索
检索在大类上主要有两类基于关键字词的检索Term-based Retrival和基于语义的检索Semantic Retrival。
基于关键字词的检索基于语义的检索查询速度比基于语义检索的快很多需要对query进行embedding转化到向量然后在向量存储Vector DB中进行向量搜索应用表现使用方便但难以改进由于query的一些表达存在歧义可能会检索到错误的文档对于query输入有比较高的要求检索效果上比基于术语的检索更好允许使用更自然的查询因为它专注于语义而不是具体的字词开销比基于语义检索便宜Embedding向量存储Vector Storage以及向量搜索Vector Search都是比较消耗资源的
从上述的比对来看基于语义的检索其实更贴合LLM的使用场景因为人和大模型交互的时候使用的是自然语言非传统搜索使用中的关键字词同时在效果上也是Semantic Retrival更好当然也具有更多的资源开销下面的链路图示是Semantic Retrival中比较主流的Embedding-Based Retrival其实在上述表格比对的时候就是基于此其他语义类的检索方式当然也是可以的但是基本不常见。 RAG链路 (Embedding-based Retrival)
检索本质上就是快速获取和query关联的信息当做上下文的补充一起当成输入给到大模型以期得到更好的结果所以这里的数据、索引、检索方式的组合可以是多种多样只要在检索速度、召回数据关联性和充分性上能够符合要求都是OK的比如使用opensearch做查询召回也是比较常用的同时还有一些多模态数据的检索这里举两个例子 RAG中多模态的数据前置检索 RAG中表格数据的检索
其实不管是基于关键字词的检索还是基于语义的检索都不是一种非此即彼的方案选型两者也是可以相互结合去面向使用场景做设计的比如可以先使用基于关键字词的检索做文档的粗筛然后基于粗筛之后的结果做基于语义检索选出最终的文档列表作为放入到prompt context中的内容。 为什么需要RAG?
当前的LLMs在使用中存在下面一些缺点或者说约束
1.【数据隐私】我们需要大型语言模型LLMs访问我们的私人/专有数据或那些不在大型语言模型预训练数据集中的数据
2.【实时数据】我们希望大型语言模型能够回答关于近期事件和在大型语言模型预训练后出现的新概念的问题比如最近的实事每日的天气最新的动态偏实时的统计
3.【幻觉】“幻觉”通常指的是模型生成的内容与现实不符或是虚构的信息幻觉出现的原因大致有这么几个方面 领域知识不足Domain knowledge deficit语言模型可能缺乏对特定领域的全面专业知识 信息过时Outdated InformationLLM通常具有由其训练数据集决定的截止日期同时它无法主动感知过时这件事就会非常自信的把“错误”的信息当成答案来回答 未记忆Immemorization有些在LLM训练过程中接触到知识和信息会因为权重问题并未保留下来 遗忘Forgetting这个情况主要是发生在对预训练模型做微调Fine-tuning之后可能会出现一种称为灾难性遗忘catastrophic forgetting现象即模型失去了一些在微调过程之前掌握的知识 推理失败Reasoning Failure在某些情况下语言模型可能掌握关于某个事实的相关知识但未能正确利用。
上述这几点可以通过RAG在一定程度上进行补充或者解决。 哪些场景可以使用RAG
▐ 检索****外部知识
这个应用场景是RAG的一个主要范式在一些实际使用中取得了比较大的成功如上描述的LLMs在当前应用下的一些不足点包括隐私数据的使用、实时数据的补充以及幻觉问题都可以通过使用RAG的方案来填补LLMs的知识空白或减少幻觉风险。
▐ 检索上下文历史
LLM的上下文窗口Context Window是有限但是我们可能在实际应用中需要LLM在回答或者解决问题的时候使用更多的上下文会话记录或者是往前关联更多的会话内容在这类情况下我们可以使用外部存储来保存历史会话内容并且在query查询之前先检索和召回相关的会话然后提供给LLMs。
▐ 检索上下文中的训练示例
有时候我们需要提供给LLMs一些回答的例子来引导大模型给出的答案是按照我们想要的视角和范式来的这样的方式叫Few-shot Learning少量学习是一种有效的方法有助于LLM熟悉任务的输入输出映射这里使用RAG可以根据当前输入动态选择少量示例作为模型输入的一部分。
▐ 检索工具相关信息
有些场景在调用LLM获取回答之前需要调用一些工具或者接口然后把工具或接口返回的数据当成上下文传入LLM中在这类场景中可用把工具的列表及其描述存储在工具库中然后LLM可以根据工具相关的信息或API文档来检索工具从而选择最适合该任务的工具这里使用RAG所达到的效果和lang-chain中的Agent比较类似。 RAG的限制有哪些 依赖文本片段的检索可能使LLM仅依赖表面信息来回答问题而不是深入理解问题本身这个点也是区别于Fine-Tuning的核心的点ICLIn-Context Learning目前看只能解决知识或者信息面的问题但是做不到把知识内化到模型的能力中去让这部分内容和LLM本身的知识做有效的关联和推演 检索成为了整个流程的限制因素。如果检索过程未能提取出合适的候选文本那么所返回的结果将较预期偏差很大没有充分使用LLM的强大能力当然这里可以通过流程链路的设计来校验比较差的结果然后绕过RAG直接通过LLM来进行结果的产出 检索过程可能提取出与LLM的参数记忆中所包含的知识相矛盾的文档由于无法获取真实信息LLM很难解决这些矛盾。
上述三点是RAG当前比较明显的短板不过limitation更多的是提供更好的权衡因为不管什么解决方案都是有利弊的如何利用好技术方案的优点同时通过有效的方式去减弱或者弥补方案的缺陷才是我们重点要去看的。 RAG方案下有哪些挑战 RAG的应用门槛其实不高但是要使用RAG技术并且能把使用场景的效果做好越到后面越考验细节会有越来越多的概念浮现一开始可能就是扔些文档到知识库里面然后不管是内部的AI Studio还是lang-chain和llama-index这类的开发框架都对RAG有很好的支持一顿操作之后发现效果果然比单纯调用LLM要好但是也还没到非常能用的程度这个时候冰山下面的事物就该浮出水面了。
RAG在实际落地深入使用中会面临下面一些挑战
▐ 延迟问题 (Latency Issues)
虽然向量存储一般效率较高但检索信息可能会引入延迟特别是当数据量庞大或网络基础设施未优化时延迟可能会很显著。
▐ 成本考虑 (Cost Considerations)
实施和维护外部存储系统可能会产生显著的成本因为支持大规模向量存储解决方案所需的硬件和软件基础设施通常是相当可观的。
▐ 事实错误和幻觉 (Factual Incorrectness and Hallucination)
RAG 方法减少了幻觉但需要仔细实施和调整才能有效。确保模型检索和使用准确的信息而不引入错误仍然是一个重要挑战。
▐ 技术和优化挑战 (Technical and Optimization Challenges)
文档编码 (Document Encoding)
在对文档进行编码前会涉及文档的切分Chunking小文本块比如句子或短语这样的粒度虽然可以提供更精细的控制但可能导致信息丢失和上下文碎片化大文本块比如段落或多段乃至整个原始文档虽然可以更多的保持上下文关联信息但可能超出大语言模型的处理能力因此针对文本块chunks大小需要结合文档内容以及召回内容和最终生成的结果进行权衡
文档切分的方式主要有三种 固定大小的分块简单高效但有可能破坏句子并失去上下文这一种方式在应用中使用比较多 基于句子的分块内容感知的分块方式允许将文本拆分为独立的句子 递归分块此分块过程通过不同的标准迭代地将文本拆分为更小的部分直到达到相似但不完全相同的块的大小从而允许结构上的灵活性
文档切分的方式和上面说的检索的几种类型一样都是可以进行组合使用比如面向一些复杂的场景可以按照基于固定大小来进行分块但是在召回某块文档的时候可以增加召回该块文档在原始文档中的上下两块亦或是整个原始文档具体方式比较灵活最终目标还是使最终的模型返回结果和应用场景最契合。
文档合理分块之后要对文档分块进行编码如何编码文档至关重要这涉及选择适当的Embedding模型以捕捉特定领域知识的细微差别面向文本的Embedding模型有Word EmbeddingsWord2Vec、GloVe、FastText等Sentence and Document EmbeddingsSentence-BERT、Universal Sentence Encoder等Contextualized EmbeddingsBERT、ELMo等。
检索机制
选择在何时以及如何检索文档对于效率和准确性至关重要查询编码器必须能够将用户查询转换为与存储文档匹配的嵌入Meta提供的FAISS开源库在向量快速搜索和相似计算上比较高效使用比较广泛。
提示设计
这就是最近提的比较多的Prompt Engineering提示设计能够有效引导LLM的提示对于生成准确和相关的响应至关重要提示需要提供足够的上下文和指引好的提示的设计需要包括一个角色定位、明确上下文信息、明确的指令以及可能涉及一些回答案例question and answer mapping、思维链的设计CoTChain of Thought等。
上下文管理
需要有效传递上下文以保持交互的连贯性和相关性上下文管理技术能够确保 LLM 能够在多轮对话中保持重要信息这里上下文管理有LLM自身的context window以及可以通过RAG来实现相关会话检索和召回还有像lang-chain等开发框架也提供Memory模块来存储交互中的会话内容。
输出后处理
后处理涉及对生成的输出进行精炼以满足质量标准此步骤包括验证事实准确性、更正错误以及确保响应适合给定上下文对于一些面向用户的应用场景也许错误的回答会带来比较大的后果这个时候需要对LLM给出的结果做后置校验如果不通过可以使用兜底答案或者可以做人工流程转交。
动态数据集成
动态添加新数据到外部存储需要一个强大的嵌入和集成流程系统必须支持增量更新以确保在特定领域数据发展过程中系统保持当前性和准确性同时还需要对整体性能、效果做持续监测建立数据版本机制因为质量差或者噪声数据的引入会影响整体链路的表现。 结语
RAG的出现让我们基于LLM之上去面向特定的业务领域去做应用的门槛相对变低因为不管是重新训练模型还是基于预训练模型来做FT相对来说成本都要更高对于人的要求也更高。
RAG的应用可以在某种程度上对于一些场景有一些工具或者产品创新应用可以带来一些效率的提升不过要精益求精地去持续提升效果还是需要花比较大的精力去熟悉里面的各类细节不过不管怎么说在当前门槛不高的情况下大家都可以尝试使用去面向自己遇到的问题或者想尝试的方向跨出AI应用的第一步。
读者福利如果大家对大模型感兴趣这套大模型学习资料一定对你有用
对于0基础小白入门 如果你是零基础小白想快速入门大模型是可以考虑的。 一方面是学习时间相对较短学习内容更全面更集中。 二方面是可以根据这些资料规划好学习计划和方向。 包括大模型学习线路汇总、学习阶段大模型实战案例大模型学习视频人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型
有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
AI大模型学习路线汇总
大模型学习路线图整体分为7个大的阶段全套教程文末领取哈 第一阶段 从大模型系统设计入手讲解大模型的主要方法
第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用
第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统
第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统
第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型
第六阶段 以SD多模态大模型为主搭建了文生图小程序案例
第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。
大模型实战案例
光学理论是没用的要学会跟着一起做要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。 大模型视频和PDF合集
观看零基础学习书籍和视频看书籍和视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。
学会后的收获
• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力
• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求
• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握
• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。
获取方式
有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
