企业官网建设流程全解析

怎么用ftp管理网站,泰安房源最新出售,中卫网站设计公司,余姚厂家高端网站设计目录 一、什么是 RAG#xff1a;从“导游困境”说起 #xff08;一#xff09;RAG基本形态 1. 只有“志愿者手册”的导游 2. 系统资料 用户资料的导游 #xff08;二#xff09;RAG 的本质 二、RAG 的实现原理#xff1a;从工程视角拆解 #xff08;一#xff…目录一、什么是 RAG从“导游困境”说起一RAG基本形态1. 只有“志愿者手册”的导游2. 系统资料 用户资料的导游二RAG 的本质二、RAG 的实现原理从工程视角拆解一建立索引Indexing1数据清洗与解析2文本切分Chunking3向量化Embedding4向量存储二检索生成Retrieve Generate三、RAG 的工程价值为什么它如此重要四、RAG 的典型应用案例阿里云 AI 助理五、动手实验方向构建私域知识问答系统一实验目标二尝试提问三创建知识库四创建RAG应用五测试RAG应用六、总结参考与延伸阅读干货分享感谢您的阅读在大语言模型Large Language ModelLLM快速普及的今天我们已经习惯于向模型提问、让模型生成答案。然而当问题涉及专业细节、企业内部知识或实时变化的信息时模型往往会表现出两个典型问题回答不够准确或不够具体产生“幻觉”编造看似合理但实际错误的内容检索增强生成Retrieval Augmented GenerationRAG正是在这样的背景下成为当前大模型落地应用中最重要的技术范式之一。本文将通过一个“导游助理”的类比系统讲解 RAG 的核心思想、实现原理与典型应用场景并结合真实产品案例帮助你从工程视角真正理解 RAG。历史发文从检索到生成RAG 如何重构大模型的知识边界RAG 架构地基工程-Retrieval 模块的系统设计分享一、什么是 RAG从“导游困境”说起假设你是一名志愿者导游负责回答游客的问题。一RAG基本形态1. 只有“志愿者手册”的导游某位游客问你“最近的全聚德烤鸭店在哪里”你翻开随身携带的志愿者手册找到全聚德的地址信息并据此给出清晰的路线说明。在这个场景中志愿者 大模型志愿者手册 系统内置知识库查阅资料并回答 基于知识的生成这正是基于系统知识库的 RAG最基础的形态。2. 系统资料 用户资料的导游接着又来了一位游客。他视力不好询问如何前往银锭桥。但遗憾的是你的志愿者手册里并没有关于银锭桥的详细信息。不过这一次游客自己拿出了一张导览地图交给你。你结合地图内容进行分析最终给出了准确的行进路线。这个场景中多了一个关键变量用户提供的个性化资料系统知识 用户私有知识的融合这正是私域知识 RAG的典型应用模式。二RAG 的本质从上述两个场景可以抽象出 RAG 的核心思想不是让大模型“凭记忆作答”而是让它“先查资料再回答问题”。无论是公司统一维护的知识库还是用户上传的私域文档本质上都是通过“检索”来增强模型的“生成”能力从而提高回答的准确性降低幻觉风险让模型具备持续扩展知识的能力这就是Retrieval Augmented Generation检索增强生成。二、RAG 的实现原理从工程视角拆解从系统架构上看一个标准的 RAG 系统通常包含三个核心阶段建立索引 → 检索 → 生成一建立索引Indexing建立索引是 RAG 的基础工程主要解决“如何让系统能高效查资料”的问题通常包括以下步骤1数据清洗与解析将各种原始数据源转换为统一的文本形式例如PDFWordDocxMarkdownHTML数据库导出文本这一阶段的目标是去格式化、保语义。2文本切分Chunking长文本无法直接高效检索通常需要按一定规则切分为更小的语义块chunk例如按段落按固定 Token 长度如 300500 tokens滑动窗口切分Overlap合理的切分策略直接影响召回质量。3向量化Embedding将每个文本块通过嵌入模型转换为向量表示使其能够在向量空间中进行相似度计算。常见做法是文本块 → 向量向量 原始文本 → 存储到向量数据库4向量存储使用向量数据库如 FAISS、Milvus、Weaviate、Pinecone 等存储 embedding 结果为后续高频检索提供支撑。二检索生成Retrieve Generate当用户提出问题时系统会执行以下流程将用户问题进行 embedding在向量数据库中计算与文档块的相似度选取 Top-K 个最相关的文档块将“问题 检索到的知识”组合成提示词Prompt交由大模型生成最终答案一个简化的提示词模板通常类似于请基于以下资料回答问题【资料】{知识文档块}【问题】{用户问题}大模型在这个阶段的角色不再是“知识来源”而是信息整合与表达引擎。三、RAG 的工程价值为什么它如此重要从工程实践角度看RAG 带来的价值主要体现在以下几个方面避免频繁微调模型通过更新知识库即可扩展能力成本远低于模型微调。支持私域与实时知识企业内部文档、产品手册、流程规范等都可以随时接入。显著降低幻觉风险模型回答“有据可查”而非自由发挥。可审计、可追溯很多系统会在回答中附带引用来源增强可信度。四、RAG 的典型应用案例阿里云 AI 助理一个典型且成熟的 RAG 应用案例是阿里云 AI 助理。在使用阿里云产品时用户常常会遇到如下问题如何使用 Python SDK 向 OSS 上传文件某个云产品适合什么业务场景如何设计云上迁移方案这些问题高度依赖阿里云官方文档与产品细节而通用大模型本身并不具备这些实时、专业的信息。阿里云 AI 助理的解决方案是以通义千问为底座大模型以阿里云产品文档为知识库通过 RAG 机制进行检索增强最终不仅给出答案还会在回复末尾附上参考文档链接便于用户校验与深度阅读。这正是 RAG 在企业级场景中最理想的落地形态。五、动手实验方向构建私域知识问答系统在实际学习或实践中一般典型的入门实验核心步骤思路包括准备私域文档如内部 Wiki、产品说明构建向量知识库封装检索 生成流程对接即时通讯工具如钉钉进行问答测试与效果评估现在我们通过下面的过程来完整体验 RAG 从“概念”到“系统”的全过程一实验目标构建 RAG 应用是减少大模型幻觉、让其能回答私有领域知识的的有效手段。但构建 RAG 应用通常需要技术人员投入一定时间来进行开发。阿里云提供了一系列云服务能帮助您在不编写任何代码的情况下完成一个私有知识的 RAG 问答机器人搭建并支持在钉钉聊天中和机器人对话提问。最终参考效果如下二尝试提问在正式搭建 RAG 应用之前我们可以先测试一个问题「西红市实验十小一年二班的班主任是谁」来看下大模型的回答效果进行模型体验。点击模型体验通义千问-MAX在下方的输入框中输入提示词西红市实验十小一年二班的班主任是谁你可能会看到这样的回答因为“西红市实验十小”这个学校是我们虚构的大模型无法回答这个私有领域的问题。三创建知识库为了能够回答前一步骤的问题我们需要创建一个知识库并维护一些私有领域的知识文档。首先下载提前准备好的示例知识库文件示例知识库.doc点击顶部的应用栏单击左侧菜单栏中的应用数据单击导入数据。在导入数据界面单击本地上传上传知识库文件本实验使用的是示例数据上传完成后单击确认。​文档解析需要花费一段时间请耐心等待可以主动刷新页面。​单击左侧菜单栏中的知识库单击创建知识库。​填写知识库名称学校信息库其它参数保持默认即可单击下一步。​​为了更好地区分不同的知识库建议填写知识库描述选择推荐配置相似度阈值越高模型可以从知识库中获取到的知识越精确但是可能会丢失部分信息相似度阈值越低模型可以从知识库中获取的知识越多但是可能会引入无用的知识对模型生成的回复造成干扰建议使用默认的阈值。​单击选择文件在默认类目中选中上传的示例文档若有多个知识库文档可以进行多选单击下一步。在数据处理区域选择智能切分单击导入完成。​当看到状态为解析完成时表示知识库创建完成单击右侧的查看切片即可查看切分完成的文本块。四创建RAG应用完成知识库的创建后我们可以创建一个 RAG 应用用于回答私有知识单击左侧边栏的应用管理单击新增应用立即创建。应用信息如下配置好后点击单击发布。应用名称示例名称-学校信息答疑机器人模型在模型下拉列表可以查看并选择通义千问系列模型知识库开启Prompt栏中会自动填充内容选择知识库选择创建好的知识库学校信息库五测试RAG应用创建好 RAG 应用后我们可以再次尝试提问看看现在大模型是否能正确回答这个问题西红市实验十小一年二班的班主任是谁。在右侧边栏文本对话。在输入框进行提问 西红市实验十小一年二班的班主任是谁可以看到开启知识检索增强的应用已经能够成功回答该问题了。​六、总结RAG 并不是一个“炫技型”的新概念而是当前大模型工程化落地中最关键、最务实的技术路径之一。它的核心思想并不复杂用检索弥补模型记忆的局限用生成发挥模型理解与表达的优势。随着企业对 AI 系统可控性、可靠性与专业性要求的不断提升RAG 将长期作为大模型应用的基础架构存在。参考与延伸阅读阿里云大模型工程师ACA认证免费课程https://edu.aliyun.com/course/3126500/lesson/342570338搭建一个知识问答机器人https://developer.aliyun.com/adc/scenario/exp/e54e49aac176485cb0446e53c454c7a4Retrieval-Augmented Generation 原始论文Facebook AIhttps://arxiv.org/abs/2005.11401OpenAI 官方文档Embeddings 与向量搜索https://platform.openai.com/docs/guides/embeddingsLangChain 官方文档RAG 架构与实现https://python.langchain.com/docs/use_cases/question_answering/LlamaIndex 官方文档Indexing 与 RAG Pipelinehttps://docs.llamaindex.ai/en/stable/FAISS 官方项目Facebook AI Similarity Searchhttps://github.com/facebookresearch/faissMilvus 向量数据库官方文档https://milvus.io/docsPinecone 官方博客RAG in Productionhttps://www.pinecone.io/learn/retrieval-augmented-generation/Hugging Face 博客What is RAG?https://huggingface.co/blog/rag阿里云 AI 助理官方介绍https://www.aliyun.com/product/ai-assistant通义千问Qwen技术文档https://help.aliyun.com/document_detail/239948.html向量数据库与语义搜索工程实践综述https://www.elastic.co/what-is/vector-searchDesigning Data-Intensive Applications数据密集型系统设计官方页面https://dataintensive.net/