企业官网建设流程全解析

简洁大方的电商网站模板,哪个网站可以做c 的项目,关于班组建设管理的网站,WordPress安全社区过去三年中#xff0c; OpenAI 的 ChatGPT为代表的基础模型的出现显著加速了 LLM 应用的发展#xff0c;但是如果只使用 LLM 依赖其“自有”知识来回答问题#xff0c;往往会出现大模型幻觉#xff0c;或者知识更新不及时等问题。基于这一背景#xff0c;使用多个 LLM OpenAI 的 ChatGPT为代表的基础模型的出现显著加速了 LLM 应用的发展但是如果只使用 LLM 依赖其“自有”知识来回答问题往往会出现大模型幻觉或者知识更新不及时等问题。基于这一背景使用多个 LLM每个 LLM 针对不同类型的问题进行优化的解决思路应运而生。但这也会出现一定的局限那就是让整体系统变得复杂且难以扩展过去三年中 OpenAI 的 ChatGPT为代表的基础模型的出现显著加速了 LLM 应用的发展但是如果只使用 LLM 依赖其“自有”知识来回答问题往往会出现大模型幻觉或者知识更新不及时等问题。基于这一背景使用多个 LLM每个 LLM 针对不同类型的问题进行优化的解决思路应运而生。但过多的模型拼合又会导致整体系统变得复杂且难以扩展。那么要如何解决这个问题呢答案是复合人工智能系统CAIS。接下来我们将重点解读CAIS的历史演变以及搭建流程。01.CAIS的历史演变从RAG到Agent这一概念最早是2024年初加州大学伯克利分校的AI研究实验室网站上的一篇题为《从模型到复合人工智能系统的转变》的博客中被提及它强调通过集成多种AI技术和模块来实现更高效、更可靠、更可解释的智能系统。比如我们可以通过在 LLM pipeline 中添加额外组件进而提升系统性能。一个常见的代表是 RAGRAG 通过将“知识库”或“上下文”存储在向量数据库如 Milvus 或 Zilliz Cloud中并将其作为上下文与LLM结合可以生成更准确、相关性更高的回答。通常来说构建 RAG 系统的基本步骤如下Chunking将文档拆分为较小的部分以提高在向量数据库中用语义搜索内容的相关性这是 Zilliz Cloud 和 Milvus 等向量数据库的核心特性。Embedding将分块向量化创建向量数值表示并存入向量数据库。Prompt向 LLM 提供指令基于查询在向量数据库中检索以获取答案。Query向 LLM 提出的问题。图 1RAG 的基本步骤不难发现以上各个环节主要基于向量相似性进来完成检索以及内容生成可一旦分块不够精准或者分块后的内容与答案相关性不高就会导致最终生成的答案也会不尽如人意。与此同时RAG的另一大局限性在于对特定模型的过分依赖。比如我们做一个比较任务但模型可能是为归纳任务训练的。在此基础上Agent应运而生。LLM Agent 是复杂的系统它们通过在 pipeline 中添加了“类人”步骤如推理、工具使用或规划可以完成各种复杂操作。比如在下图中LLM Agent 包含多个组件它们可以在迭代过程中互动不仅可以做相似性检索还能完成包括规划、推理、工具使用和记忆等多种功能。图 2LLM Agents目前各种 Agent 架构和框架中最流行的是 ReAct推理/行动。其概念最早出自论文《ReAct: Synergizing Reasoning and Acting in Language Models》。在ReAct中主要包括四个步骤规划/推理Plan/Think、行动act/tools、评估observe和答案生成answer。比较值得一提的是评估环节在这一环节中如果模型没有找到答案它会返回推理步骤或要求用户给出更多额外提示来继续生成答案。图 3ReAct 框架那么我们如何在 RAG pipeline 中使用这些 Agent 呢以下是在 RAG pipeline 中五种常见的智能体构建方式Routing路由将用户查询重定向到与查询相关的特定知识库。示例如果用户询问特定类型书籍的推荐查询可以被路由到包含这些类型书籍信息的知识库。Query Planning查询规划将查询拆分为子查询每个子查询定向到相关的 RAG pipeline。示例如果您想知道一家公司过去三年的财务结果Agent 会为每一年创建子查询并将每个子查询定向到适当的知识库。Tool Use工具使用LLM 与外部 API 或工具交互确定交互所需的参数。示例如果用户请求天气预报LLM 调用天气 API确定位置和日期等参数并处理 API 的响应以提供答案。ReAct一个迭代过程结合推理和行动包括规划、工具使用和观察步骤。示例为了生成详细的旅行行程系统推理用户需求使用 API 收集景点、餐饮和住宿信息观察结果的准确性和相关性然后提供全面的旅行计划。Dynamic Query Planning动态查询规划Agent 并行执行多个任务或子查询而不是顺序执行并聚合结果。示例如果您想比较两家公司的财务结果并计算特定指标的差异Agent 会并行处理两家公司的数据然后合并结果以提供比较。LLMCompiler 是一个示例框架支持高效且有效地编排并行函数调用。图 4LLM 编译器现在让我们搭建一个使用 Milvus 向量数据库的简单 Agentic pipeline。02.使用 Claude 3.5 Sonnet、LlamaIndex 和 Milvus 构建 Agentic RAG以下内容是一个使用 LlamaIndex 作为 Agent 框架、Milvus 作为向量数据库、Claude 3.5 Sonnet 作为 LLM 的 Agentic RAG peipeline示例我们将用其构建一个 Agentic RAG。步骤 1数据加载我们使用 Milvus documentation 2.4.x 的 FAQ 页面作为 RAG 的私有知识库。!pip install -qq llama-index pymilvus llama-index-vector-stores-milvus llama-index-llms-anthropic !wget https://github.com/milvus-io/milvus-docs/releases/download/v2.4.6-preview/milvus_docs_2.4.x_en.zip !unzip -q /content/milvus_docs_2.4.x_en.zip -d /content/milvus_docs# load documents/content/milvus_docs/en/faq/operational_faq.mdprintDocument ID:步骤 2环境变量我们需要导入两个 API 密钥Anthropic 和 OpenAI。ANTHROPIC_API_KEYANTHROPIC_API_KEYOPENAI_API_KEYOPENAI_API_KEY步骤 3数据索引使用 Milvus 向量数据库创建文档索引作为我们的知识库。由于 OpenAI 是 LlamaIndex 中的默认 embedding 模型可以更改我们需要在 MilvusVectorStore 中定义相同的维度dim 1536。运行以下代码后将创建一个本地数据库其中包含我们的知识库。from llama_index.core import VectorStoreIndex, StorageContext from llama_index.vector_stores.milvus import MilvusVectorStore vector_store MilvusVectorStore(dim1536) storage_context StorageContext.from_defaults(vector_storevector_store) index VectorStoreIndex.from_documents(documents, storage_contextstorage_context)步骤 4简单查询引擎首先测试没有 Agent 的查询引擎。它由 Claude 3.5 Sonnet 提供支持并在我们的索引中搜索相关内容。claude-3-5-sonnet-20240620What is the maximum vector dimension supported in Milvus?print plaintext Output:Milvus supports vectors with up to 32,768 dimensions by default. However, if you need to work with vectors of even higher dimensionality, you have the option to increase the value of the Proxy.maxDimension parameter. This allows Milvus to accommodate vectors with dimensions exceeding the default limit.步骤 5Agent 查询引擎现在我们添加 QueryEngineTool它将作为查询引擎的包装工具供 Agent 使用。claude-3-5-sonnet-20240620knowledge_baseProvides information about Milvus FAQ.Use a detailed plain text question as input to the tool.步骤 6AI Agent 创建本例中使用的 Agent 是 LlamaIndex 的 FunctionCallingAgentWorker它在查询回复上部署 critic reflection利用查询引擎工具生成改进的答案。What is the maximum vector dimension supported in Milvus?print plaintext Output:Added user message to memory: What is the maximum vector dimension supported in Milvus? LLM Response To answer your question about the maximum vector dimension supported in Milvus, Ill need to consult the Milvus FAQ knowledge base. Let me do that for you. Calling Function Calling function: knowledge_base with args: {: in} Function Output Milvus supports vectors with up to 32,768 dimensions by default. However, if you need to work with vectors of even higher dimensionality, you have the option to increase the value of the Proxy.maxDimension parameter. This allows Milvus to accommodate vectors with dimensions exceeding the default limit. LLM Response Based on the information from the Milvus FAQ knowledge base, I can provide you with the following answer:The maximum vector dimension supported in Milvus is 32,768 by default. This means that out of the box, Milvus can handle vectors with up to 32,768 dimensions, which is suitable for most applications.However, its important to note that Milvus offers flexibility for cases where you might need to work with even higher-dimensional vectors. If your use case requires vectors with dimensions exceeding 32,768, you have the option to increase this limit. This can be done by adjusting the Proxy.maxDimension parameter in Milvus configuration.So, to summarize:1. Default maximum dimension: 32,7682. Can be increased: Yes, by modifying the Proxy.maxDimension parameterThis flexibility allows Milvus to accommodate a wide range of use cases, from typical machine learning and AI applications to more specialized scenarios that might require extremely high-dimensional vectors.Based on the information from the Milvus FAQ knowledge base, I can provide you with the following answer:The maximum vector dimension supported in Milvus is 32,768 by default. This means that out of the box, Milvus can handle vectors with up to 32,768 dimensions, which is suitable for most applications.However, its important to note that Milvus offers flexibility for cases where you might need to work with even higher-dimensional vectors. If your use case requires vectors with dimensions exceeding 32,768, you have the option to increase this limit. This can be done by adjusting the Proxy.maxDimension parameter in Milvus configuration.So, to summarize:1. Default maximum dimension: 32,7682. Can be increased: Yes, by modifying the Proxy.maxDimension parameterThis flexibility allows Milvus to accommodate a wide range of use cases, from typical machine learning and AI applications to more specialized scenarios that might require extremely high-dimensional vectors.Agent 的输出提供了更详细的答案包括信息来源、答案背后的推理过程以及一些与话题相关的额外建议。这帮助我们更好地理解 LLM 模型给出的答案。03.Agentic RAG 架构我们刚刚构建的 Agentic RAG 的完整架构如下所示。图 5使用 Milvus、LlamaIndex 和 Claude 3.5 Sonnet 构建的 Agentic RAG 架构04.结论Compund AI 的概念将复杂的人工智能系统分解为多个独立的模块进而带来了更多的灵活性、可扩展性、可复用性并降低了系统耦合度极大提升了 pipeline 的整体效率。沿着这一理念 LLM 系统的演变经历了从独立模型到结合 RAG 和 Agent 的更复杂架构的转变。而在此过程中Milvus为代表的向量数据库技术通过提供强大的数据管理、检索和融合能力显著提升了系统的效率、准确性和可靠性。它不仅优化了 RAG 和 Agent 等模块的性能还为多模态数据处理和实时决策提供了支持并极大提升了系统的灵活性和可扩展性。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】