企业官网建设流程全解析

选择网站的关键词,网站备案 新增,广州10打网站服务商,wordpress 书籍发布文章探讨了将蒙特卡洛树搜索(MCTS)与大语言模型(LLM)结合的方法#xff0c;赋予LLM慢思考能力以解决复杂问题。分析了三种实现方案#xff1a;PPO-MCTS利用价值函数减少计算复杂度#xff1b;基于ChatGPT的任务规划方法通过状态和动作表示提升规划能力#xff…文章探讨了将蒙特卡洛树搜索(MCTS)与大语言模型(LLM)结合的方法赋予LLM慢思考能力以解决复杂问题。分析了三种实现方案PPO-MCTS利用价值函数减少计算复杂度基于ChatGPT的任务规划方法通过状态和动作表示提升规划能力以及AlphaZero类树搜索方法优化节点表示和价值函数评估。未来方向包括提高计算效率和通过多智能体训练提升LLM解决复杂问题的能力。在上一篇文章[1]中我们初步探索了基于EBM- MCTS的方法并在多个数学数据集上完成实验验证相比使用更多的SFT语料等等EBM-MCTS能够极大提升已有的SFT模型的数学能力[1][7]而且EBM不依赖更强的LLM、不需要LLM自己提出问题并评估中间步骤答案的好坏等等。能量函数还能通过无监督方法训练也不需要更大的尺寸即可提升SFT模型的效果。近期笔者看到了更多类似的文章大部分在ai-agent的task-planning中探索。我们将基于这些文章进一步探讨这些方法的’first-principle’以及未来的方向。MCTSMonte-Carlo-Tree-Search[2] 主要用于解决复杂序列决策问题基于policy-model和evaluation-function找到reward最大的决策序列。evaluation-function评估基于policy-model生成的partial sequences。实现更好的exploitation和exploration的平衡。该方法在棋类游戏中应用广泛。其核心包含四个步骤: selection, expansion, simulation和backpropagation。mctsSelection: 根据一定准则在叶子节点中选择一个节点。为了保证exploitation(visit-count/reward)和exploration(未被访问的节点)通常使用UCT[2]作为叶子节点:uct近期文献[3]提出了使用PUCT(引入了policy的prior-probability)puctExpansion: 上一步中选择的节点被标记为已探索并与其父节点建立链接关系。Simulation: 从root节点到被expanded的节点作为prefix-sequence应用policy-model生成后续的序列。通常基于一定的终止条件终止simulation 如 生成 结束符号、达到指定的rollout长度 等等。Backpropagation: 在simulation中产生的sequence应用evaluation-function评估reward如质量分、输赢等等并将reward 从 结束节点反传回根节点更新路径节点的访问次数和节点reward。从MCTS的基本原理我们可以看到MCTS可以看成某种慢思考即通过policy-model快速生成路径并通过MCTS不断评估和更新中间过程最终产生更准确的决策输出。LLM-MCTS随着ai-agent的兴起LLM带来了更多的可能性不仅限于传统NLP/NLG任务以及作为核心系统的子模块其本身可以作为复杂系统的决策中枢改变传统软件、复杂系统的工作模式。当LLM作为ai-agent的决策中枢时核心问题是在用户给定的指令下自动将指令分解复杂问题分解为若干子问题、指令泛化子问题的关联问题泛化、复杂子问题的工具调用以及最终的解决方案生成。类比人类解决问题通常在某一领域有丰富经验的专家对于领域问题具备一定的一步到位解决能力俗称‘肌肉记忆’。通过大量的刻意练习将中间思考步骤逐渐固化为本能不需要刻意思考也能快速提出最终的解决方案。这种方式可以粗略理解为“greedy-decoding”即通过大量刻意练习包括但不限于SFT(mentor手把手教)和RLHF(外部反馈)等等将技能固化为本能即模型的快思考。当面对新的复杂问题时快思考 往往难以一步到位给出好的解决方案还可能局限于已有的领域知识给出错误但confident的解决方案—陷入快思考陷阱或者定势思维。这个时候慢思考往往能带来新的思路帮助我们不断评估中间过程和结果最终从‘first-principle’的角度解决新的复杂问题。这一范式可以对应到MCTS即不断提出问题、中间解决方案和评估最终根据中间过程的“价值”(访问次数/reward) 输出 最优的解决方案。当我们将LLM与MCTS结合时赋予LLM慢思考的能力一般需要解决以下问题高效的rolloutevaluation-functionnode-representation and edge-representation下面我们主要分析三篇文章[3][4][5]均是将LLM与MCTS结合提升模型的生成、planning能力。MAKING PPO EVEN BETTER: VALUE-GUIDED MONTE-CARLO TREE SEARCH DECODINGPPO-MCTS巧妙地利用了PPO训练过程的产出物: value-function: 估计当前(state, action)下的reward而不需要完整地rolloutrollout的计算复杂度较高。为了估计 ,PPO-MCTS作了如下近似作为 的初始化: 使用state-value-function近似state-action-value-function即 在当前的状态 (MCTS的prefix-sequence)下select节点 的累计期望reward即 仅与状态有关而与select的节点 无关(相当于action的分布为均匀分布)。当进行backpropagation时通过以下方式更新state-action-value-function(state-action-value-function的标准更新方法):state-value-function这里 的计算方法为step-level-rewards然而实际应用时存在几个约束reward-model无法获取。此时我们可以使用value-function近似reward-function即用 近似 。reference-model无法获取。此时我们无法根据step-level-reward估计state-value-function所以我们只能粗略的近似 。这种情况相当于去掉了policy-model和reference-model的kl-divergence可能存在退化以及reward-hacking。由于PPO优化过程存在诸多trick如Reward normalizationReward whitening KL term clamping 以及 Adaptive KL coefficient。当使用这些trick时step-level-reward的计算不准确所以我们需要使用 。当然如果有消融实验对比 step-level-reward和 的结果对于实践会更有帮助。Large Language Models as Commonsense Knowledge for Large-Scale Task Planning该方法的核心思路如上图所示。该文章主要处理language-instructed object rearrangement tasks。核心在于:state-representation。该文章主要解决 object rearrangement其状态包括 object、robot-position、moveable-items和moveable-containers。action-representation。object picking, object placing, moving, opening a container, and closing a container。MCTS的node和edge。将objects建模为node将物体之间的关系建模为edge。该文章将MCTS与ChatGPT结合MCTS的使用较为常规。但在MCTS的加持下ChatGPT具备了更强的任务规划能力相比ChatGPT-policy提升了10个点以上。具体细节可参考对应文章。ALPHAZERO-LIKE TREE-SEARCH CAN GUIDE LARGE LANGUAGE MODEL DECODING AND TRAINING该文章探讨了我们提到的三个基本问题mcts中的node、edge表示、evaluation-function以及rollout。node表示将word作为节点。适用于短输出。将句子作为节点。适用于长文。EBM-MCTS中也是类似的考虑将句子作为nodeedge表示当我们有语言模型后node之间的转移可以通过LLM计算。某种程度上可以看成一种model-based-RL。所以edge表示了node之间的转移概率且可以通过LLM计算。evaluation-function将value-function作为MCTS的evaluation-function。value-function的损失函数为这部分内容也在PPO中有类似计算过程详见[3]:value-function的损失函数其中 可以通过MC-estimate或者 估计。此外这篇文章介绍了三个MCTS的变种:MCTS-: 该方法主要应用于alphazero。在当前state下做N次simulationsselect, expand, backup。node的value使用value-function估计。然后根据node访问次数选择一个node并进入下一个state。直到达到terminal-node。由于有value-function不必rollout也能估计节点reward并backup。MCTS相比MCTS- 经典MCTS需要select、expand、rollout、backup。而且只能从terminal-node的reward回溯更新路径上的中间节点reward。并且总是从initial state node出发。在空间较大的时候计算复杂度更高。MCTS-Rollout结合了以上两个方法的优点。能够基于value-function估计中间节点的reward并进行backup而不需要rollout到terminal-node。并且每次从root-node开始模拟。这里是否需要rollout取决于evaluation-function。如果evaluation-function能够估计 或者 则可以使用 MCTS- 反之则需要rollout并基于terminal-node的reward只能利用最后输赢的reward更新节点reward。未来LLM-based的MCTS高效实现在复杂任务或者OOD上面取得更理想的效果。rollout一般需要更多的计算量。为了避免rollout我们需要估计一个较好的value-function用于评估当前state下的reward。一般而言需要通过RL估计 或者 。[3]使用了PPO的value-function(critic-model)做一些近似或者直接训练一个value-function[5]。也能借鉴Q-learning如Implicit-language-q-learning[6]等使用offline-method等提升样本效率。当SFT进行到一定程度后可以借鉴multi-agent-RL的方法进行多智能体的训练提升LLM解决复杂问题的能力实现更好的alignment。如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】