企业官网建设流程全解析

求个企业邮箱号,vueseo解决方案,网站后台会员管理,Discuz采集到Wordpress本文作者亲身亲历大模型算法岗面试#xff0c;面经覆盖腾讯、字节跳动、拼多多、饿了么、顺丰科技、携程、金山、富途、TCL、虾皮等10知名企业。经过多轮实战总结发现#xff0c;尽管各公司业务侧重不同#xff0c;但大模型算法岗的面试流程高度趋同#xff0c;核心围绕五大…本文作者亲身亲历大模型算法岗面试面经覆盖腾讯、字节跳动、拼多多、饿了么、顺丰科技、携程、金山、富途、TCL、虾皮等10知名企业。经过多轮实战总结发现尽管各公司业务侧重不同但大模型算法岗的面试流程高度趋同核心围绕五大核心环节展开。无论是刚入门大模型想冲击大厂的小白还是寻求跳槽提升的资深程序员这份从实战中提炼的面试指南都能为你避坑提效。下面将从五大核心环节详细拆解面试考察重点、应答技巧及高频考点助力大家高效备战斩获心仪offer。核心面试流程统一框架自我介绍快速建立面试官认知锚定提问方向项目拷打深度考察实战能力是面试核心评分项通识考察检验基础理论功底覆盖大模型核心知识点手撕代码验证编码与算法实现能力高频真题全覆盖反问环节双向匹配的关键精准判断offer适配度1、自我介绍自我介绍是对背景和工作经历的概述所以尽可能突出你自己做的比较好且有把握的项目这样面试官在提问的时候也会因为你自己提到的内容而往这方面走。不过有一些面试官就是会找简历上和自己业务相关或者感兴趣的项目来进行提问所以你在简历上提到的项目都需要非常熟悉。2、项目拷打这一部分决定了面试官对于你经验的评估项目的理解要深一些这个只能通过不断打磨完善项目经历。微调项目业务背景数据的构成是否使用了合成数据训练的过程中用了什么方法为什么用这样的方式用别的方式会有什么问题是否尝试过如何评估整体的效果微调之后是否还会出现幻觉的问题出现了的话应该怎么处理这个能力是否只能用在当前业务场景是否可以作为一个通用的能力是否尝试过用其他的基座模型…应用层项目业务背景逻辑框架优化前和优化后的能力差距遇到最大的困难是什么怎么解决的是否还有别的优化方式某个流程是否可以进行再优化上线之后的效果反馈…3、通识考察1Transformers 和之前的模型的区别为什么 Transformers 好追溯到最开始的 seq2seq 模型RNN 模型的一个比较大的问题就是序列长了之后效果变长后期的 LSTM 通过三个门控机制比较好的解决了这个长短期记忆问题但是这两种模型都是串行模型在计算复杂度上比较大推理时间比较长。Transformers 通过 encoder decoder 堆叠的形式通过残差连接、多头注意力机制、位置编码的形式实现了比较好的 seq2seq 的效果。2介绍下 Bert框架预训练和后续的微调任务embedding 层由 positional_embedding token_embedding segment_embedding 组成然后进入 encoder 层。这里主要是通过多头注意力的方式将输入转换为 QKV三个矩阵然后通过 softmaxQK.T / sqrt(dk)) V 来计算然后加残差和 layer norm最后接入一层 FFN。预训练任务主要是两个一个是 MLM masked language model 预测 masked 的 token和 NSPnext sentence prediction后续的微调任务有命名实体识别分类等。3为什么 Bert 适合做向量模型底层原理是什么推理耗时比较短底层原理是利用【CLS】这个无语义的 token 向量表征来表示整个输入的语义。训练方式类似于 simcse 的对比学习通过判断 positive 和 negative 的【CLS】的 token 的语义的相对值来进行参数更新原理即正样本和输入 query 的向量相似度要大于负样本和输入 query 的向量相似度。4RoBERTa 做了什么优化训练过程中去掉了 NSP 任务动态掩码策略更大的训练批次和数据量嵌入层的初始化方式不同加入 AdamW 优化器。5想要大模型输出的内容都为 json 格式怎么实现限制解码训练的时候 response 都为 json 格式。6OOM 问题怎么处理模型量化、模型并行、低精度训练、混合精度训练、限制最大文本长度、减少训练 batch、deepspeed 的三个显存优化方案等。7大模型的参数量是怎么计算出来的大模型的参数量计算通常涉及以下几个关键部分**Embedding 层**包括词嵌入、位置嵌入等参数量由词表大小乘以嵌入维度决定。例如词表大小为 30522嵌入维度为 1024则词嵌入的参数量为两者的乘积。Transformer 层Self-Attention每个注意力头有三个权重矩阵Q、K、V每个矩阵的大小为嵌入维度乘以投影维度投影维度通常是嵌入维度。如果有 L 层每层有 H 个头每个头的参数量为 3 * 嵌入维度 * 投影维度。FeedForward NetworkFFN通常包含两个线性层第一个从嵌入维度映射到较大的中间层第二个再映射回嵌入维度。参数量为两层的输入输出维度的乘积之和。Layer Normalization每个 Transformer 层后通常有 LayerNorm它有少量参数通常为每个隐藏层的两个参数。模型结构参数包括层数L、头数H、嵌入维度D、中间层大小F等。一个基本的 Transformer 层的参数量可以近似为 4 * H * D^2 2 * D * F。通过将所有这些部分的参数量相加就可以得到整个模型的总参数量。例如对于特定的模型配置如层数、头数、嵌入尺寸等可以使用公式结合具体数值进行计算。例如TinyLLaMA 模型的参数量就是基于其特定的架构参数计算得出的。8DeepSeek R1 的训练方式GRPO 的原理是什么尽可能少的使用 SFT通过冷启动少部分 QA 数据来进行 SFT然后再使用大量的强化学习和多阶段 SFT 来进行调优。GRPOGroup Relative Policy Optimization的核心原理是让模型通过对模型同一批次生成的答案来进行 reward 打分然后进行组内比较来更新模型。9基于过程的强化学习和基于结果的强化学习的差异是什么基于过程更关注智能体采取行动的过程即智能体如何根据环境状态做出决策以及决策的序列。它强调学习一个策略使得智能体在每个状态下都能选择合适的行动以最大化长期累积奖励。例如在机器人路径规划中基于过程的强化学习会关注机器人如何一步一步地选择移动方向以找到到达目标的最优路径。基于结果主要关注最终的结果或目标是否达成以及达成结果的效率等指标。它通常不关心智能体具体是通过怎样的过程或行动序列来达到目标的只看重最终是否成功以及相关的结果指标。比如在游戏中基于结果的强化学习只关注是否赢得游戏而不关心游戏过程中具体的操作步骤。这个题属于开放话题读者可以根据自己的理解去分析这两种强化学习的优势和弱势。10Agent 的概念是什么整体流程是怎么样的Agent 在强化学习的概念就是一个能够感知环境并在环境中采取行动以实现特定目标的实体。主要由三部分能力感知能力决策能力执行能力。Pipeline了解用户需求进行需求拆分。决定是否需要调用其他子 Agent如何调用正确的顺序。调用之后的结果进行评估是否能够解决问题如果不能应该如何进行修正如果则执行回复等。11DeepSeek R1 对于 Agent 的能力是否有提升如何进行运用首先明确下 DeepSeek R1 的最大提升主要是在逻辑计算能力上的重大提升这在 Agent 场景下的复杂任务处理路径规划上是能够起到很大帮助通过 Reasoning 的方式进行任务分析拆分子 Agent 编排这都是很大的一个提升。12RAG 的整体流程和评估方式整体流程知识数据收集数据预处理通过分段滑动窗口等方式进行 chunking构建索引es milvus向量库。检索时通过多路召回精排的方式来提升召回率LLM 知识融合生成后处理判断问句和生成的答案的一致性。评估方式基于生成结果的评估**BLEU**计算生成文本与参考文本之间的 n-gram 重叠程度评估生成文本与标准文本的相似性得分越高表示生成结果越接近参考文本。**ROUGE**主要基于召回率衡量生成文本与参考文本之间的词汇重叠情况如 ROUGE-1、ROUGE-2 分别计算一元组和二元组的召回率用于评估生成文本的内容完整性和准确性。**METEOR**综合考虑了词汇重叠、同义词匹配、词干提取等因素更全面地评估生成文本与参考文本的语义相似性取值范围为 0 到 1越接近 1 表示生成效果越好。基于检索效果的评估**准确率Precision**检索出的相关文档数量与检索出的文档总数的比值反映了检索结果的精确性越高表示检索出的不相关文档越少。**召回率Recall**检索出的相关文档数量与数据库中实际相关文档总数的比值衡量了检索系统找到所有相关文档的能力越高表示漏检的相关文档越少。**F1 值**综合考虑准确率和召回率的指标是它们的调和平均数F1 值越高说明检索效果越好。人工评估**内容相关性**评估生成的文本是否与用户输入的问题或任务要求紧密相关是否回答了关键问题提供了有价值的信息。**语言质量**检查生成文本的语法正确性、词汇丰富度、语句流畅性等判断语言表达是否自然、准确有无明显的语病和逻辑错误。**实用性**根据具体应用场景评估生成文本对用户的实际帮助程度是否能够满足用户的需求是否具有可操作性和实际价值。13如何解决 RAG 中信息覆盖率低、幻觉、逻辑计算的问题单一的 RAGNavie RAG的能力肯定不足以应该复杂场景需要结合知识图谱的方式来对文档进行实体和关系抽取。同时增加互信息索引在召回阶段召回信息更相关的片段逻辑计算问题需要引入专用的计算模块例如数据计算库逻辑推理引擎具体可以参考KAG。14大模型的数据合成应该怎么做有哪些方式self instruct 的方法去基于种子数据生成、wizardlm 在这个基础上对数据进行复杂化、也有 ultrachat 这种 llm 相互对话的方法、前段时间比较火的是 magpie相当于用温度让模型自由发挥。15大模型预训练和 SFT 的 loss 的差别是什么首先 loss 函数都是 cross entropy只是大模型预训练和 SFT 的输入不同 大模型预训练的 loss 计算的整个输入的 loss而 SFT 中 prompt 的那部分需要被 mask 掉只计算 completion的loss。16DeepSpeed 的三个 stage 分别是什么有什么作用DeepSpeed 是微软开发的一个用于大规模分布式训练的深度学习优化库它的 ZeROZero Redundancy Optimizer技术包含三个主要阶段Stage旨在减少内存使用并提高训练效率。以下为你详细介绍这三个阶段及其作用**Stage 1**优化器状态分片Optimizer State Partitioning原理在传统的分布式训练中每个 GPU 都会复制一份完整的优化器状态如 Adam 优化器中的梯度累积和动量项这会导致大量的内存冗余。而在 ZeRO Stage 1 中优化器状态会被均匀地分片到各个 GPU 上每个 GPU 只保存一部分优化器状态。例如假设有 4 个 GPU 参与训练每个 GPU 只保存 1/4 的优化器状态。作用显著减少了每个 GPU 上的内存占用使得可以使用更大的模型和批量大小进行训练。同时由于每个 GPU 只需要更新自己所负责的优化器状态减少了通信开销提高了训练效率。**Stage 2**梯度分片Gradient Partitioning原理在反向传播过程中每个 GPU 会计算一部分模型参数的梯度。在传统方法中这些梯度会被汇总到每个 GPU 上以便进行优化器更新。而在 ZeRO Stage 2 中梯度也会像优化器状态一样被分片到各个 GPU 上每个 GPU 只保存一部分梯度。这样在进行优化器更新时每个 GPU 只需要根据自己所保存的梯度和优化器状态进行参数更新而不需要等待所有梯度的汇总。作用进一步减少了每个 GPU 上的内存占用因为不需要保存完整的梯度信息。同时减少了梯度通信的量降低了通信开销提高了训练的并行性和效率。**Stage 3**参数分片Parameter Partitioning原理在 ZeRO Stage 3 中不仅优化器状态和梯度会被分片模型参数本身也会被分片到各个 GPU 上。每个 GPU 只保存一部分模型参数在进行前向传播和反向传播时通过通信机制动态地获取所需的参数。例如当一个 GPU 需要计算某个参数的梯度时它会从保存该参数的 GPU 上获取该参数。作用极大地减少了每个 GPU 上的内存占用使得可以训练非常大的模型甚至超过单个 GPU 内存容量的模型。同时通过动态参数获取和通信机制保证了模型训练的正常进行提高了内存利用率和训练效率。17模型并行和数据并行的区别是什么这两种方式的数据流和梯度是怎么更新的模型并行将一个深度学习模型按照不同的层次或组件划分到不同的计算设备如 GPU上每个设备负责处理模型的一部分。例如在一个深度神经网络中将前几层放在一个 GPU 上后几层放在另一个 GPU 上。数据并行将训练数据分成多个小批次同时在多个计算设备上进行模型训练每个设备都拥有完整的模型副本。比如有 1000 张图像的训练数据集可将其分成 10 份每份 100 张分别在 10 个 GPU 上进行训练。模型并行数据流和梯度更新**数据流**输入数据首先被送到负责模型起始部分的设备上进行计算得到中间结果后将中间结果传递给下一个负责后续模型部分的设备依次类推直到得到最终的输出结果。例如在一个由两个 GPU 组成的模型并行系统中GPU1 处理输入数据的前半部分计算将结果传给 GPU2GPU2 再进行后半部分的计算得到最终输出。**梯度更新**在反向传播过程中从输出层开始每个设备根据接收到的梯度信息计算自己所负责模型部分的梯度并将梯度传递给前一个设备同时根据计算得到的梯度更新自己所负责的模型参数。各设备之间需要进行频繁的梯度通信和同步以确保模型参数的正确更新。数据并行数据流和梯度更新**数据流**不同的计算设备同时处理不同批次的数据每个设备都使用自己的模型副本对输入数据进行前向传播计算得到各自的输出结果。例如在有 4 个 GPU 的数据并行训练中每个 GPU 都对自己分到的那部分数据进行独立的前向传播计算。**梯度更新**每个设备在完成前向传播后独立计算自己所处理数据批次的梯度。然后将这些梯度进行汇总平均通常通过 AllReduce 等通信操作将所有设备上的梯度汇总并求平均得到全局平均梯度。最后每个设备根据这个全局平均梯度来更新自己的模型参数以保证所有设备上的模型参数保持一致。18DP/PP/TP/DDP 的概念分别介绍一下DP data parallelism数据并行数据并行是指将训练数据分成多个小批次同时在多个计算设备如 GPU上进行模型训练每个设备都拥有完整的模型副本。PPpipeline parallelism流水线并行管道并行是将深度学习模型按照不同的层次或阶段划分成多个部分每个部分分配到不同的计算设备上数据像在管道中流动一样依次经过各个设备进行处理。TP tensor parallelism张量并行是将模型中的张量如权重矩阵、激活值等在不同的维度上进行划分分布到多个计算设备上进行并行计算。DDPdistributed data parallelism) 分布式数据并行是数据并行的一种分布式实现方式用于在多个节点如多台服务器的集群环境中进行深度学习模型训练每个节点可以包含多个计算设备。19常用的分词方式 BPE 的原理是什么?山野闲人[LLM] 从实践到理论Byte Pair EncodingBPE 深度调研https://zhuanlan.zhihu.com/p/6579380534、手撕代码算法代码手写位置编码手写多头注意力机制Leetcode零钱兑换最长递增子序列打家劫舍最长公共子序列跳跃游戏真题题 1不调用库函数或**算子实现 p 的 a 分之b 次幂题目描述a、b 是整数p 是有理数不考虑非法情况分母为 0负数开方等结果精确到小数点后 2 位题 2c 是非负整数是否存在 aa bb c?5、反问问题如下明确新公司的业务方向现在大模型的方向很多技术方向RAGAgent微调数据合成等应用方向有智能客服流程优化等。工作强度公司是否有明确的晋升机制调薪幅度及周期算法目前在市场上还是属于香饽饽不调薪的话人是留不太住的面试两个月下来大模型算法工程师在市场上还是比较紧缺的特别是 deepseek 之后不管是互联网公司还是传统行业都开始投入 AI机会和风险并存。建议大家在做选择的时候多比较公司的发展和业务方向祝大家都能拿到心仪的 offer。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取