企业官网建设流程全解析

出格网站建设,佛山seo整站优化,国外wordpress主题优化,广告页面设计图片RNN模型 RNN模型的作用及工作流程 因为RNN结构能够很好利用序列之间的关系, 因此针对自然界具有连续性的输入序列, 如人类的语言, 语音等进行很好的处理, 广泛应用于NLP领域的各项任务, 如文本分类, 情感分析, 意图识别, 机器翻译等. RNN的工作流程#xff1a;首先会对输入的文…RNN模型RNN模型的作用及工作流程因为RNN结构能够很好利用序列之间的关系, 因此针对自然界具有连续性的输入序列, 如人类的语言, 语音等进行很好的处理, 广泛应用于NLP领域的各项任务, 如文本分类, 情感分析, 意图识别, 机器翻译等.RNN的工作流程首先会对输入的文本进行分词然后将分词按照顺序依次进行单个的处理每个分词的处理的处理结果分为两部分一种是当前时刻的输出和当前时刻的隐藏状态当前时刻的输出会进行输出当前时刻的隐藏状态会传输到下一层后续会重复这样的步骤直到处理玩所有的特征。然后将最后一刻的隐藏状态输出的结果来进行处理解析用户意图RNN模型的分类 这里我们将从两个角度对RNN模型进行分类. 第一个角度是输入和输出的结构, 第二个角度是RNN的内部构造. 按照输入和输出的结构进行分类: - N vs N - RNN 诗词 对联 - N vs 1 - RNN 分类任务 - 1 vs N - RNN 图生文 - N vs M - RNN 文本翻译 按照RNN的内部构造进行分类: - 传统RNN 循环神经网络 - LSTM 长短时记忆 - Bi-LSTM 双向的长短时记忆 - GRU 门控网络 - Bi-GRU 双向的GRU - RNN模型接收的张量必须是三维RNN的模型结构.png)这个是单个rnn的输出结构十分简单只有输出输出和单个的隐藏层每两个网络层之间利用全连接层进行练级来实现网络之间数据的转换。在同一个时间步同一层RNN内输入由两部分组成分别是当前时刻的真实x输入值和上一时间步的隐藏层的输出结果两者通过加权求和共同作用得到了当前时刻的隐藏值的结果h1这个h1进行了两种传输方式一种是直接传输到下一时刻一种是复制后传出结果output出去了下图的情况为N vs 1 的一种模式输出最终只有最后一层网络输出的才是真正的预测值前面网络层的输出都只是当时时间段的隐藏值RNN的记忆主要是通过隐藏层来进行记忆的 因为链式求导法则的特性使得RNN只能对短序列进行处RNN如果token过长有可能会发生梯度消失或者梯度爆炸的情况传统RNN的内部结构图这是一个传统的RNN网络结构网络主要聚焦于中间的运算部分它的输入部分有两部分分别是h(t-1)以及x(t),两者分别代表是的上一时间步的隐层输出以及此时间步的输入它们进入RNN结构体后会经过一层全连接层进行融合融合后的结果会通过tanh激活函数得出当前时刻的隐藏值h(t),最终会将它输出同时也输入到下以时间步中与下一时间步的输入x(t1)进入结构体RNNAPI及相关代码# 1.先定义函数# 需求1: 演示1个样本,每个样本只有1个token,默认隐藏层1层,输入维度4,输出维度8defdemo1():# 1.准备Xt数据# 参数1 sequence_lengh:句子的token数# 参数2 batch_size: 批次样本数# 参数3 input_size: 每个token的输入维度inputtorch.randn(1,1,4)# 2.准备H0数据# 参数1 num_layers: 隐藏层数# 参数2 batch_size: 批次样本数 注意:必须和输入的Xt批次数一致# 参数3 hidden_size: 隐藏层的维度 一般自定义,建议大于等于输入维度h0torch.zeros(1,1,8)# 3.创建RNN模型# 参数1 input_size: 每个token的输入维度 必须和Xt的token的输入维度一致# 参数2 hidden_size: 隐藏层的维度 必须和h0的隐藏层的维度一致# 参数3 num_layers: 隐藏层数 必须和h0的隐藏层数一致rnntorch.nn.RNN(input_size4,hidden_size8,num_layers1)# 4.使用rnn层output,h1rnn(input,h0)# TODO 打印并查看效果print(foutput---{output},output.shape)# (1,1,8)print(fh1---{h1},h1.shape)# (1,1,8)# TODO 结论: 1个样本1个token1层的时候,h1和output一模一样LSTMlstm缓解RNN的梯度消失问题将原有的连乘换成了连加操作只要是门结构都是为了得到一个权重或者系数大致的流程是上一时刻的隐藏状态和当前时刻的输入值通过linear层进行合并合并的值经过 sigmoid激活函数生成遗忘门的门值ft然后继续向下传递分别经过一个sigmoid激活函数和tanh激活函数两个值相乘 得到输入门的门值 ctit 然后将上一时刻的细胞状态乘以ft再和ctit相加得到当前时刻的细胞状态ct 当前的ct 1.输入到下一时刻 2.经过tanh 与ht-1和xt的合并值经过sigmoid激活函数的的值相乘得出当前适合的ht然后ht一个输出一个传向下一时刻遗忘门遗忘门结构分析:与传统RNN的内部结构计算非常相似, 首先将当前时间步输入x(t)与上一个时间步隐含状态h(t-1)拼接, 得到[x(t), h(t-1)], 然后通过一个全连接层做变换, 最后通过sigmoid函数进行激活得到f(t), 我们可以将f(t)看作是门值, 好比一扇门开合的大小程度, 门值都将作用在通过该扇门的张量, 遗忘门门值将作用的上一层的细胞状态上, 代表遗忘过去的多少信息, 又因为遗忘门门值是由x(t), h(t-1)计算得来的, 因此整个公式意味着根据当前时间步输入和上一个时间步隐含状态h(t-1)来决定遗忘多少上一层的细胞状态所携带的过往信息.遗忘门内部结构过程演示:输入门输入门结构分析:我们看到输入门的计算公式有两个, 第一个就是产生输入门门值的公式, 它和遗忘门公式几乎相同, 区别只是在于它们之后要作用的目标上. 这个公式意味着输入信息有多少需要进行过滤. 输入门的第二个公式是与传统RNN的内部结构计算相同. 输入门输入的上一时刻的隐藏值与这一时刻的输入值的结合值分别经过sigmoid和tanh函数最终两个值会相乘然后相乘的结果会传入到细胞状态与前面的细胞状态进行相加细胞状态细胞状态的更新与传递细胞状态更新分析:细胞更新的结构与计算公式非常容易理解, 这里没有全连接层, 只是将以往门的值ft与上一时刻的细胞状态C(t-1)相乘然后将输入门的两个值相乘的结果与这个结果相加最后作为当前时刻的细胞状态去输出。输出门 输出门部分结构图与计算公式:输出门结构分析:输出门部分的公式也是两个, 第一个即是计算输出门的门值, 它和遗忘门输入门计算方式相同将结合的值通过sigmoid函数第二个计算是将当前时刻的细胞状态通过tanh激活函数然后将两个计算的值相乘最后获得当前时刻的的隐含状态ht进行输出输出门内部结构过程演示:LSTM优势:LSTM的门结构能够有效减缓长序列问题中可能出现的梯度消失或爆炸, 虽然并不能杜绝这种现象, 但在更长的序列问题上表现优于传统RNN.LSTM缺点:由于内部结构相对较复杂, 因此训练效率在同等算力下较传统RNN低很多.LSTM代码defdemo2():# 1.准备数据# 参数1 squence_length: 每个句子的token数# 参数2 batch_size : 批次样本数# 参数3 input_size : 每个token的维度数inputtorch.randn(3,2,4)# 2.初始化隐藏状态和细胞状态# 参数1 num_layers : 隐藏层数# 参数2 batch_size : 批次样本数 注意: 必须和Xt的batch_size一样# 参数3 hidden_size: 隐藏层神经元数h0torch.zeros(1,2,6)c0torch.zeros(1,2,6)# 3.创建LSTM模型lstm_modeltorch.nn.LSTM(input_size4,hidden_size6,num_layers1)# 4.开始干活output,(h1,c1)lstm_model(input,(h0,c0))print(foutput-{output},output.shape)print(fh1-{h1},h1.shape)print(fc1-{c1},c1.shape)什么是Bi-LSTM ?Bi-LSTM即双向LSTM, 它没有改变LSTM本身任何的内部结构, 只是将LSTM应用两次且方向不同, 再将两次得到的LSTM结果进行拼接作为最终输出.BI-LSTM代码第一个是将模型中的 bidirectional 的默认设置改为 TRUE第二个是将 num——layer 的值变为两层 输出形式为 2*原来的lstm的层数就可以了defdemo2():#BI-LSTM的代码更该只需要有两个小改动#第一个是将模型中的 bidirectional 的默认设置改为 TRUE#第二个是将 num——layer 的值变为两层 输出形式为 2*原来的lstm的层数就可以了# 1.准备数据# 参数1 squence_length: 每个句子的token数# 参数2 batch_size : 批次样本数# 参数3 input_size : 每个token的维度数inputtorch.randn(3,2,4)# 2.初始化隐藏状态和细胞状态# 参数1 num_layers : 隐藏层数# 参数2 batch_size : 批次样本数 注意: 必须和Xt的batch_size一样# 参数3 hidden_size: 隐藏层神经元数h0torch.zeros(2*2,2,6)c0torch.zeros(2*2,2,6)# 3.创建LSTM模型lstm_modeltorch.nn.LSTM(input_size4,hidden_size6,num_layers2,bidirectionalTrue)# 4.开始干活output,(h1,c1)lstm_model(input,(h0,c0))print(foutput-{output},output.shape)print(fh1-{h1},h1.shape)print(fc1-{c1},c1.shape)GRU门控网络GRUGated Recurrent Unit也称门控循环单元结构, 它也是传统RNN的变体, 同LSTM一样能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时它的结构和计算要比LSTM更简单, 它的核心结构可以分为两个部分去解析:更新门重置门、GRU内部结构图内部结构分析:和之前分析过的LSTM中的门控一样, 首先计算更新门和重置门的门值, 分别是z(t)和r(t), 计算方法就是使用X(t)与h(t-1)拼接进行线性变换, 再经过sigmoid激活. 之后重置门门值作用在了h(t-1)上, 代表控制上一时间步传来的信息有多少可以被利用. 接着就是使用这个重置后的h(t-1)进行基本的RNN计算, 即与x(t)拼接进行线性变化, 经过tanh激活, 得到新的h(t). 最后更新门的门值会作用在新的h(t)而1-门值会作用在h(t-1)上, 随后将两者的结果相加, 得到最终的隐含状态输出h(t), 这个过程意味着更新门有能力保留之前的结果, 当门值趋于1时, 输出就是新的h(t), 而当门值趋于0时, 输出就是上一时间步的h(t-1).GRU的优势:GRU和LSTM作用相同, 在捕捉长序列语义关联时, 能有效抑制梯度消失或爆炸, 效果都优于传统RNN且计算复杂度相比LSTM要小.GRU的缺点:GRU仍然不能完全解决梯度消失问题, 同时其作用RNN的变体, 有着RNN结构本身的一大弊端, 即不可并行计算, 这在数据量和模型体量逐步增大的未来, 是RNN发展的关键瓶颈.面试相关LSTM和RNN有什么区别首先RNN和LSTM都是循环神经网络但是LSTM要比RNN复杂很多RNN一般只有输入和输出但是LSTM既有输入门遗忘门细胞状态和输出门所以说LSTM的内部结构要比RNN复杂很多RNN的最大优点是他比较简单在处理短序列任务时表现的较好但是在处理长序列问题时LSTM的表现较好因为在处理长序列问题时RNN可能会出现梯度消失或者梯度爆炸的现象。因样本的序列过长根据RNN链式求导的法则性质如果每个元素的值都比较小在0到1之间那么这些值连乘之后这些值可能接近于0所以会出现梯度消失的现象基线模型优先选择简单的模型训练一边拿着它的结果作为后续模型训练参考RNN的分类主要有哪些RNN的分类主要从两个角度进行的第一个是输入和输出的结构第二个是RNN的内部构造根据输入和输出结构主要有 输入N输出N、输入N输出1、输入1输出N、输入N输出M这几类根据内部构造分类主要分为传统的RNN结构长短记忆的LSTM结构双向长短时记忆的Bi-LSTM结构门控网络GRU以及双向门控网络GRU请简述 RNN LSTM 以及GRU的区别好的面试官您好。我将从**核心思想、结构设计、优缺点和应用选择**四个方面简要对比RNN、LSTM和GRU。1. **核心思想与要解决的问题** **RNN**是基础循环网络通过隐藏状态的循环传递来**处理序列数据**。但它有**严重的梯度消失/爆炸问题**导致难以学习长距离依赖。 **LSTM**专门为解决长期依赖问题而设计。引入了**细胞状态C作为“记忆高速公路”**通过三个门输入、遗忘、输出来**精细控制信息的流动和保留**。 **GRU**可以看作是LSTM的简化版本。它将LSTM的三个门合并为**两个门更新门和重置门**并**合并了细胞状态和隐藏状态**结构更简洁。2. **结构上的核心区别****门控机制**RNN没有门控仅有一个tanh层来更新状态。LSTM三个门输入、遗忘、输出加一个细胞状态。遗忘门决定了保留多少旧记忆输入门决定添加多少新信息输出门控制当前状态的输出。GRU两个门重置门、更新门。重置门控制历史信息对当前候选状态的影响更新门同时扮演LSTM中遗忘门和输入门的角色决定新旧状态的融合比例。状态数量RNN只有隐藏状态h。LSTM有两个状态隐藏状态h和细胞状态c。GRU只有隐藏状态h但通过门的调节实现了类似细胞状态的功能。3. **优缺点对比****参数与计算效率**RNN参数最少计算最快但性能有限。LSTM参数最多约是RNN的4倍计算最慢但对长序列建模能力最强。GRU参数中等约是RNN的3倍计算效率介于两者之间是性能与效率的良好折中。记忆能力RNN短期记忆难以捕捉长距离模式。LSTM长期记忆能力最强特别适合需要记忆非常久远信息的任务如文档翻译。GRU中长期记忆在多数任务上表现与LSTM相当但在极端长序列上可能略逊一筹。4. **如何选择** **选RNN**仅用于教学理解或在**序列极短、资源极其受限**的场景中作为简单基线。 **选LSTM**当任务**对长距离依赖要求严苛且数据和算力充足**时如经典机器翻译、文档级理解。 **选GRU****绝大多数情况下的首选或起点**。它在**训练速度、参数数量和最终性能**之间取得了最佳平衡是许多NLP任务的实用选择。**总结一句话****RNN是基础但脆弱LSTM是强大但笨重GRU是高效且均衡的折中方案。**当然现在Transformer在许多序列任务上已超越它们但理解RNN家族的演进仍是掌握序列建模的基础。我的回答完毕谢谢。