企业官网建设流程全解析

深圳住房建设局网站,企业网站制作教程视频,重庆城乡建设网站首页,运输 织梦网站模板周志华《机器学习—西瓜书》六 六、神经网络模型 6-1、神经网络 什么是神经网络? 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络#xff0c;它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应! IT.Kohonen,1988#xff0c;Neural Networks 创…周志华《机器学习—西瓜书》六六、神经网络模型6-1、神经网络什么是神经网络?神经网络是由具有适应性的简单单元组成的广泛并行互连的网络它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应! IT.Kohonen,1988Neural Networks 创刊号神经网络是一个很大的学科领域本课程仅讨论神经网络与机器学习的交集即“神经网络学习”亦称“连接主义(connectionism)”学习“简单单元”神经元模型M-P 神经元模型 [McCulloch and Pitts1943]注意圆圈的里面的弧线是输入加权结果大于阈值的意思神经网络学得的知识蕴含在连接权与阈值中神经元激活函数理想激活函数是阶跃函数0表示抑制神经元而1表示激活神经元阶阶跃函数具有不连续、不光滑等不好的性质常用的是 Siamoid函数Sigmoid函数即S型函数sigmoid(x)11e−x\text{sigmoid}(x) \frac{1}{1e^{-x}}sigmoid(x)1e−x1​) 的核心优势是连续光滑、可导这是它替代阶跃函数的关键具体好性质包括连续且光滑阶跃函数是不连续的在 ( x0 ) 处突变而Sigmoid在全体实数域上连续、处处可导这满足了神经网络梯度下降优化的需求梯度需要连续的函数来计算。值域在(0,1)之间输出结果可以自然地被解释为“概率”比如在二分类任务中输出接近1表示正类接近0表示负类符合分类任务的概率语义。导数易计算其导数可以用自身表示sigmoid′(x)sigmoid(x)⋅(1−sigmoid(x))\text{sigmoid}(x) \text{sigmoid}(x) \cdot (1 - \text{sigmoid}(x))sigmoid′(x)sigmoid(x)⋅(1−sigmoid(x))计算效率高适合神经网络的反向传播。单调性函数单调递增能保持输入信号的“强弱”趋势输入越大输出越接近1输入越小输出越接近0。6-2、万有逼近能力多层前馈网络结构核心定义多层网络包含隐层的网络。前馈网络神经元之间不存在同层连接也不存在跨层连接信号仅从输入层→隐层→输出层单向传递。功能单元隐层和输出层的神经元又被称为“功能单元”。结构图示关键性质万有逼近性多层前馈网络有强大的表示能力 (“万有逼近性”)仅需一个包含足够多神经元的隐层多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数来源[Hornik et al., 1989]。待解决问题隐层神经元的数量设置是未决问题Open Problem实际应用中常用“试错法”调整。6-3、缓解过拟合核心策略包括两种1. 早停early stopping核心逻辑通过监控训练过程提前终止训练以避免模型过度拟合训练数据。常见触发条件训练误差连续aaa轮的变化小于阈值bbb结合验证集当训练误差持续降低但验证误差开始升高时说明模型已开始拟合训练集噪声停止训练。2. 正则化regularization核心逻辑在模型的误差目标函数中加入“网络复杂度惩罚项”限制模型的复杂度避免过拟合。示例公式Eλ1n∑k1nEk(1−λ)∑iwi2E \lambda \frac{1}{n}\sum_{k1}^{n} E_k (1-\lambda) \sum_{i} w_i^2Eλn1​∑k1n​Ek​(1−λ)∑i​wi2​其中1n∑k1nEk\frac{1}{n}\sum_{k1}^{n} E_kn1​∑k1n​Ek​是训练误差项∑iwi2\sum_{i} w_i^2∑i​wi2​是网络复杂度惩罚项通常是连接权值的平方和λ\lambdaλ是平衡两项的权重系数。(1−λ)∑iwi2(1-\lambda) \sum_{i} w_i^2(1−λ)∑i​wi2​偏好较小的连接权和阈值使网络输出更“光滑”降低对训练数据噪声的敏感性。‍6-4、神经网络简史神经网络发展回顾萌芽期1940年代1943年M-P模型模拟神经元的数学模型1945年Hebb学习规则神经元连接强度的更新规则繁荣期1956-1969年左右1958年感知机首个可训练的神经网络模型1960年Adaline自适应线性神经元冰河期1969年后1969年Minsky Papert出版《Perceptrons》指出感知机仅能解决线性可分问题限制了其应用导致神经网络研究遇冷。再繁荣期1984-1997年左右1983年Hopfield网络递归神经网络1986年BP算法反向传播解决多层网络训练问题沉寂期1997年后SVM等统计学习方法兴起神经网络研究热度下降。当前繁荣期2012年至今深度学习兴起成为主流研究方向。补充发展呈现“热十三-冷十五-热十三”的交替模式技术瓶颈与新方法突破是阶段转换的核心原因。例如CNN卷积神经网络理论基础信号处理中的卷积1903年已出现1962年Hubel Wiesel发现猫视皮层的局部感受野机制为CNN的卷积层提供生物学启发技术雏形1982年福岛邦彦在神经网络中引入卷积操作1989年Y. LeCun用BP算法训练卷积网络CNN基本成型1995年LeCun与Bengio完整描述CNN结构1998年CNN用于支票手写字符识别首次实用化深度学习热潮的触发2006年Hinton提出无监督逐层训练解决深层模型训练难题2009年H. Lee等用无监督逐层训练优化CNN2012年Hinton研究组的8层CNN在ImageNet竞赛中获胜引发深度学习广泛应用。总结坚持