企业官网建设流程全解析

曲靖网站制作一条龙,在线crm免费,网页版微信二维码几分钟失效,建设个人网站的心得体会构筑 AI 理论体系#xff1a;深度学习 100 篇论文解读 第二十篇增一#xff1a;全局信息的统筹者——GloVe (2014) I. 论文背景#xff1a;预测派 vs. 统计派 #x1f4a1; 在 2014 年左右#xff0c;词向量建模分为两大阵营#xff1a; 矩阵分解派#xff08;统计派深度学习 100 篇论文解读第二十篇增一全局信息的统筹者——GloVe (2014)I. 论文背景预测派 vs. 统计派 在 2014 年左右词向量建模分为两大阵营矩阵分解派统计派利用整个语料库的词共现频率如 LSA。优点是利用了全局统计信息但对词与词之间的语义类比如“国王-男人女王-女人”效果较差。浅层窗口派预测派典型代表是 Word2Vec。优点是语义类比能力极强但它每次只看滑动窗口里的那几个邻居词完全忽略了语料库的全局分布规律。Jeffrey Pennington及其团队提出的GloVeGlobal Vectors for Word Representation目标就是我全都要。核心作者介绍作者国籍机构核心贡献Jeffrey Pennington美国Stanford University论文第一作者推导了共现概率比值与向量空间的关系。Christopher Manning美国Stanford UniversityNLP 领域泰斗将统计语言学与深度学习结合的领军人物。信息项详情论文题目GloVe: Global Vectors for Word Representation发表年份2014 年出版刊物EMNLP核心命题词向量的学习不应只靠局部窗口预测而应该去拟合语料库中单词共现概率的比值Ratio。II. 核心机制共现矩阵与对数拟合 ⚙️1. 全局共现矩阵 (X)GloVe 的训练第一步不是读句子而是数数。它会扫描全库建立一张大表。X_{ij} 表示单词 i 和单词 j 在整个语料库中共同出现的总次数。2. 核心数学发现共现概率的比值GloVe 的天才之处在于发现真正蕴含语义的不是概率本身而是概率的比值。假设我们要区分“冰ice”和“蒸汽steam”。找一个词“固体solid”它与“冰”共现概率高与“蒸汽”低。比值 P(solid|ice) / P(solid|steam) 会非常大。找一个词“气体gas”这个比值会非常小。找一个无关词“水water”它们都相关比值接近1。3. 损失函数 (Loss Function)GloVe 要求词向量 w_i 和 w_j 的点积要能预测它们共现概率的对数差符号详细解释w_i^T \tilde{w}_j: 两个单词向量的点积代表它们的相似度。b_i, \tilde{b}_j: 两个词的偏置项。\log X_{ij}: 它们全局共现次数的对数值。f(X_{ij}):权重函数。这是一个“公平秤”如果两个词共现次数太多如“the”和“a”它会通过一个上限函数削弱其权重避免大词主导模型。III. 隐藏状态与维度的再次明确 是否有隐藏状态没有。GloVe 是一个非循环、非时序的模型。它不需要像 RNN 那样逐词处理。维度是多少它是超参数通常设为 50, 100, 200 或 300 维。维度代表了什么与 Word2Vec 一样每个维度可以看作一个潜在的“特征槽位”。比如第 5 维可能捕捉到了“词性动词 vs 名词”第 12 维捕捉到了“情感正负”。数量如何确定GloVe 的参数数量由词表大小 (V)决定。如果你有 40 万个词维度是 300模型就是一张 400,000 \times 300 的静态查找表。IV. 历史意义词向量的黄金时代 全局观解决了 Word2Vec 无法利用全局统计数据的问题训练出来的向量在数学逻辑上更严密。训练效率虽然构建共现矩阵需要开销但在大型语料库上GloVe 的训练往往比 Skip-gram 更快且更稳定。标准组件GloVe 发布的预训练模型如 GloVe-6B, 840B在之后数年内成为了所有 NLP 任务的标配“零件”。V. 零基础理解GloVe 到底干了啥 他们做了什么如果说 Word2Vec 像一个“猜词游戏”那么 GloVe 就更像一个“大数据分析师”。它觉得没必要一个句子一个句子去猜直接把整个书库的统计报表拿出来分析更高效。怎么做的统计全库先数出所有词语组合出现的频率做成一张超大的账单。分析比例发现“国王”和“男人”出现的规律与“女王”和“女人”出现的规律惊人一致。空间定位根据这些概率比例在 300 维的空间里给每个词定好坐标。让经常一起出现的词靠得近让比例相似的词保持同样的间距。结果机器不仅懂得了“猫”和“狗”相似还通过全局数据准确把握了人类语言中微妙的逻辑类比。下一篇预告无论是 Word2Vec 还是 GloVe它们都还是“静态词向量”。不管语境如何“苹果”的坐标永远不动。下一篇第二十一篇我们将进入ELMo (2018)的领域看它是如何利用双向 LSTM让这些固定的坐标根据句子“动”起来的。准备好迎接动态词向量的革命了吗