企业官网建设流程全解析

如何做静态页网站,物联网就业方向,商标注册申请要多少钱,网页设计与制作视频在当今许多工业和在线应用中#xff0c;实时识别数据流中的异常#xff08;罕见、意外事件#xff09;至关重要。异常可能指示制造缺陷、系统故障、安全漏洞或其他重大事件。 典型的基于机器学习的异常检测系统以监督方式训练#xff0c;使用标记示例。但在许多在线环境中实时识别数据流中的异常罕见、意外事件至关重要。异常可能指示制造缺陷、系统故障、安全漏洞或其他重大事件。典型的基于机器学习的异常检测系统以监督方式训练使用标记示例。但在许多在线环境中数据极其多样且其分布不断变化导致收集和标记数据的成本过高。此外没有单一的异常检测模型在所有数据类型上都表现最佳。在实际观察中某些模型对一类客户很有效而不同模型则对另一类客户很有效。但对于给定的客户预先确定应部署哪个模型并不容易因为客户的工作负载时常变化因此性能最佳的异常检测模型也随之变化。在即将于2025年国际机器学习会议ICML上发表的一篇论文中我们尝试用一种称为SEAD流式异常检测器集成的方法来解决这些问题。SEAD使用一组异常检测模型的集成因此它始终能为每种数据类型采用最佳模型并且它以无监督方式运行在训练期间不需要标记的异常数据。它能高效地在在线环境中工作处理流入的数据流并动态适应数据的变化。为了评估SEAD将其与三个先前的异常检测模型每个模型有四种超参数设置和一个基于规则的方法进行了比较共计13个基线模型。在15个不同的任务中SEAD的平均排名最高5.07方差最低6.64。奖励克制SEAD背后的基本见解是异常是罕见的。因此SEAD为集成中那些持续产生较低异常分数的模型或称“基础检测器”分配更高的权重。由于不同的基础检测器使用不同的评分系统SEAD根据历史分数的分布将分数分配至不同的分位数从而实现分数的标准化。为了计算权重使用了乘法权重更新机制这是专家系统中的标准方法。使用此方法时每个基础检测器以一个起始权重初始化。在每一轮结束时每个基础检测器的新权重是其旧权重乘以学习率与该轮输出标准化异常分数乘积的负指数。所有基础检测器以这种方式更新后它们的权重被归一化使其总和为1。通过这个过程持续输出较大分数的检测器将开始获得较低的权重。这项工作的技术洞察是将最初为监督环境提出的经典乘法权重更新思想应用到异常检测的无监督环境中。在模型评估期间可以观察到算法根据输入数据为基础检测器重新分配权重。在一个数据集上SEAD为两个不同的模型分配了高权重这两个模型在涉及真实异常数据的测试阶段都持续识别出了异常。然而在该阶段之后在干净数据上其中一个模型持续发出警报SEAD迅速降低了它的权重。为了进一步研究SEAD适当加权模型的能力在集成中的13个模型基础上增加了13个额外算法这些算法只是随机生成分数。在测试集上SEAD的准确率仅下降了0.88%这表明更新算法在快速剔除不可靠模型方面做得很好。计算效率像SEAD这样的集成方法的一个缺点是同时运行多个模型会产生计算开销。为了解决这个问题尝试了一种名为SEAD的方法它根据权重比例随机采样集成模型的子集。这相对于原始SEAD实现了大约两倍的速度提升且精度损失极小。因此在计算资源有限的使用场景中SEAD是一个有前景的替代方案。SEAD代表了流式数据异常检测领域的重大进步。通过实时从候选池中智能选择性能最佳的模型它确保了可靠且高效的异常检测。其无监督、在线的特性加上其适应性使其成为适用于广泛应用的宝贵工具为流式环境中的异常检测设立了新标准。更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享