企业官网建设流程全解析

网站开发+兼职挣钱吗,承德企业网站建设,网站seo是干什么的,网站开发Z亿玛酷1订制梯度提升决策树是一种常用于大规模在线搜索应用的机器学习模型#xff0c;因为它兼具高精度和高效率。然而#xff0c;要保持这种效率#xff0c;通常意味着需要限制决策树模型在做决策时考虑的数据特征数量。如果决策树模型的训练数据有数千个可能的特征#xff0c;而最终…梯度提升决策树是一种常用于大规模在线搜索应用的机器学习模型因为它兼具高精度和高效率。然而要保持这种效率通常意味着需要限制决策树模型在做决策时考虑的数据特征数量。如果决策树模型的训练数据有数千个可能的特征而最终模型只会用到其中一小部分例如一两百个那么大部分评估特征的工作将是徒劳的导致训练效率低下。在提交给国际人工智能与统计会议的一篇论文中我们提出了一种新的梯度提升决策树训练方法。在总特征集远大于必要特征集的情况下该方法比最高效的现有方法一种称为梯度提升特征选择的技术要高效得多。在测试中我们使用了三个流行的基准数据集将我们的方法与另外三种梯度提升决策树的实现进行了比较。相对于最高效的前代方法我们的方法将训练时间减少了50% 到 99%同时保持了结果模型的准确性。我们还发现我们的方法特别适合多任务训练即同时训练机器学习模型执行多项任务。在实验中当系统被同时训练来执行三项任务时它在每项任务上的表现都比单独训练一项任务时更好。与使用梯度提升决策树进行多任务训练的标准方法相比我们的方法在所有三项任务上都提高了性能。决策树是一种二叉树类似于流程图呈现一系列二元决策。每个决策点树都会分成两个分支。最终树上的每条路径都会到达一个称为叶子的终点。每个叶子都有一个相关联的数字代表其对某个分类任务的投票结果。一个使用梯度提升决策树的模型由多棵可能数百棵树组成。在训练期间模型按顺序构建树。每棵新树的设计都旨在最小化前面所有树的残差这就是梯度提升。模型的整体输出是所有树输出的聚合。在每棵树的每个新决策点模型必须选择一个能最小化整体模型错误率的标准。这意味着需要评估训练数据的每一个可能特征。如果数据有1000个特征但只有100个最终会被证明是有用的决策标准那么大部分工作就被浪费了。集体行动我们通过改造常见的二分搜索算法来解决这个问题。在训练之前我们对每个特征的值进行归一化使它们都落在0到1的范围内。然后我们随机将特征分成两组创建两个伪特征其值就是各个特征归一化值的总和。我们重复这个过程几次生成几对将特征集均匀划分的伪特征。在训练期间在每个决策点我们使用一对伪特征来评估树以普通方式为每个伪特征选择一个分裂点。然后我们取预测效果更好的那个伪特征将其随机分成两个新的伪特征并再次测试分裂点。我们重复这个过程直到收敛到单个特征作为该决策点的标准。我们评估的伪特征数量等于特征数量的对数而不是评估每一个特征。这种方法只是一种近似但在论文中我们给出了理论分析表明只要有足够的训练数据该近似仍应能收敛到一组最优的决策树。我们也对这种方法进行了实证测试使用了三个标准的机器学习研究基准数据集一个手写数字数据集目标是识别数字一个航班信息数据集目标是预测延误以及一个图像识别任务。我们将我们系统的性能与另外三种梯度提升决策树的标准实现进行了比较。在所有情况下我们系统的性能与表现最佳的基线模型相比相差不到一个百分点或领先或落后但其训练时间却短得多。训练时间的差异取决于系统设定的目标准确率但对于航班数据集训练时间的加速持续在2倍左右对于手写数字识别任务持续在10倍左右对于图像识别任务持续在100倍左右。研究领域机器学习搜索与信息检索标签人工智能 (AI)梯度提升决策树会议AISTATS 2020相关出版物可扩展的多任务梯度提升树特征选择更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享