企业官网建设流程全解析

365做网站,保山网站建设多少钱,购物网站开发背景需求,媚娘直播总结区分自监督#xff08;Self-Supervised Learning#xff09;没有人工标注#xff0c;标签是从数据自己构造出来的半监督#xff08;Semi-Supervised Learning#xff09;一小部分有人工标注 大量无标注数据一、自监督是什么#xff1f;核心思想用数据本身来“出题考…总结区分自监督Self-Supervised Learning没有人工标注标签是从数据自己构造出来的半监督Semi-Supervised Learning一小部分有人工标注 大量无标注数据一、自监督是什么核心思想用数据本身来“出题考自己”不找人打标签而是从原始数据里人为制造一个任务这个任务的“正确答案”可以自动得到模型通过做这些“自问自答”的任务学到有用表示。典型例子1.NLP文本任务预测被遮住的词我今天去___吃饭→ 正确答案食堂BERT、GPT 的预训练都是自监督2.图像遮住一块图像让模型补全把图像打乱顺序让模型还原3.对比学习现在很火同一张图片的不同增强 → 应该“相似”不同图片 → 应该“不同”SimCLR、MoCo 都是自监督二、半监督是什么核心思想用少量标注数据带着大量无标注数据一起学现实中标注很贵无标注数据很多那就先用少量标注数据“指路”再把无标注数据也利用起来典型例子图像分类100 张图片有标签猫 / 狗10 万张图片没标签方法先用有标签数据训练模型给无标签数据“猜标签”把猜得很准的也当作训练数据伪标签常见方法Pseudo Label伪标签Consistency Regularization一致性约束FixMatch / Mean Teacher特点总结用到了人工标注提升标注效率依赖初始标签质量任务通常是明确的下游任务三、自监督 vs 半监督对照表维度自监督半监督是否需要人工标签不需要少量标签来源数据自己构造人工 模型预测主要用途预训练 / 表征学习具体任务训练常见位置训练前训练中代表模型BERT、SimCLRFixMatch