企业官网建设流程全解析

flash网站规划,自己做下载类网站,陕西做天然气公司网站,买的网站模板怎么上传前言 本文介绍了上下文锚点注意力#xff08;CAA#xff09;模块及其在YOLOv8中的结合应用。遥感图像目标检测面临目标尺度变化和上下文多样的挑战#xff0c;PKINet引入CAA模块来应对。CAA模块先通过全局平均池化和11卷积提取局部特征#xff0c;再用条带卷积捕捉远程上下…前言本文介绍了上下文锚点注意力CAA模块及其在YOLOv8中的结合应用。遥感图像目标检测面临目标尺度变化和上下文多样的挑战PKINet引入CAA模块来应对。CAA模块先通过全局平均池化和1×1卷积提取局部特征再用条带卷积捕捉远程上下文信息最后用Sigmoid生成注意力权重图增强特征。该模块具有轻量化、特征增强和多尺度适应的优点。我们将CAA代码引入指定目录在ultralytics/nn/tasks.py中注册配置yolov8_CAA.yaml文件最后经实验脚本和结果验证了改进的有效性。文章目录 YOLOv8改进大全卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总专栏链接: YOLOv8改进专栏文章目录前言介绍摘要文章链接基本原理1. **模块结构与操作**2. **模块优点**3. **多尺度适应**引入代码注册步骤1:步骤2配置yolov8_CAA.yaml实验脚本结果介绍摘要遥感图像RSI中的目标检测经常面临一些日益增加的挑战包括目标尺度的大幅变化和上下文的多样性。以往的方法尝试通过扩展主干网络的空间感受野来应对这些挑战通常采用大核卷积或膨胀卷积。然而前者通常会引入大量的背景噪声而后者则有可能生成过于稀疏的特征表示。在本文中我们引入了多核嵌入网络PKINet来处理上述挑战。PKINet 采用了多尺度卷积核不含膨胀来提取不同尺度的目标特征并捕捉局部上下文信息。此外还并行引入了上下文锚点注意力CAA模块以捕捉长距离的上下文信息。这两个组件共同作用提升了PKINet在四个具有挑战性的遥感检测基准即DOTA-v1.0、DOTA-v1.5、HRSC2016和DIOR-R上的性能。文章链接论文地址论文地址代码地址代码地址基本原理上下文锚点注意力模块Context Anchor Attention, CAA是PKINet中一个关键的模块设计用于捕捉远程上下文信息并在特征提取过程中增强中心特征的表达能力。CAA模块的引入旨在解决遥感图像中目标检测时远程上下文信息不足的问题特别是在处理尺度变化大或长形目标时表现突出。1.模块结构与操作局部特征提取首先CAA模块通过全局平均池化操作获取局部区域特征。接下来这些特征通过一个1×1的卷积层以减少维度和计算量。条带卷积为了有效捕捉远程上下文信息CAA模块采用了两个深度可分离条带卷积strip convolutions分别在水平方向和垂直方向上进行。这种设计被用来模拟一个大核卷积的效果能够在保持轻量化的同时显著扩大感受野。注意力机制通过卷积后的特征进行Sigmoid操作生成一个注意力权重图attention map。这个注意力权重图与PKI模块输出的特征图进行逐元素相乘从而实现特征的增强。2.模块优点轻量化与标准的大核卷积相比条带卷积的设计大大减少了计算成本同时保持了感受野的扩大效果。这种设计特别适合处理细长目标例如桥梁等。特征增强CAA模块通过对特征图的增强使得模型在目标检测时能够更加准确地捕捉目标的上下文信息特别是在处理需要广泛上下文信息的小目标时CAA模块展现出了优越的表现。3.多尺度适应CAA模块在PKINet的不同阶段使用时卷积核的大小会随着网络的深度增加而调整。这种设计能够确保在处理不同尺度的目标时CAA模块能够动态地适应并捕捉所需的上下文信息。引入代码在根目录下的ultralytics/nn/目录新建一个attention目录然后新建一个以CAA为文件名的py文件 把代码拷贝进去。importtorchimporttorch.nnasnnfrommmcv.cnnimportConvModulefrommmengine.modelimportBaseModulefromtypingimportOptional,Union,Sequencedefautopad(k,pNone,d1):# kernel, padding, dilationPad to same shape outputs.ifd1:kd*(k-1)1ifisinstance(k,int)else[d*(x-1)1forxink]# actual kernel-sizeifpisNone:pk//2ifisinstance(k,int)else[x//2forxink]# auto-padreturnpclassConv(nn.Module):Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation).default_actnn.SiLU()# default activationdef__init__(self,c1,c2,k1,s1,pNone,g1,d1,actTrue):Initialize Conv layer with given arguments including activation.super().__init__()self.convnn.Conv2d(c1,c2,k,s,autopad(k,p,d),groupsg,dilationd,biasFalse)self.bnnn.BatchNorm2d(c2)self.actself.default_actifactisTrueelseactifisinstance(act,nn.Module)elsenn.Identity()defforward(self,x):Apply convolution, batch normalization and activation to input tensor.returnself.act(self.bn(self.conv(x)))defforward_fuse(self,x):Perform transposed convolution of 2D data.returnself.act(self.conv(x))classCAA(BaseModule):Context Anchor Attentiondef__init__(self,channels:int,h_kernel_size:int11,v_kernel_size:int11,norm_cfg:Optional[dict]dict(typeBN,momentum0.03,eps0.001),act_cfg:Optional[dict]dict(typeSiLU),init_cfg:Optional[dict]None,):super().__init__(init_cfg)self.avg_poolnn.AvgPool2d(7,1,3)self.conv1ConvModule(channels,channels,1,1,0,norm_cfgnorm_cfg,act_cfgact_cfg)self.h_convConvModule(channels,channels,(1,h_kernel_size),1,(0,h_kernel_size//2),groupschannels,norm_cfgNone,act_cfgNone)self.v_convConvModule(channels,channels,(v_kernel_size,1),1,(v_kernel_size//2,0),groupschannels,norm_cfgNone,act_cfgNone)self.conv2ConvModule(channels,channels,1,1,0,norm_cfgnorm_cfg,act_cfgact_cfg)self.actnn.Sigmoid()defforward(self,x):attn_factorself.act(self.conv2(self.v_conv(self.h_conv(self.conv1(self.avg_pool(x))))))returnattn_factorclassBottleneck(nn.Module):Standard bottleneck.def__init__(self,c1,c2,shortcutTrue,g1,k(3,3),e0.5):Initializes a bottleneck module with given input/output channels, shortcut option, group, kernels, and expansion. super().__init__()c_int(c2*e)# hidden channelsself.cv1Conv(c1,c_,k[0],1)self.cv2Conv(c_,c2,k[1],1,gg)self.CAACAA(c_)self.addshortcutandc1c2defforward(self,x):forward() applies the YOLO FPN to input data.returnxself.cv2(self.cv1(x))ifself.addelseself.CAA(self.cv2(self.cv1(x)))classC2f_CAA(nn.Module):Faster Implementation of CSP Bottleneck with 2 convolutions.def__init__(self,c1,c2,n1,shortcutFalse,g1,e0.5):Initialize CSP bottleneck layer with two convolutions with arguments ch_in, ch_out, number, shortcut, groups, expansion. super().__init__()self.cint(c2*e)# hidden channelsself.cv1Conv(c1,2*self.c,1,1)self.cv2Conv((2n)*self.c,c2,1)# optional actFReLU(c2)self.mnn.ModuleList(Bottleneck(self.c,self.c,shortcut,g,k((3,3),(3,3)),e1.0)for_inrange(n))defforward(self,x):Forward pass through C2f layer.ylist(self.cv1(x).chunk(2,1))y.extend(m(y[-1])forminself.m)returnself.cv2(torch.cat(y,1))defforward_split(self,x):Forward pass using split() instead of chunk().ylist(self.cv1(x).split((self.c,self.c),1))y.extend(m(y[-1])forminself.m)returnself.cv2(torch.cat(y,1))注册在ultralytics/nn/tasks.py中进行如下操作步骤1:fromultralytics.nn.attention.CAAimportC2f_CAA步骤2修改def parse_model(d, ch, verboseTrue):C2f_CAA配置yolov8_CAA.yamlultralytics/ultralytics/cfg/models/v8/yolov8_CAA.yaml# Ultralytics YOLO , AGPL-3.0 license# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parametersnc:80# number of classesscales:# model compound scaling constants, i.e. modelyolov8n.yaml will call yolov8.yaml with scale n# [depth, width, max_channels]n:[0.33,0.25,1024]# YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPss:[0.33,0.50,1024]# YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPsm:[0.67,0.75,768]# YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPsl:[1.00,1.00,512]# YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx:[1.00,1.25,512]# YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbonebackbone:# [from, repeats, module, args]-[-1,1,Conv,[64,3,2]]# 0-P1/2-[-1,1,Conv,[128,3,2]]# 1-P2/4-[-1,3,C2f_CAA,[128,True]]-[-1,1,Conv,[256,3,2]]# 3-P3/8-[-1,6,C2f_CAA,[256,True]]-[-1,1,Conv,[512,3,2]]# 5-P4/16-[-1,6,C2f_CAA,[512,True]]-[-1,1,Conv,[1024,3,2]]# 7-P5/32-[-1,3,C2f_CAA,[1024,True]]-[-1,1,SPPF,[1024,5]]# 9# YOLOv8.0n headhead:-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,6],1,Concat,[1]]# cat backbone P4-[-1,3,C2f,[512]]# 12-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,4],1,Concat,[1]]# cat backbone P3-[-1,3,C2f,[256]]# 15 (P3/8-small)-[-1,1,Conv,[256,3,2]]-[[-1,12],1,Concat,[1]]# cat head P4-[-1,3,C2f,[512]]# 18 (P4/16-medium)-[-1,1,Conv,[512,3,2]]-[[-1,9],1,Concat,[1]]# cat head P5-[-1,3,C2f,[1024]]# 21 (P5/32-large)-[[15,18,21],1,Detect,[nc]]# Detect(P3, P4, P5)实验脚本# Ultralytics YOLO , AGPL-3.0 license# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parametersnc:80# number of classesscales:# model compound scaling constants, i.e. modelyolov8n.yaml will call yolov8.yaml with scale n# [depth, width, max_channels]n:[0.33,0.25,1024]# YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPss:[0.33,0.50,1024]# YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPsm:[0.67,0.75,768]# YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPsl:[1.00,1.00,512]# YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx:[1.00,1.25,512]# YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbonebackbone:# [from, repeats, module, args]-[-1,1,Conv,[64,3,2]]# 0-P1/2-[-1,1,Conv,[128,3,2]]# 1-P2/4-[-1,3,C2f_CAA,[128,True]]-[-1,1,Conv,[256,3,2]]# 3-P3/8-[-1,6,C2f_CAA,[256,True]]-[-1,1,Conv,[512,3,2]]# 5-P4/16-[-1,6,C2f_CAA,[512,True]]-[-1,1,Conv,[1024,3,2]]# 7-P5/32-[-1,3,C2f_CAA,[1024,True]]-[-1,1,SPPF,[1024,5]]# 9# YOLOv8.0n headhead:-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,6],1,Concat,[1]]# cat backbone P4-[-1,3,C2f,[512]]# 12-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,4],1,Concat,[1]]# cat backbone P3-[-1,3,C2f,[256]]# 15 (P3/8-small)-[-1,1,Conv,[256,3,2]]-[[-1,12],1,Concat,[1]]# cat head P4-[-1,3,C2f,[512]]# 18 (P4/16-medium)-[-1,1,Conv,[512,3,2]]-[[-1,9],1,Concat,[1]]# cat head P5-[-1,3,C2f,[1024]]# 21 (P5/32-large)-[[15,18,21],1,Detect,[nc]]# Detect(P3, P4, P5)结果