东莞专业网站设计建站公司企业综合信息服务平台

东莞专业网站设计建站公司,企业综合信息服务平台,杭州网站建设的企业,企业管理信息系统的功能摘要 本文研究并开发了在大规模航拍图像中检测小目标的方法。当前航拍图像中的小目标检测方法通常涉及图像裁剪和检测器网络架构的修改。滑动窗口裁剪以及包括更高分辨率特征图和注意力机制在内的架构增强技术是常用的方法。鉴于航拍图像在各种关键和工业应用中的重要性日益增长…摘要本文研究并开发了在大规模航拍图像中检测小目标的方法。当前航拍图像中的小目标检测方法通常涉及图像裁剪和检测器网络架构的修改。滑动窗口裁剪以及包括更高分辨率特征图和注意力机制在内的架构增强技术是常用的方法。鉴于航拍图像在各种关键和工业应用中的重要性日益增长构建鲁棒的小目标检测框架变得势在必行。为满足这一需求我们采用基础的SW-YOLO方法通过优化滑动窗口的裁剪尺寸和重叠率来提升小目标检测的速度和精度并随后通过架构修改对其进行增强。我们提出了一种新颖模型通过修改基础模型架构来实现包括在颈部引入用于特征图增强的高级特征提取模块在骨干网络中集成CBAM以保留空间和通道信息并引入一个新的检测头以提高小目标检测精度。最后我们将我们的方法与处理大规模图像最强大的框架之一SAHI以及同样基于图像裁剪的CZDet进行了比较在精度上取得了显著提升。所提模型在VisDrone2019数据集上取得了显著的精度提升大幅超越了基线YOLOv5L检测器。具体而言最终提出的模型将VisDrone2019数据集上的mAP.5:.95精度从YOLOv5L检测器达到的基础精度35.5提升至61.2。值得注意的是同样应用于该数据集的另一种经典方法CZDet的精度为58.36。本研究展示了显著的改进实现了精度从35.5到61.2的提升。关键词小目标航拍图像滑动窗口InvolutionCBAM。1 引言目标检测在人工智能研究特别是在机器视觉领域扮演着至关重要的角色。在此背景下目标检测的主要目标是识别并绘制边界框——一个能够包围物体所有部分同时最小化包含无关背景元素的最佳矩形。这项任务必须在给定场景中所有物体上完成。多年来该领域取得了显著进展这得益于数据的快速增长、计算能力的提高以及更复杂AI算法的发展。目标检测在工业自动化、医学成像、军事监控和安全系统等多个领域具有广泛应用。显著的用途包括身份识别、辅助视觉障碍者进行物体识别以及实现自动驾驶车辆。尽管最新的YOLO版本和基于Transformer的检测器等最新算法取得了令人印象深刻的结果但它们在航拍图像中的性能仍然不理想无论是在效率还是精度方面。航拍图像带来了一些独特的挑战主要是由于大图像中物体的非均匀分布和小尺寸。这些挑战影响着目标检测算法的训练和推理阶段。具体来说在大规模航拍图像中检测小目标因图像缩放过程而变得复杂这是将图像输入目标检测网络的必要步骤。缩放通常会导致图像尺寸显著减小从而降低了小目标的表观尺寸。因此特征图的有效性降低对检测精度产生负面影响。此外航拍图像还呈现出额外的复杂性如密集且重叠度高的小目标、图像内物体尺度多样以及样本不平衡等。这些复杂性进一步加剧了在航拍图像中有效检测物体所面临的挑战。图 1. 航拍图像挑战示例(a) 密集且重叠度高的小目标和 (b) 数据集中物体尺度的广泛范围。根据[1]提供的更传统定义尺寸小于32×3232\times3232×32像素的物体被归类为小目标而不考虑输入图像的大小。基于上述考虑本研究所进行的活动总结如下评估SAHI[2]参数并针对所研究的数据集进行优化以提升性能。在分析各参数结果后确定了本研究中所用数据集的最佳设置。评估了CZDet[3]方法作为基线方法并检验了在训练和推理阶段应用超分辨率技术的影响。最后分析了SW-YOLO[4]基础模型并对其头部、颈部和骨干组件进行了改进。这些增强措施提高了本研究中提出的基础模型和最终模型的精度。本文首先对现有工作进行全面回顾总结了本研究中识别出的挑战——小目标检测和大规模图像分析的现有方法。随后讨论转向SAHI参数优化并进行了深入分析。还分析了改进CZDet框架的努力。详细、逐步地说明了应用于SW_YOLO的增强措施。最后报告并比较了所检查方法的精度和速度展示了应用于VisDrone数据集的创新成果。2 相关工作基于进行的调查针对本研究两个主要挑战——小目标尺寸和大图像尺度——的解决方案可分类如下。虽然本研究最初分别考察了每个挑战的解决方案但最终提出的框架和方法灵感来源于整合两个挑战的解决方案。图表 1. 航拍图像中小目标检测领域现有通用方法回顾。2.1 小目标检测小目标检测的解决方案可分为三大类网络架构、预处理和后处理方法以及边界框优化技术。本节回顾了在这些领域进行的研究以评估它们在应对小目标检测挑战方面的有效性。网络架构。多尺度目标检测方法主要分为四类图像金字塔、预测金字塔、集成特征和特征金字塔[5]。图像金字塔使用不同尺度的图像作为网络输入进行目标检测和识别。预测金字塔涉及利用不同尺度的特征图进行预测。集成特征基于融合多个尺度的特征图得到的单一特征图进行预测。特征金字塔融合了预测金字塔和集成特征的方法提取多维度、多尺寸的信息进行预测任务。图 2. 多尺度特征学习的四种范式。左上图像金字塔右上预测金字塔左下集成特征右下特征金字塔。最早的多尺度检测改进之一是YOLOv3[6]引入的它采用了预测金字塔来增强跨尺度的检测。TridentNet[7]通过采用多分支检测方法进一步推进了这一概念结合了图像金字塔和特征金字塔。TridentNet不依赖多个输入图像而是利用并行分支生成不同尺度的特征图提高了检测性能。几项研究探索了修改网络架构以增强小目标检测。在[8]中引入了一种新颖的检测头来生成更高分辨率的特征图以及在骨干网络末端集成了一个注意力机制。这种方法在保留关键空间信息的同时减少了计算开销。此外还提出了一种新的损失函数以提高检测精度。类似地在[9]中探索了对YOLO架构的修改将传统的四个检测头替换为基于Transformer的检测头Transformer Prediction HeadTPH。这种自注意力机制优化了预测精度同时采用了卷积块注意力模块CBAM来强调密集场景中的关键区域。该研究还利用了数据增强、多尺度评估和模型集成来进一步提高检测性能。TPH-YOLOv5架构如下图所示增强了VisDrone2021数据集的微小目标检测。图 3. TPH-YOLOv5 架构[10]。尽管额外检测头有优势但其计算和内存开销仍然是一个挑战。为解决此问题TPH-YOLOv5 [11]引入了CATrans模块作为多个检测头的替代方案在保持计算效率的同时保留了高层特征信息。类似地在HIC-YOLO框架[8]中提出了重新设计的检测头与骨干网络中的CBAM模块相结合以增强小目标检测精度。另一项研究[12]通过对YOLOv5s进行结构修改用BiFPN[13]替换颈部中的PANet[13]并提出了一种针对小目标检测的新损失函数。此外在[14]中通过将瓶颈块集成到骨干网络中来提高检测精度使其能够更好地从浅层提取特征。该研究还引入了重新设计的检测头以及其他架构优化以进一步增强小目标检测。这些方法共同突显了目标检测领域的持续进步特别是在通过架构修改、注意力机制和优化策略改进小目标识别方面。特征融合与增强。改进小目标检测特征提取的关键进展之一是使用特征融合网络如FPN[15]。FPN提高了特征图的质量并被用作许多检测架构中的颈部组件。FPN的增强版本如PAFPN[13]、NasFPN[16]和ImFPN[17]专注于进一步改进特征融合。在[18]中引入了一种新颖的高分辨率HR块用于有效特征融合。在该块中每层应用具有不同核大小的卷积操作生成融合了强语义信息和不同尺度细节的特征图。然后融合这些特征图以增强小目标检测。此外[19]提出了一种专门针对航拍图像中小目标检测的方法旨在增加来自特征图浅层的语义信息。Gold-YOLO[20]利用聚集-分发Gather-and-Distribute机制通过融合多尺度特征图来提高精度。该机制从所有主层次聚集全局信息将其组合然后返回到每个层次以改进检测。其他研究如PPYOLO[21]和PPYOLOE[22]专注于通过修改颈部组件和优化特征图融合策略来提高精度。下图说明了用于小目标检测的各种特征提取方法之间的差异。此图清晰地展示了包括FPN、PAFPN等特征融合网络在内的所提技术突出了它们在提高检测精度方面的独特方法和有效性。图 4. 常见的特征融合路径[11]。2.2 大规模图像已经提出了几种处理大规模图像和改进小目标检测的方法。这些方法包括滑动窗口方法、密度图方法和聚类方法。滑动窗口。滑动窗口方法将图像分割成重叠的切片然后由目标检测网络处理。所有切片的结果被组合以产生最终的检测输出。虽然这种方法提高了精度但它显著增加了计算时间使其不太适合实时应用。SAHI[23]框架是该领域一个强大而有效的工作主要关注滑动窗口技术该技术可在训练和推理阶段使用。此外研究[47]提出了一个框架与现有方法相比优化了计算成本并减少了推理时间。在该研究中切片尺寸与输入图像大小相关使得切片数据的模型参数能够与主数据集保持一致的比率。已经开发了几种基于平铺tiling的方法来增强目标检测特别是在具有挑战性的场景中的小目标检测。例如EdgeDuet框架[24]利用一系列关键步骤包括切片级并行通过解压不包含小目标的块并通过重叠平铺优化检测从而更有效地处理视频帧。此外另一项研究[25]专注于从微型飞行器使用高分辨率图像检测行人和车辆采用平铺方法在训练和推理阶段都提高了精度。该方法有效地减少了细节丢失同时确保模型接收到固定大小的输入展示了在VisDrone2018数据集上使用Nvidia Jetson TX1和TX2等平台的性能显著提升。这些技术反映了目标检测领域正在进行的创新旨在克服传统处理方法的局限性。密度图。该方法生成密度图以识别图像中物体高度集中的区域。基于这些密度区域确定切片并在每个切片上执行目标检测。与滑动窗口方法相比密度图方法降低了计算成本同时仍能实现有效的目标检测。[26]中引入的对象激活网络使用图像切片输出对象激活图仅处理对象密度超过某个阈值的切片以优化计算效率。聚类。另一种检测大规模图像中小目标的方法是聚类。[3]的一项研究提出了一种基于聚类的方法来识别图像中的密集区域称为密集区域切片。这些区域被单独处理以提高小目标检测精度。此外像ScaleNet和PP这样的模块确保了跨物体尺度的一致性。GLSAN[27]框架被开发用于增强密集区域的小目标检测。它包括三个主要模块用于通用和局部目标检测的GLDN、使用K-means聚类密集区域的SARSA以及在将区域传递给检测网络之前改进SARSA识别区域质量的LSRN。一个值得注意的基于聚类的方法是[28]中引入的聚类检测ClusDet网络它解决了在航拍图像中检测小的、稀疏的、非均匀分布物体的挑战。ClusDet将对象聚类和检测统一到一个端到端的框架中。它包括一个识别对象聚类区域的聚类提议子网络CPNet、一个为这些区域估计对象尺度的尺度估计子网络ScaleNet以及一个专用的检测网络DetecNet。该方法通过仅关注预测的聚类区域显著减少了最终目标检测所需的图像切片数量从而优化了计算效率。此外ClusDet中基于聚类的尺度估计相比于基于单物体的方法提高了小目标检测的精度并且DetecNet利用这些聚类区域内的上下文信息来提升整体检测精度。进一步细化聚类目标检测[29]的一项研究提出了一种改进的聚类切片选择方案。该方法通过更有效地识别聚类切片——密集物体区域——并对它们应用细粒度检测器从而提高了航拍图像中的检测性能。在下一章中将介绍本研究的一般概念并详细说明用于比较的经典实现方法。此外还将讨论SAHI参数的优化以评估其性能与最终结果的对比。3 方法论3.1 SAHI参数优化切片辅助超推理Slicing Aided Hyper InferenceSAHI框架旨在通过两个主要流程改善大规模图像中的小目标检测模型训练和推理。模型训练在训练过程中图像被分割成具有特定尺寸和重叠率的切片以便更好地利用预训练模型。这种方法有效地增加了训练图像的数量提高了模型的精度。推理在推理阶段原始图像也被分割成切片并与完整的原始图像一起通过训练好的网络。为了消除冗余预测应用了几种合并方法包括非极大值抑制NMS、局部软非极大值抑制LSNMS、非极大值合并NMM和贪心NMM。这些方法基于置信度和重叠度比较边界框有助于确保准确的目标检测。图 5. 使用滑动窗口进行推理[2]。此外在后处理中利用交并比IoU和自相交比IoS度量来提高测试阶段的适应性。3.2 CZDet改进现有针对密集区域目标检测的方法通常依赖于分割密集区域或聚类技术由于需要额外的可训练模块或处理单元这可能非常耗时。为了解决这个问题CZDet[3]提出了一种解决方案即检测网络本身识别密集区域避免了额外的模块。然后以更高的精度重新评估这些识别出的区域从而提高小目标的检测精度。训练和推理流程如图6所示。分析显示无论是包含在数据集中还是在推理期间重新处理标记为cut类输出的图像其尺寸通常比原始图像显著减小。检测网络通常在平均800×800800\times800800×800像素的图像上进行训练而cut图像可能只有大约200×250200\times250200×250像素。因此这些图像需要调整大小以满足网络的输入要求。传统的调整大小通常通过插值完成会降低图像质量导致模糊和关键细节丢失。图 6. CZDet中的训练和推理流程[3]。为了抵消这一点最初的解决方案涉及引入超分辨率网络架构来提升图像质量。SR网络旨在从低分辨率对应物生成高分辨率图像。将SR模块集成到网络架构中以支持训练和测试训练阶段Cut图像通过SR模块处理以生成更高质量的版本然后用于训练网络。然而这种增强显著延长了训练时间。测试阶段在测试期间检测网络预测为cut类的图像在重新进入检测网络之前会经过SR处理。为了优化这个过程使用了专门在目标数据集上训练的SR模型将低分辨率图像转换为高分辨率版本。这种方法通过在训练和测试阶段提高图像分辨率来增加小目标的检测精度。图 7. 超分辨率模块。3.3 SW-YOLO增强SW_YOLO[4]提出了一种高效的无人机目标检测框架解决了密集集群、重叠物体和尺度多样性等挑战。他们的方法使用统一的切片窗口方法将输入图像分割成更小的补丁以检测小目标同时保持效率。该框架包括对完整图像的全局检测和对子补丁的局部检测以处理不同尺度的物体。尺度过滤机制将物体分配给适当的检测任务以保持尺度不变性。此外该方法使用随机锚框裁剪进行数据增强用多样化的场景丰富了训练数据。两种定制的增强模拟了具有密集物体集群的真实世界场景特别有助于检测稀有类别。综合实验表明与其他方法相比该方法以更低的计算成本显著提高了检测性能。SW_YoLO工作流如图所示。该框架作为评估我们提出方法的基线。图 8. SW_YOLO工作流程[4]。本研究引入了对YOLO架构的几项增强专门针对小目标检测进行了优化。受[8]启发这些改进旨在提高精度和计算效率主要在三个层面上实现添加新的小目标检测头集成卷积块注意力模块CBAM以及利用Involution块进行高级特征提取。基础的yoloV5架构如图9所示。这些架构修改集成到YOLOv5基础模型中最终增强的YOLOv5架构如图14所示。图 9. yoloV5架构概述[30]。1. 为小目标添加新的检测头研究表明提高特征图的分辨率可以增强小目标检测精度。为了利用这一点除了YOLO中用于检测小、中、大物体通常使用的典型特征图P3、P4和P5之外本框架还包含了一个额外的高分辨率P2层160x160像素。添加的P2层捕获更详细的特征使其非常适合精确检测小物体。图 10. 添加新头部后的YOLO网络结构。2. CBAM注意力机制为了优先处理关键的空间和通道信息在骨干网络的尾部集成了CBAM模块。虽然传统方法通常将CBAM放在网络的颈部但将其置于骨干网络中由于此阶段特征图尺寸较小20x20可以最小化计算开销。CBAM由两个注意力块组成即通道注意力模块CAM和空间注意力模块SAM各自针对特征优化的不同方面。图 11. CBAM架构[31]。CAM该模块通过同时使用平均池化和最大池化聚合空间信息来捕获通道特定的重要性然后通过一个轻量级神经网络生成通道注意力图。该注意力图对每个通道应用独特的权重优化了通道特定特征的相关性。SAM在CAM之后SAM强调关键的空间位置。它利用池化操作来降低维度并使用一个7x7卷积层来创建空间注意力图为图像中的关键区域分配更大的权重。图 12. 在骨干网络中添加新CBAM块。新添加的块已合并到图像中并以红色高亮显示。3. Involution块Involution块取代了传统的卷积层以优化空间相关特征提取。与固定的卷积滤波器空间无关不同Involution使用动态的、空间特定的滤波器为图像中的每个位置应用定制的滤波器。这使得网络能够更好地保留位置特定信息。在Involution块内为每个像素生成一个唯一的核并统一应用于所有通道。然后通过卷积将该核与输入特征图组合。最后一个求和聚合步骤整合相邻像素上提取的特征保留空间上下文并提高检测精度。图 13. 在骨干网络中添加新Involution块。总的来说这些策略显著提升了YOLOv5的小目标检测能力。通过减少计算负载和提高检测精度这些增强使得YOLOv5更适合需要高速度和可靠性的工业应用。图 14. 提出的最终架构。新添加的块已合并到图像中并以红色高亮显示。在下一章中将介绍所使用的数据集随后展示每个想法的结果并与先前的方法进行比较。4 实验结果4.1 数据集在本研究中选择VisDrone-Det2019数据集进行目标检测任务的训练和评估。作为更广泛的VisDrone挑战的一个子集该数据集专门针对静态图像中的目标检测包含6,471张训练图像分辨率从1920x1080到3840x2160不等代表10个不同的物体类别。值得注意的是该数据集中约有31.25%的物体被归类为小32232^2322突显了在高分辨率图像中检测较小物体的挑战。图 15. VisDrone2019数据集的图像示例。4.2 结果本节阐明了从基线目标检测模型训练中得出的发现这些训练旨在为后续实验建立坚实的基础。模型最初在MS-COCO数据集上预训练了300个epoch批次大小为32。使用COCO指标评估模型性能特别关注不同交并比IoU阈值下的平均精度AP从而确保精度度量的一致性。基于YOLO的模型以其单阶段架构为特点与两阶段模型如Faster R-CNN它需要一个额外的区域提议生成阶段相比显示出明显更优的推理速度。在各种YOLO架构中YOLOv5L被确定为主要基线模型因为它具有强大的性能在IoU阈值为0.5时实现了47.3%的AP从而展示了精度和处理速度之间的良好平衡。为了进一步提高小目标检测的精度实施了SAHI切片辅助超推理方法。该方法专注于分割图像以提高检测性能特别是针对在全帧评估中经常漏检的小目标。使用SAHI评估了各种后处理技术包括调整重叠率和裁剪尺寸。最佳策略结合了全图像预测和从图像切片派生的预测显著增强了模型检测小目标的能力同时所有尺寸物体的总体精度保持在65.1%。然而这种方法引入了一个权衡因为处理完整和裁剪图像的复杂性导致推理速度显著降低从30 FPS降至18 FPS。通过两个主要策略探索了进一步的改进目标是优化基线模型。第一个策略涉及使用ImageNet权重对CZDet模型进行预训练这导致精度显著提高在验证集上实现了50.5%的AP。然而在训练期间引入超分辨率SR模块意外导致精度下降AP降至45.2%并且训练时间增加。这种下降被认为是源于对模糊或低分辨率图像尤其是在具有挑战性的夜间场景中噪声的放大。第二个策略集中于通过集成附加模块特别是卷积块注意力模块CBAM和Involution来改进SW-YOLO模型。选择这些模块是因为它们能够在不施加过多计算负担的情况下增强特征表示。CBAM的注意力机制有助于更好地聚焦于关键的兴趣区域增强了模型在各种尺度上检测小目标和被遮挡目标的能力。将CBAM和Involution集成到SW-YOLO架构中在精度和鲁棒性方面都取得了显著的改进。优化后的SW-YOLO模型在IoU0.5\mathrm{IoU}0.5IoU0.5时实现了52.7%的AP超越了标准单阶段检测器的性能同时保持了大约25 FPS的相对稳定的推理速度。精度和速度之间的这种权衡对于广泛应用仍然是有利的因为SW-YOLO模型有效地平衡了计算效率和增强的检测精度。CBAM和Involution的战略集成使SW-YOLO能够利用详细的上下文信息最终使其成为需要快速处理和高精度目标检测场景的高度有效选择。基线SW-YOLO模型最初达到了60.4%的mAP0.5精度。随后对此基础架构应用了各种修改以优化性能。引入Transformer模块——通过在骨干网络中添加C3TR模块并分别添加到每个检测头中——导致了精度和处理速度的降低。此外本实现中将原始的ViOU损失函数替换为SiOU损失函数然而这种替换并未带来精度提升。进一步的分析检查了单独加入新头部、Involution块和CBAM块的效果。虽然CBAM和Involution块没有提高精度但它们有助于提高处理速度分别将基线模型的FPS提高了3.78和2.68。最终这些模块的集成加上新的检测头在保持有竞争力的处理速度的同时实现了精度增益相对于原始SW-YOLO模型仅降低了3.5个单位。这种增强配置超越了最快的基线检测器速度提高了0.57个单位精度提高了1.7倍。图 16. 各模型精度与速度对比图。结论本论文提出了一个针对大规模图像中小目标检测的框架旨在有效平衡推理速度和精度。该方法采用图像切片技术通过生成高分辨率图像片段来改进小目标的检测。在训练阶段评估该技术以扩展数据集并在推理阶段评估以提高检测精度。测试了各种后处理策略以整合这些图像切片其中IOS和NMS方法产生了最有利的结果。此外将完整图像与切片图像结合显著提高了精度特别是对于较大物体。对于模型选择基于在VisDrone2019数据集上评估的最新进展选择了一个高性能基线。为了增强小目标检测在推理和训练阶段都集成了一个超分辨率网络提高了包含密集小目标的图像的清晰度。额外的改进包括将CBAM集成到骨干网络中以聚焦关键的空间和通道特征同时最小化计算开销。在颈部模块中使用Involution块进一步增强了特征图质量同时添加了一个额外的检测头以利用更高分辨率的特征图最终提高了小目标检测性能。