丰润网站建设广西自治区集约化网站建设要求

丰润网站建设,广西自治区集约化网站建设要求,wordpress自动还原,莆田网站开发公司电话点击下方卡片#xff0c;关注「3D视觉工坊」公众号选择星标#xff0c;干货第一时间送达来源#xff1a;我爱计算机视觉「3D视觉从入门到精通」知识星球(点开有惊喜) #xff01;星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉…点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达来源我爱计算机视觉「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎扫码加入这是一篇新出的3D点云领域非常有意义的论文——《LitePT: Lighter Yet Stronger Point Transformer》。顾名思义LitePT意为“更轻量但更强大的点云Transformer”核心目标就是要在保持甚至超越现有最佳性能的同时大幅度降低3D点云处理模型的参数量、运行速度和内存占用。在自动驾驶、机器人和AR/VR等对效率要求极高的应用场景中模型的轻量化和高性能是至关重要的。LitePT-S模型在参数、运行时长和内存占用上与现有SOTA模型的对比及其在各类基准测试中的性能表现。在3D点云处理的神经网络架构中卷积层Convolutional Layers和注意力机制Attention Blocks常常并存。但它们俩到底该怎么配合才能发挥最大作用一直是个悬而未决的问题。传统的做法比如当下最先进的Point Transformer V3 (PTv3)通常在网络的每个层级都同时使用这两种操作。然而这真的高效吗LitePT的作者们对此进行了深入分析和实践探索并给出了一个令人信服的答案。论文标题: LitePT: Lighter Yet Stronger Point Transformer作者机构: 苏黎世联邦理工学院牛津大学苏黎世大学论文地址: https://arxiv.org/abs/2512.13689项目主页: https://litept.github.io/代码仓库代码和模型已经开源啦: https://github.com/prs-eth/LitePT研究背景卷积与注意力的“博弈”在3D点云领域如何有效地从无序点集中提取几何特征和语义信息一直是研究热点。卷积层因其局部感受野和权值共享特性在捕捉局部几何结构方面表现出色。而Transformer中引入的注意力机制则能通过捕捉长距离依赖来建模全局上下文信息。近年来结合二者的混合架构尤其是以Point Transformer V3为代表的模型在多个基准测试中取得了SOTAState-of-the-Art性能。然而这种“全都要”的设计也带来了效率上的挑战。卷积层可能在网络的深层阶段引入过多的参数而注意力机制在早期的高分辨率点云数据上计算成本过高。这种资源消耗尤其是在高分辨率点云数据上往往得不偿失。论文作者们正是看到了这一点才开始思考有没有可能让卷积和注意力“各司其职”在最适合自己的位置发挥最大作用呢核心发现分层协同的智慧通过对PTv3架构的深入分析研究团队发现了一个非常直观但此前常被忽视的规律早期阶段卷积是效率之选。在网络处理高分辨率点云的早期阶段主要任务是提取局部几何特征。此时卷积层以其天然的局部性归纳偏置能够高效地完成任务。而注意力机制虽然也能达到类似效果但由于点数众多其二次方复杂度的计算成本变得异常昂贵性价比不高。深层阶段注意力更显身手。随着网络层级加深点云分辨率逐渐降低通道维度增加网络开始聚焦于捕捉高层语义和全局上下文。这时注意力机制的优势就显现出来了它能更有效地处理少量但信息丰富的token。而卷积层在此阶段则可能导致参数冗余。这一发现为LitePT的设计提供了核心指导原则在早期阶段使用卷积在后期阶段切换到注意力。这就像是让专业的人做专业的事在不同阶段选择最合适的工具。图中展示了PTv3模型中参数数量和延迟的分布。上方子图显示PTv3中条件位置编码通过卷积块实现占据了大部分参数尤其是在后期阶段。相比之下LitePT的PointROPE是无参数的。下方子图则揭示了PTv3中早期阶段注意力模块带来的显著延迟。LitePT将注意力限制在后期阶段使其既有效又成本较低。上图清晰地展示了PTv3模型中卷积模块特别是其实现位置编码的部分在参数量上占据了主导尤其是在深层阶段而注意力模块则在早期阶段带来了巨大的计算延迟。LitePT正是抓住了这些痛点进行优化。LitePT架构轻量而强大的秘密武器LitePT的模型设计遵循了经典的U-Net结构并创造性地将其分阶段混合策略应用于编码器。它主要由两大部分组成分阶段定制计算块LitePT的核心在于其“分阶段定制”的计算块。编码器由个阶段组成每个阶段根据其在网络中的位置被实例化为纯卷积块ConvBlock或纯注意力块AttnBlock。其中是一个关键的超参数它决定了卷积和注意力机制的“交接点”。例如当时前三个阶段使用ConvBlock处理高分辨率的点云数据专注于局部几何特征提取而随后的阶段则采用AttnBlock处理低分辨率但语义更丰富的特征捕捉长距离依赖。这种设计巧妙地规避了注意力机制在早期阶段的高昂计算成本同时也避免了卷积层在深层阶段可能导致的参数冗余。PointROPE参数无关的3D位置编码当我们在深层阶段移除昂贵的卷积层并转向纯注意力机制时一个不可避免的问题是会丢失原有的位置编码信息。为了解决这一问题LitePT引入了一个新颖且无参数的3D位置编码方案——PointROPEPoint Rotary Positional Embedding点云旋转位置编码。PointROPE的灵感来源于自然语言处理领域中表现卓越的旋转位置编码RoPE但将其巧妙地适配到了3D点云数据上。其核心思想是将3D点特征的嵌入embedding在XYZ三个轴向上进行独立处理分别应用1D RoPE然后将结果拼接起来。 具体来说对于一个3D点的特征向量它被分解为沿x、y、z轴的三个子空间然后对每个子空间独立应用标准的1D RoPE这里的就是点的坐标。这种处理方式不仅保留了3D点方向上的可分离性而且通过特征嵌入的旋转有效地编码了相对几何信息。相比于PTv3中通过卷积学习位置编码的方式PointROPE的巨大优势在于它是完全无参数的极大地降低了模型的复杂度和内存占用并且天生对旋转操作友好。LitePT-S的架构概览。模型包含五个阶段早期阶段采用卷积块后期阶段采用PointROPE增强的注意力块。LitePT-S使用轻量级解码器而LitePT-S*则在解码器中对称地添加了卷积或注意力块。上图展示了LitePT-S的整体架构它清晰地描绘了编码器中卷积块和注意力块的分阶段应用以及PointROPE在注意力块中的整合方式。实验结果效率与性能的“双丰收”论文在多个主流的3D点云任务和数据集上对LitePT进行了详尽的实验包括语义分割、实例分割和目标检测验证了其卓越的效率和领先的性能。效率对比轻若鸿毛快如闪电最令人印象深刻的是LitePT-S与SOTA模型PTv3的效率对比。LitePT-S在参数量、运行速度和内存占用上实现了颠覆性的优化参数量比PTv3少3.6倍(12.7M vs 46.1M)。运行速度快2倍(推理延迟 21ms vs 51ms)。内存占用少2倍(2.0G vs 4.1G)。不同模型在ScanNet数据集上的效率对比。上表的效率对比数据进一步证实了LitePT在保持高性能的同时能够大幅降低资源消耗。策略有效性与最佳实践论文还通过一系列消融实验验证了其分阶段混合策略的有效性卷积与注意力需求实验表明在早期阶段逐步移除注意力几乎不影响性能却能大幅提升效率而在后期阶段移除卷积则能显著减少参数量性能影响微乎其微。这再次证明了分阶段定制的正确性。最佳“交接点”在NuScenes数据集上的消融实验发现当时即前三个阶段用卷积后两个阶段用注意力LitePT取得了参数量、延迟和mIoU的最佳平衡。性能-效率权衡分析。左图显示了在早期阶段逐渐减少注意力模块对性能和效率的影响右图显示了在后期阶段逐渐减少卷积模块的影响。上图直观地展示了随着注意力或卷积模块在不同阶段被移除时模型性能和效率的变化趋势从而验证了作者的阶段性设计假设。PointROPE的决定性作用PointROPE的消融实验也证实了其不可或缺性。移除PointROPE会导致mIoU性能显著下降2.6个百分点。这表明即使是无参数的位置编码也对捕捉3D点云的几何信息至关重要。任务性能全面领先或持平SOTA语义分割在NuScenes和Waymo等户外数据集上LitePT-S相较于PTv3实现了显著的性能提升mIoU提升1.8个百分点。在ScanNet和Structured3D等室内数据集上LitePT-S在参数量远少于PTv3的情况下性能与之持平或更优。特别是在更大的Structured3D数据集上LitePT-S始终优于包括PTv3在内的所有竞争方法。NuScenes和Waymo验证集上的户外语义分割结果。上表展示了LitePT-S在户外语义分割任务上的出色表现在NuScenes和Waymo数据集上都取得了最高的mIoU。实例分割在ScanNet数据集上LitePT-S*具有更复杂的解码器刷新了SOTAmAP达到了64.9比PTv3提升了3.2个百分点。ScanNet和ScanNet200验证集上的室内实例分割结果。上表突出了LitePT-S*在ScanNet实例分割任务上的新SOTA成就。目标检测在Waymo数据集上LitePT在车辆和骑行者检测上都超越了PTv3在平均AP/APH指标上也取得了最高的70.7。Waymo单帧输入户外目标检测结果。上表展示了LitePT在Waymo户外目标检测任务上的领先性能。一点思考LitePT的成功不仅在于它提供了一个更轻量、更高效、性能更强的3D点云处理骨干网络更在于它明确指出并非所有操作都需要在所有阶段都存在而是应该根据任务和数据特征进行有针对性的、分阶段的优化。本文仅做学术分享如有侵权请联系删文。3D视觉1V1论文辅导3D视觉1V1论文辅导来啦3D视觉学习圈子「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎扫码加入3D视觉全栈学习课程www.3dcver.com3D视觉交流群成立啦扫码添加微信备注姓名方向公司或高校名称邀你入3D视觉交流群