中文 英语
技术论文

提高深神经网络的性能

新的数据处理模块使深神经网络更智能(细心归一化)

受欢迎程度

来源:北卡罗来纳州立大学。作者:西利丽,魏孙,天府吴

摘要:“在最先进的深度神经网络中,功能标准化和特色关注都变得无处不在。然而,它们通常被研究为单独的模块。在本文中,我们提出了两种模式和目前的细节归一化(A)之间的轻量级集成。而不是学习单个仿射变换,学习仿射变换的混合,并利用其加权总和作为应用于以特定于实例的方式重新校准特征的最终仿射变换。通过利用渠道明智的特征注意来学习权重。

在实验中,我们在ImageNet-1000分类基准测试和MS-Coco 2017对象检测和实例分割基准中使用四个代表性神经结构测试。A ImageNet-1000在Imagenet-1000中的前1个精度的绝对增加的基准测试中的不同神经架构的一致性能改进在0.5%和2.7%之间,并且对于MS中的边界盒和掩模AP,绝对增加高达1.8%和2.2%分别为Coco。我们观察到所提出的AN提供了强烈替代广泛使用的挤压和激励(SE)模块的替代品。源代码在ImageNet分类repo(https://github.com/ivmcl/aognet-v2)和ms-coco检测和分段repo(https://github.com/ivmcl/attententivenive_detection)上公开可用

技术论文链接可以在这里找到



发表评论


(注意:此名称将被公开显示)