本篇文章2639字，读完约7分钟
关注尖端科学技术的量子比特
十三发自凹非寺
量子报道|公众号qbitai
可以说在图像解决行业，近年来的新模式层出不穷。
但是，在很多下游任务中，目标检测、语义分割等依然使用resnet及其变化作为主干网。
最近，亚马逊李沐团队提出了被称为“resnet最强改良版”的互联网resnet。
从名字可以看出，引入了模块化的分布式观察力模块，观察力横跨特征图( feature-map )组。
那么，resnest到底有多强呢？
resnest-50在224×224的imagenet中，实现了81.13%的top-1精度，比迄今为止最高的resnet变化精度提高了1%以上。
通过用resnest-50轻松替换resnet-50主干，可以将ms-coco上fasterrcnnnn的map从39.25%提高到42.33%。 ade20k上deeplabv3的miou从42.1%上升到45.1%。
这些改进对目标检测、实例分割、语义分割等下游任务有很大帮助。
李沐也送了微信的力矩，呼吁伙伴们“一键升级”。
更惊人的是，这项事业是开源的！
最强的resnet变体:多个任务获得“大热”
现在，让我们具体看看resnest在具体任务中的表现。
图像分类
第一个实验研究了resnest在imagenet数据集上的图像分类性能。
通过比较resnest、其他50层和101层的构成、类似的多种有噪声的resnet变化，top-1的精度最高，如下表所示。
并与不同大小的cnn模型进行了比较。
我们使用了256×256的resnest-200和320×320的resnest-269。 对于输入大小大于256的模型，请使用“两到三次上采样策略”( bicubic upsampling strategy )。
由下表可知，resnest与基于nas检测的模型相比，正确性和延迟的权衡更高。
目标检测。
其次是目标检测中的性能。
所有模型都是通过coco-训练集中训练的118k图像，在coco-验证集中通过5k图像来判断。
使用fpn、同步批处理解决归一化( synchronized batch normalization )、图像比例增强，训练所有模型。
为了便于比较，我们用resnest替换了vanilla resnet主干，并采用了默认设置的超级参数。
与采用标准resnet的基线相比，resnest的主干在faster-rcnn和cascadercnn中都可以将平均精度提高3%左右。
这表明resnest的主干网具有良好的泛化能力，同时可以容易地转移到下游任务。
值得注意的是，resnest50在faster-rcnn和cascade-rcnn的检测模型中都优于resnet101，采用的参数明显较少。
实例分割。
在实例分割任务中，以resnest-50和resnest-101作为主干，判定mask-rcnn和cascade-mask-rcnn模型。
实验结果如下表所示，在mask-rcnnn中，resnest50的box/mask性能增益分别为2.85%/2.09%，与此相对，在resnest101中显示出4.03%/3.14%的更好的提高。
cascade-mask-rcnn时，切换到resnest50或resnest101产生的增益分别为3.13%/2.36%或3.51%/3.04%。
这表明，如果模型由越来越多的剥离模块组成，它将更有效。
语义分割
在语义分割下游任务的迁移学习中，以deeplabv3的gluoncv实现为基准方法。
从下表可以看出，resnest使deeplabv3模型实现的miou提高了约1%，维持了类似的整体模型多、噪音多。
观察到采用resnest-50的deeplabv3模型的性能优于采用更大的resnet-101的deeplabv3。
resnest :观察力分割互联网
性能如此优异是如何改进一体resnet的呢？
接下来，揭开resnest神秘的面纱吧。
如上所述，resnest是基于resnet的，引入分割身份块，可以跨不同的feature-map组实现feature-map观察力。
剥离张力块是一个计算单元，由feature-map组和分割观察力操作组成。 下图显示了分割身份块和辅助组的分割身份块。以及。cardinal group。
从上面两张图可以看出，都有split的影子。 例如k(k )和r(r )都是超参数，即合计g = k*r组。
除此之外，还可以面对面地观看se-net和sk-net。
其中，se-net引入了信道观察力( channel-attention )机制的sk-net通过两个网络分支引入了特征图观察力( feature-map attention )。
resnest和se-net、sk-net的对应图如下所示。
研究者介绍
李沐，亚马逊首席科学家，加利福尼亚大学伯克利分校客座助理教授，美国卡内基梅隆大学计算机系博士。
集中精力研究分布式系统和机器学习算法。 他是深度学习框架mxnet的作者之一。
曾任机器学习创业企业marianas labs的cto和百度深度学习研究院的主任研究开发设计师。
李慕有丰富的研究成果，在国内外主要期刊上发表过多篇学术论文，其中《di facto-distributedfactorizationmachines》是acm国际互联网搜索和数据挖掘( wsdm )
传输门
论文地址:
hangzhang/files/resnest.pdf
github项目地址:
github/hang 1989/RES nest
作者是网易信息网易号“各有态度”的合同作者
——完
如何关注、学习和使用人工智能？
各工作日，量子ai内参精选世界科学技术和研究的最新动态，总结新技术、新产品和新应用，整理当天最热领域的趋势和政策，检索有价值的论文、教程、研究等。
而且，ai内参群为大家提供了交流和共享的平台，更好地满足了大家获取ai信息、学习ai技术的诉求。 可以用扫描仪订阅:
了解ai快速发展的现状，发掘领域快速发展的机会
ai社区|与优秀的人交流
量子比特qbitai ·头条号签约人
' '跟踪ai技术和产品的新动态
你喜欢“看”吧！
原标题:“李沐团队提出了最强的resnet改进版，多个任务达到了sota |开源。”
阅读原文。
