十三 发自 凹非寺
量子位 报导 | 大众号 QbitAI
在图画处理领域中，近年来的新模型可谓是层出不穷。
但在大多数的下流使命中，例如方针检测、语义切割，仍旧仍是用ResNet或其变体作为主干网络。
而最近，亚马逊李沐团队便提出了可谓“ResNet最强改善版”的网络——ResNeSt。
从姓名中不难看出，是引进了模块化的涣散留意力模块，能够让留意力跨特征图(feature-map)组。
那么，ResNeSt究竟有多强？
ResNeSt-50在224×224的ImageNet上，完成了81.13%的TOP-1精度，比之前最好的ResNet变体精度高出1%以上。
简略地用ResNeSt-50替换ResNet-50主干，能够让MS-COCO上的FasterRCNNNN的mAP，从39.25%进步到42.33%；ADE20K上的DeeplabV3的mIoU，从42.1%进步到45.1%。
这些改善对下流使命有很大的协助，包含方针检测、实例切割和语义切割。
就连李沐也发朋友圈，呼吁小伙伴们“一键晋级”。
更让人惊喜的是，这项作业已开源！
最强ResNet变体：多项使命获得“大满贯”
现在，咱们详细来看下ResNeSt在详细使命中的体现。
图画分类
第一个试验研讨了ResNeSt在ImageNet 2012数据集上的图画分类功能。
经过将ResNeSt和其他50层和101层装备、相似复杂度的ResNet变体作比较，TOP-1精度达到了最高，如下表所示。
还与不同巨细的CNN模型做了比较。
选用了256×256的ResNeSt-200, 和320×320的ResNeSt-269。关于输入巨细大于256的模型，选用双三次上采样战略(Bicubic upsampling strategy)。
从下表不难看出，与根据NAS发现的模型比较，ResNeSt具有更好的准确性和推迟权衡。
方针检测
接下来，是在方针检测上的功能。
一切的模型，都是在COCO-2017练习集上练习的118k图画，并在COCO-2017验证集上用5k图画进行评价。
运用FPN、同步批处理归一化(synchronized batch normalization)和图画规范增强，来练习一切模型。
为了便利比较，简略地用ResNeSt替换了vanilla ResNet主干，一起运用默认设置的超参数。
与运用规范ResNet的基线比较，ResNeSt的主干在Faster-RCNN和CascadeRCNN上，都能将均匀精度进步3%左右。
这就阐明ResNeSt的主干网络具有十分杰出的泛化才能，并且能够很容易地迁移到下流使命中。
有必要留意一下的是，ResNeSt50在Faster-RCNN和Cascade-RCNN检测模型上都优于ResNet101，并且运用的参数显着较少。
实例切割
在实例切割使命中，以ResNeSt-50和ResNeSt-101为主干，对Mask-RCNN和Cascade-Mask-RCNN模型进行评价。
试验成果如下表所示，关于Mask-RCNNN来说，ResNeSt50的box/mask功能增益分别为2.85%/2.09%，而ResNeSt101则体现出了更好的提高，达到了4.03%/3.14%。
关于Cascade-Mask-RCNN，切换到ResNeSt50或ResNeSt101所发生的增益分别为3.13%/2.36%或3.51%/3.04%。
这就标明，假如一个模型由更多的Split-Attention模块组成，那么它的作用会更好。
语义切割
在语义切割下流使命的搬运学习中，运用DeepLabV3的GluonCV完成作为基准办法。
从下表中不难看出，ResNeSt将DeepLabV3模型完成的mIoU提高了约1%，一起坚持了相似的全体模型复杂度。
有必要留意一下的是，运用ResNeSt-50的DeepLabV3模型的功能，比运用更大的ResNet-101的DeepLabV3更好。
ResNeSt：留意力切割网络
功能如此杰出，究竟是对ResNet做了怎样的改进呢？
接下来，咱们就来揭开ResNeSt的奥秘面纱。
正如方才咱们说到的，ResNeSt是根据ResNet，引进了Split-Attention块，能够跨不同的feature-map组完成feature-map留意力。
Split-Attention块是一个核算单元，由feature-map组和切割留意力操作组成。下2张图便描绘了一个Split-Attention块，以及cardinal group中的split-Attention。
从上面的2张图中不难看出，都有split的影子。比方 K(k) 和 R(r) 都是超参数，也便是合计 G = K*R 组。
除此之外，也能够与SE-Net和SK-Net对比着来看。
其间，SE-Net引进了通道留意力(channel-attention)机制；SK-Net则经过两个网络分支引进特征图留意力(feature-map attention)。
ResNeSt和SE-Net、SK-Net的对应图示如下：
研讨人员介绍
李沐，亚马逊首席科学家，加州大学伯克利分校客座助理教授，美国卡内基梅隆大学核算机系博士。
专心于分布式体系和机器学习算法的研讨。他是深度学习结构MXNet的作者之一。
曾任机器学习创业公司Marianas Labs的CTO和百度深度学习研讨院的主任研制架构师。
李沐有着丰厚的研讨成果，曾先后在国内外干流期刊上宣布多篇学术论文，其间《DiFacto — Distributed Factorization Machines 》在ACM世界网络查找和数据发掘（WSDM）大会上被评为最佳论文奖。
