CVPR 2021 | 自适应激活函数ACON：统一ReLU和Swish的新范式
©作者｜马宁宁
学校｜香港科技大学博士生
研究方向｜计算机视觉
本文提出一种新的激活函数 ACON (activate or not)，可以自适应地学习激活与否。
ReLU 是最常见的激活函数，最近 NAS 搜到的 Swish 在各种 SOTA 网络结构中逐渐取代 ReLU。有趣的是，我们发现虽然两者形式看起来很不一样，但 Swish 可以解释为 ReLU 的一种平滑近似。基于这个发现，本文进一步分析 ReLU 的一般形式 Maxout 系列激活函数，从而得到 Swish 的一般形式、简单且有效的 ACON 激活函数。
本文在多个任务上验证了此方法的涨点性能和泛化性能（例如在 MobileNet-0.25 和 ResNet-152 上，分别将 ImageNet 准确率提高了 6.7% 和 1.8%），这表明 ACON 对已有的激活函数中是一种有效的替代方法。
ReLU和Swish的关系
前面提到，NAS 在现代激活函数方面取得了成功，NAS 搜索到的 Swish 已经在 EfficientNet 等许多 SOTA 模型中已经成为默认配置，但如何解释 Swish 背后的原理呢？（SENet 也是近年的 SOTA 标配，我们在另一个工作 WeightNet 中也做过一些有意思的探讨）本文的一个目标是提出一个新的视角，去解释这个搜索结果背后的机制，并研究更有效的激活功能。下面会详细讲解如何把 Swish 理解为 ReLU 的一种平滑近似：
当 时，（非线性）当 时， 算术平均 （线性）
ReLU的一般式和Swish的一般式的关系
▲ 验证ACON-C中p1,p2的涨点性能，即使在大模型Res152上也有1.1的涨点
ACON的更多特例：ACON-FReLU
以此 block 为基础搭建了 Toy Funnel Network (TFNet)，来验证 ACON-FReLU 的有效性：
▲ 和同样不含SE模块的轻量级网络相比可以看到明显优势
Meta-ACON
▲ 在大模型和小模型都能有非常显著的涨点，且随着模型变大，涨点效果没有明显减弱
▲ 从学习曲线可以看到ACON-C相比于Swish的优势在于后期仍能有提升，Meta-ACON则效果跟为显著
▲ 在其他任务上的泛化性能
更多细节请参考原文和代码。
参考文献
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
📬 投稿邮箱：
• 投稿邮箱：hr@paperweekly.site
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。