AI初识：激活函数-从人工设计到自动搜索

我们都知道人工神经网络是用于模拟神经元的，那么提起激活函数，自然是要从那里去挖掘原因。

在正说深度学习中的激活函数之前，我想说其实激活函数无处不在。

(1) 上班需要激活函数。 早上10点上班，你8点到也好，9点到也好都一样，但是10点零1分到不行，性质就变了，考勤系统留下迟到的记录，全勤奖再无希望。

它的激活函数应该是这样的，x是打卡时间。

这是一个阶跃函数，类似于如下：

(2) 最近看上了一个跳槽过来的喜欢吃甜品的女同事，不过听说有男朋友，不过又听说好像正在慢慢闹分手。

那么如果要追这个女同事，什么时候送甜品能带来友情的升华？ 假如预判她和对象第t天后拜拜。

它的激活函数可能是这样的，x是送甜品的日子。

在刚分手的时候(也就是第t天，对应曲线斜率最大的地方)送甜品带来的好感激增度是最高的，再往后虽然随着相互之间越来越熟友谊持续升温，但是增长率下降了啊。 而且到后来可能被其他人追走了，这个函数还只在一定期限内有效。

(3) 最近项目要加班，不过好在加班费是按小时(可以有分数)算的，那么当天的工资，就应该是这样算的。 它的激活函数可能是这样的，x是工作时长。

形状长这样，超过一个阈值后是线性增加的，低于阈值则是常量。

(4) 不是单身狗？ OK你是有老婆的人，那么下班回家陪老婆看电视总需要吧。 不过到底陪不陪看，是不是陪就一定能得到老婆大人喜欢，这个可能是个周期性质的东西。

假如x是当天日历，那么激活函数可能是这样。

这么想想，是不是感觉激活函数无处不在，上面的这几种都是有正儿八经对应的激活函数的。

回转正题，之所以需要激活函数，从生物学上来说，是因为人脑的细胞接受刺激从而产生活动，首先需要一定的阈值，没有达到阈值，几乎没用。 而不同的刺激产生的输出也是不同的，达到一定值后就饱和了，再加大也没用。

作为模拟人脑的人工神经网络，自然是需要某种机制来模拟这一种活动，这便是激活函数根本性的由来。

激活函数到底有什么用

一个复杂的神经网络，是有许多层的，其中最基本的单位便是神经元。

一个线性神经元，输入x输出y的变换关系如下。

可以看到输出y与x是一个线性关系。 如果再增加一层，把y作为中间层，输出为z呢？

如下：

可以看出，最终的输出z仍然与x是线性关系，也就是说这样堆叠下去，永远都是线性关系。

人们期望神经网络可以模拟任意的函数，怎么可能用一个线性函数来完成呢？ 所以才会在线性神经元的输出后添加非线性的函数，添加的越多，变换自然就越复杂了。

而不同的非线性映射函数的选择，就是激活函数的研究课题了。

各种激活函数

https://en.wikipedia.org/wiki/Activation_function

关于激活函数的种类，有三这一次就偷个懒，大家可以去wiki 百科上面看，非常的详细，下面摘录其中的一些。

自动搜索

不过坑还没有填完，还是有人没有忘记这个问题的，比如谷歌。 谷歌开了许多深度学习领域的自动化的工作，比如自动设计网络NASNet，自动数据增强AutoAugment等工作，也做了自动搜索最优的激活函数的工作。

文[1]就在一系列一元函数和二元函数组成的搜索空间中，进行了比较细致的组合搜索实验。

结论是好用的激活函数都比较简单，不会超过两个基本函数的乘的组合。 搜到了一些比Relu表现更好的函数，最好的是一个这样的函数： x · σ(βx)，被称为Swish，它在某个特定的参数下也和ReLU及其变种类似，看看图就知道了。

顺便说一下该方法做实验时的一元函数和二元函数的搜索空间：

已经覆盖我们能想到的一些简单的函数了。

类似地也有其他的研究人员通过遗传算法学习到一些新的激活函数，包括EliSH，HardEliSH[2]，感兴趣的可以去看论文。

[1] Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

[2] Basirat M , Roth P M . The Quest for the Golden Activation Function[J]. 2018.

[3] Nwankpa C , Ijomah W , Gachagan A , et al. Activation Functions: Comparison of trends in Practice and Research for Deep Learning[J]. 2018.