AI 之旅：启程

要想推理（预测）一个新的每分钟虫鸣数 $x_1$ 对应的温度 $y’$，只需要把 $x_1$ 带入这个模型即可

这个预测模型只有每分钟虫鸣数一个特征，而一个复杂的模型往往有多个特征和对应的权重，如: $y’ = b + w_1x_1 + w_2x_2 + w_3x_3$

创建或训练模型的过程就是寻找最好的权重和偏差值的过程（确定最好的 $b$ 和 $w_1$ 的过程），而在监督式学习中，机器学习算法通过“考察大量样本以便尝试寻找一个最小化损失的模型”来构建模型，这个过程也被称为经验式风险最小化（empirical risk minimization）

损失就是指对糟糕预测的惩罚，是表示模型在一个样本上预测的糟糕程度，是个数值，如果模型的预测是完美的，那么损失就是零，否则损失就很大，我们可以创建一个数学函数（损失函数）去有意义地汇总各个损失

蓝色线表示预测，红色箭头表示各个损失，很显然右侧的要比左侧的平均损失更小。一个最常见的损失函数是平方损失函数（squared loss / $L_2$ loss），一个样本的平方损失就是标签和预测值差的平方，即 $(y - y’)^2$。整个数据集每个样本的平均平方损失被称为 均方误差 MSE （mean squared error），就是把每个样本的平方损失加起来除以样本数:

如何快速高效地确定最好（如使 MSE 最小）的 $b$ 和 $w_1$ 的值呢？最简单的办法就是先胡乱猜一个 $b$ 和 $w_1$ 的值，计算一下损失，然后调整一下 $b$ 和 $w_1$ 的值，计算损失，比较一下这两次损失再决定如何调整 $b$ 和 $w_1$ 的值（如果损失变小了说明调整的方向对了，继续按照当前方向调整就行了，如果损失变大了就要考虑改变调整的方向了），理论上不断地迭代试错下去就能找到最好的 $b$ 和 $w_1$ 的值

使用迭代法（iterative approach）不单是因为它简单直接，更是因为它在面对大型数据集时仍然表现良好

对于线性回归来说，选择哪个点作为起始点并不是很重要，比如我们完全可以选择 $b = 0, w_1 = 0$ 作为迭代的起始点。图中绿色的框是最关键的部分，正是它决定了迭代的方向，即新的 $b$ 和 $w_1$ 的值，迭代到总体损失不再变化或者变化极其缓慢为止，这时表示模型已收敛（converged）

假设我们有充足的时间和计算资源去计算所有 $w_1$ 的可能值和对应的损失，对于我们一直研究的回归问题，损失 和 $w_1$ 的关系图形始终是凸形（convex）的，或者说关系图形是个碗形:

我们的目标就是不断改变 $w_1$ 的值直到找到唯一的损失最小的那个最低点（斜率为 0），即损失函数收敛的位置，迭代的策略有很多种，最常见的就是梯度下降法（gradient descent）

先随便选一个点作为起始点，如图中的一个比 0 大一点的点，然后梯度下降算法会计算起始点处损失曲线的梯度，而损失的梯度在这里等于曲线在该点的导数（斜率）。如果有多个权重，那么梯度就是对应权重的偏导数，更准确点说梯度是所有自变量对应偏导数的矢量，梯度下降算法会沿着负梯度的方向一直走以便尽快降低损失，下一步的步长不能太小不然计算量会很大很慢，不能太大不然可能会导致模型偏离，所以这就涉及到学习速率（Learning Rate）的问题了

阶梯下降算法把梯度乘以学习速率作为下一步的变化量，而如何确定学习速率往往依赖于经验技巧，所以说学习速率是一个超参数（Hyperparameters）: 在机器学习算法中程序员要扭动的旋钮。每个回归问题都存在一个 Goldilocks 学习速率，一维空间的理想学习速率是 $\frac{ 1 }{ f(x)’’ }$（f(x) 对 x 的二阶导数的倒数），二位或多维空间的理想学习速率是海森矩阵的倒数

除了学习速率还有一个问题需要考虑，那就是样本的个数，如果样本个数特别大，大到几十亿甚至几千亿的数量级，那么每次迭代计算梯度时都需要输入全部的样本吗（需要的样本数量称为 batch）？所以为了减少计算量可以从数据集中随机的选择一些样本，这样经过很少的计算就可以很快地收敛。而随机梯度下降 SGD（Stochastic gradient descent）更是极端地每次迭代只使用一个样本，经过足够的迭代 SGD 可以发挥作用但是噪音更多。Mini-batch SGD 是介于 full-batch 迭代和 SGD 迭代之间的折衷方案，Mini-batch SGD 通常会随机选 10 到 1000 个样本，它比 SGD 噪音更少，比 full-batch 更有效率

已经大概知道了如何有效地降低损失，那损失能降低到 0 么？能根据已知的样本训练一个完美的模型么？事实上并不能，也没有必要，就算费尽心机地把模型训练地对已知样本的预测准确率是完美的 100%，但是面对新的样本时还是无法达到 100%，因为“凡事皆有例外”，而且这样看似完美的模型在面对新的样本时预测的准确率甚至还不如其他简单的模型：

可以看到，蓝色点代表生病的树，黄色点代表健康的树，背景色代表模型的预测，左边的图代表训练好的特别复杂但是损失很低的模型，但是在新的样本上测试时（右图）可以发现模型表现特别糟糕，对大部分新数据的分类都不准确，这就涉及到泛化的问题了

永远不要对测试集进行训练，如果你发现模型在测试集上预测的准确度特别高，甚至比在训练集上的还高，先不要兴奋，你很可能把一些测试数据用于训练了，得重新检查一下训练集是不是包含了一些训练集的数据

在训练集上训练模型，在测试集上评估模型，再根据评估的结果调整模型，如此循环下去直到能选择一个在测试集上表现最好的模型。这样的流程有点问题，我们可能无形中对测试数据的特性进行了过拟合，所以为了避免出现这种情况，我们从数据集中再单独划分出一些数据作为验证集，这样迭代评估的时候只在验证集上评估即可，测试集只用来确认结果，要确保在测试集上得出的结果基本符合在验证集上得出的结果，如果不符合就说明对验证集进行了过拟合

我们似乎忘了一个最基本的问题，那就是如何从原始数据中抽象出供模型使用的特征值，而从各种各样的数据源中提取数据，然后再根据这些数据创建特征向量的过程被称为特征工程（feature engineering）。像房屋的卧室数量这样的简单数值信息直接复制到特征向量就可以了，但是像房屋的所属街道这样的字符串信息怎么映射到特征向量呢？最简单的方式就是采用 one-hot 独热编码，如一共有 N 个街道，那就创建一个 N 位的编码，然后按照字典的方式将所有街道映射到这个这个编码上（第 i 个街道那一位置 1，其它位置 0），如果 N 特别大，可以采用稀疏表示法（sparse representation）压缩。那究竟什么样的特征才算好的特征呢？首先，它应该具有非零值且至少出现很多次，如果一个特征出现次数极少或只出现一次，就可以考虑在预处理时就把它过滤掉了。其次，它应该具有清晰明确的意义，以便我们在检查和调试时特征被正确的处理。第三，特征值不应随时间而发生变化。最后，特征值不应采用不理性的离群值。要做这么多工作的原因是为了把噪音降到最低，机器学习就像一个黑盒子，把数据都丢进去，却不检查数据，就盼着能获得好的结果，这从目前来看很不合适也不现实，所以在把数据交给机器学习模型之前，我们只能凭借自己的经验对特征进行抽象和过滤等处理，甚至还要监控特征随着时间变化的情况。

很多时候浮点特征值的范围会很大（如 100 到 900），为了让梯度下降法更快地收敛，同时为了避免数据溢出导致的 NaN 问题，可以把它缩放到标准范围（如 0 到 1 或 -1 到 +1），最简单的缩放策略就是线性的缩放，不过还有一种缩放策略是先计算每个值的 Z score，缩放后的值为 (原始值 - 平均值) / 标准差 ，这样的话大多数缩放后的值都会介于 -3 和 +3 之间了。

有时我们需要处理一下极端离群值（extreme outlier）:

有时我们需要对浮点数进行分箱（Binning）:

纬度本来是连续的浮点类型的，但是小纬度内房价的差别并不是连续的，差别一般也不大，所以可以把纬度分箱，纬度 37.4 可以表示为 [0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

到现在为止，我们可以假设用于训练和测试的数据是可靠的了，我们像挑出坏苹果一样把不好的样本挑出去了:

到目前为止，我们研究的都是线性问题，线性学习器不但简单而且可以很容易扩展到大型数据集，但是如果要建模的问题很复杂怎么办？

这时候就不能用 $y = SIGN(b + w_1x_1 + w_2x_2)$ 去线性拟合了，可能你已经想到了，一种机智的做法是额外定义一种特征 $x_3 = x_1x_2$，这样我们就可以在线性模型中使用它了 $y = SIGN(b + w_1x_1 + w_2x_2 + w_3x_3)$，如果 $x_1$ 和 $x_2$ 的乘积为正，那么就是一三象限的蓝色点，否则就是二四象限的橙色点，这样我们就可以在线性模型中学习非线性的规律了，而像 $x_3$ 这种把几个特征乘起来的合成特征（synthetic feature）被称为特征交叉（feature cross），一些有趣的研究表明将特征交叉乘积获得的线性学习效果和深度网络结合起来可以实现极其强大的建模能力

特征交叉也会带来一些问题，比如几个特别大特别稀疏的特征交叉后将是一个更大的特征表示，这会导致模型大小膨胀，占据大量 RAM 内存，减缓运行时间，得到的噪声系数可能会导致过拟合，这就需要更复杂的如 $L_0$ 或 $L_1$ 正则化去解决这个问题了

在研究泛化问题时我们重点关注了过拟合的问题，如果我们过于追求在训练集上的损失极低，就可能会出现过拟合训练集而带来的问题:

可以发现，在训练损失越来越低时，验证损失可能会越来越高，就像我们只跟一个人练习外语交流一样，刚开始进步非常快，但是随着时间的发展你会慢慢习惯他的表达方式和发音习惯（就像过拟合了训练数据一样），导致再跟其他人交流外语时变得很困难。那怎样处理过拟合呢？最简单的就是正则化（Regularization），正则化有很多策略，最简单的就是尽早停止（Early stopping 早停法），也就是在收敛前（红线上升之前）停止训练，但是实际上很难实现，还有一种策略就是通过惩罚模型复杂度来尽可能地降低模型的复杂度，有时也称为结构式风险最小化（structural risk minimization）

$y’$ 表示逻辑回归模型的输出，$z$ 表示线性模型的 $b + w_1x_1 + w_2x_2 + … w_Nx_N$，$z$ 也称为对数几率（log-odds），因为 $z = log(\frac{y}{1-y})

$，如果是二元分类问题，那么 $y$ 和 $1 - y$ 就是相对的两个概率

我们最开始讨论的线性回归用的损失函数是平方损失（Squared Loss），而逻辑回归用的是对数损失（Log Loss）：

也就是说，TP 和 TN 都是正确的预测，而 FP 是指模型错误地将负类别预测成正类别，FN 更是严重错误地将正类别预测成负类别

现在假如出现了 100 次狼来了事件，有 1 次狼真的来了小男孩喊狼来了，有 1 次狼没来却喊狼来了，有 8 次狼来了却没喊，有 90 次 狼没来也没喊，那么小男孩的准确率高达 $\frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91

$，从 91% 的准确率来看这个小男孩还挺好，但是事实是这样的吗？在 91 次狼没来中小男孩有 90 次没喊狼来了，但是，在 9 次狼真的来了的时候小男孩却只有 1 次喊狼来了，这是多么可怕啊！如果是肿瘤诊断模型，9 个恶性肿瘤中只有 1 个被发现是恶性肿瘤，那后果将更加的可怕

因此我们需要一些新的指标来评估，如精确率（precision），也就是小男孩喊狼来了的情况中有多少次是对的，$\frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5

$。另一方面，召回率（recall）是指在所有尝试进入村子的狼中我们发现了多少头，即正确被识别为正例的比例，$\frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11

$。有趣的是这些指标往往是此消彼长的，如为了把召回率做得好只要有风吹草动就喊狼来了，这会降低分类阈值，为了精确率高只有在确认狼真的来了才喊狼来了，这会提高分类阈值，因此只有这两方面都做得好才能评价模型的优劣。 一般来说 ，提高分类阈值会减少假正例，从而提高精确率

你可能会说，那我把所有可能的分类阈值都试一下看那个阈值下模型的表现更好不就行了么？事实上确实有这样的，叫 ROC 曲线

真正例率 TPR（True Positive Rate）为 $TPR = \frac{TP} {TP + FN}

$，和召回率一样

假正例率 FPR（False Positive Rate）为 $FPR = \frac{FP} {FP + TN}

$

将不同阈值下的 TPR 和 FPR 值的点连成一条曲线就是 ROC 曲线：

观察这个 ROC 曲线，我们惊讶地发现曲线下的面积就可以很好地表示分类模型的好坏，面积越大，那么随机选择一个正样本和一个负样本时正样本排在前面的概率就越大。而这个曲线下面积简称为 AUC（Area under the ROC Curve）

还有一个指标，那就是偏差，回归模型应该是无偏差的，也就是说，预测的平均值和观察到的平均值差不多是一样的，预测偏差（Prediction bias）等于预测的平均值减去数据集中标签的平均值，如果预测偏差不为 0 那么说明模型可能有问题，需要找一下是什么原因导致的非零偏差，当然，即使是预测偏差为零也不能说明模型是完美的，还要看其他指标。造成预测偏差的原因可能有特征集不完整，数据集中的噪音，有偏差的训练样本，太强的正则化等等，可以通过添加校准层（calibration layer）来调整模型的输出，从而减少偏差，但是这只是下策，因为这个治标不治本，而且你还得维护这个脆弱的系统

当问题复杂到无法用线性回归解决怎么办？即使是利用特征交叉也无法解决非线性的问题呢？这个时候我们希望通过某种方式，让模型自己学习非线性的规律，而不用我们手动为它设置参数。这一愿景可以通过深度神经网络（Deep Neural Networks）实现，它在复杂数据问题上做得特别好，例如图片数据，视频数据，音频数据等。先来看一下线性模型的表示:

每个特征输入都有一个权重，这些权重以线性方式结合到一起产生唯一的输出，也就是各个输入特征的加权和，那我们怎么把它扩展到非线性模型呢？

我们发现，不管我们以线性的方式往中间加多少层，线性函数的组合依然是线性函数，模型依然是线性的。因此我们想办法加一些非线性函数进去，这些非线性函数可能位于任何小的隐藏式节点的输出中：

这种非线性函数也被称为激活函数（Activation Function），常见的激活函数有 S 型激活函数和 ReLU 激活函数，S 型函数之前提到过，可以把加权和平滑地限制到 0 到 1 之间，而 ReLU（rectified linear unit） 激活函数更加的简单，它接受线性函数，并在零值处截断，即 $F(x)=max(0,x)

$：

事实上，任何数学函数都可以作为激活函数，假设用 $\sigma$ 表示激活函数，那么网络中节点的值就是 $\sigma(\boldsymbol w \cdot \boldsymbol x+b)

$

现在，我们有了人们常说的神经网络的所有标准组件:

当类别很少时还可以接受，但类别很多时，效率就会变得异常低下，因此我们可以使用深度神经网络创建一个明显更高效的 one-vs.-all 模型，其中每个输出节点代表不同的类型：

我们已经知道，逻辑回归在处理二元分类问题时很有用，它可以把输出（概率）限制在 0 到 1 之内， 如果一封邮件是垃圾邮件的概率是 80%，那么是正常邮件的概率就是 20%，加起来肯定等于 1，那怎么把这个扩展到多类别问题中呢？答案是 Softmax，它为每个类别分配一个概率，这些概率加起来必须等于 1，这会帮助训练比其他方式更快地收敛：

Softmax 层是输出层之前的神经网络层，必须和输出层有一样的节点数，它的公式本质上也是逻辑回归公式的延伸：