朴素贝叶斯的那点事儿

在机器学习领域中，朴素贝叶斯是一种基于贝叶斯定理的简单概率分类器（分类又被称为监督式学习，所谓监督式学习即从已知样本数据中的特征信息去推测可能出现的输出以完成分类，反之聚类问题被称为非监督式学习），朴素贝叶斯在处理文本数据时可以得到较好的分类结果，所以它被广泛应用于文本分类/垃圾邮件过滤/自然语言处理等场景。

朴素贝叶斯假设了样本的每个特征之间是互相独立、互不影响的，比方说，如果有一个水果是红色的，形状为圆形，并且直径大约为70毫米，那么它就有可能被认为是苹果（具有最高概率的类将会被认为是最有可能的类，这被称为最大后验概率 Maximum A Posteriori），即使上述的这些特征可能会有依赖关系或有其他特征存在，朴素贝叶斯都会认为这些特征都独立地贡献了这个水果是一个苹果的概率，这种假设关系太过于理想，所以这也是朴素贝叶斯的”Naive”之处。

朴素贝叶斯的原名为Naive Bayes Classifier，朴素本身并不是一个正确的翻译，之所以这样翻译是因为朴素贝叶斯虽然Naive，但不代表它的效率会差，相反它的优点正在于实现简单与只需要少量的训练数据，还有另一个原因是它与贝叶斯网络等算法相比，确实是“朴素”了些。

在继续探讨朴素贝叶斯之前，我们先需要理解贝叶斯定理与它的前置理论条件概率与全概率公式。

本文作者为SylvanasSun([email protected])，首发于SylvanasSun’s Blog。
原文链接：https://sylvanassun.github.io/2017/12/20/2017-12-20-naive_bayes/
（转载请务必保留本段声明，并且保留超链接。）

---

条件概率（Conditional Probability）是指在事件B发生的情况下，事件A发生的概率，用P(A|B)P(A|B)表示，读作在B条件下的A的概率。

在上方的文氏图中，描述了两个事件A和B，与它们的交集A ∩ B，代入条件概率公式，可推出事件A发生的概率为P(A|B)=P(A⋂B)P(B)P(A|B)=P(A⋂B)P(B)。

对该公式稍作变换可推得P(A⋂B)=P(A|B)P(B)P(A⋂B)=P(A|B)P(B)与P(A⋂B)=P(B|A)P(A)P(A⋂B)=P(B|A)P(A)（P(B|A)为在A条件下的B的概率）。

然后根据这个关系可推得P(A|B)P(B)=P(B|A)P(A)P(A|B)P(B)=P(B|A)P(A)。

让我们举个栗子，假设有两个人在扔两个个六面的骰子D1与D2，我们来预测D1与D2的向上面的结果的概率。

在Table1中描述了一个含有36个结果的样本空间，标红处为D1的向上面为2的6个结果，概率为P(D1=2)=636=16P(D1=2)=636=16。

Table2描述了D1 + D2 <= 5的概率，一共10个结果，用条件概率公式表示为P(D1+D2≤5)=1036P(D1+D2≤5)=1036。

Table3描述了满足Table2的条件同时也满足D1 = 2的结果，它选中了Table2中的3个结果，用条件概率公式表示为P(D1=2|D1+D2≤5)=310=0.3P(D1=2|D1+D2≤5)=310=0.3。

全概率公式

---

全概率公式是将边缘概率与条件概率关联起来的基本规则，它表示了一个结果的总概率，可以通过几个不同的事件来实现。

全概率公式将对一复杂事件的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题，公式为P(B)=∑ni=1P(Ai)P(B|Ai)P(B)=∑i=1nP(Ai)P(B|Ai)。

假定一个样本空间S，它是两个事件A与C之和，同时事件B与它们两个都有交集，如下图所示：

那么事件B的概率可以表示为P(B)=P(B⋂A)+P(B⋂C)P(B)=P(B⋂A)+P(B⋂C)

通过条件概率，可以推断出P(B⋂A)=P(B|A)P(A)P(B⋂A)=P(B|A)P(A)，所以P(B)=P(B|A)P(A)+P(B|C)P(C)P(B)=P(B|A)P(A)+P(B|C)P(C)

这就是全概率公式，即事件B的概率等于事件A与事件C的概率分别乘以B对这两个事件的条件概率之和。

同样举个栗子来应用这个公式，假设有两家工厂生产并对外提供电灯泡，工厂X生产的电灯泡在99%的情况下能够工作超过5000小时，工厂Y生产的电灯泡在95%的情况下能够工作超过5000小时。工厂X在市场的占有率为60%，工厂Y为40%，如何推测出购买的灯泡的工作时间超过5000小时的概率是多少呢？

运用全概率公式，可以得出：

• Pr(Bx)=610Pr(Bx)=610：购买到工厂X制造的电灯泡的概率。

• Pr(By)=410Pr(By)=410：购买到工厂y制造的电灯泡的概率。

• Pr(A|Bx)=99100Pr(A|Bx)=99100：工厂x制造的电灯泡工作时间超过5000小时的概率。

• Pr(A|By)=95100Pr(A|By)=95100：工厂y制造的电灯泡工作时间超过5000小时的概率。

因此，可以得知购买一个工作时间超过5000小时的电灯泡的概率为97.4%。

贝叶斯定理

---

贝叶斯定理最早由英国数学家（同时也是神学家和哲学家）Thomas Bayes（1701-1761）提出，有趣的是他生前并没有发表过什么有关数学的学术文章，就连他最著名的成就贝叶斯定理也是由他的朋友Richard Price从他死后的遗物（笔记）中找到并发表的。

Thomas Bayes在晚年对概率学产生了兴趣，所谓的贝叶斯定理只是他生前为了解决一个逆概率问题（为了证明上帝是否存在，似乎哲学家们都很喜欢这个问题啊）所写的一篇文章。在那个时期，人们已经能够计算出正向概率问题，比方说，有一个袋子中有X个白球，Y个黑球，你伸手进去摸到黑球的概率是多少？这就是一个正向概率问题，而逆概率问题正好反过来，我们事先并不知道袋子中球的比例，而是不断伸手去摸好几个球，然后根据它们的颜色来推测黑球与白球的比例。

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A（发生）的条件下的概率是不一样的，但它们两者之间是有确定的关系的，贝叶斯定理陈述了这个关系。

贝叶斯定理的一个主要应用为贝叶斯推理，它是一种建立在主观判断基础之上的推理方法，也就是说，你只需要先预估一个值，然后再去根据实际结果去不断修正，不需要任何客观因素。这种推理方式需要大量的计算，因此一直遭到其他人的诟病，无法得到广泛的应用，直到计算机的高速发展，并且人们发现很多事情都是无法事先进行客观判断的，因此贝叶斯推理才得以东山再起。

说了这么多理论知识（很多数学理论都像是在说绕口令），让我们来看一看公式吧，其实只需要把我们在上面推导出的条件概率公式继续进行推理，就可以得出贝叶斯公式。

• P(A|B)P(A|B)：在B条件下的事件A的概率，在贝叶斯定理中，条件概率也被称为后验概率，即在事件B发生之后，我们对事件A概率的重新评估。

• P(B|A)P(B|A)：在A条件下的事件B的概率，与上一条同理。

• P(A)P(A)与P(B)P(B)被称为先验概率（也被称为边缘概率），即在事件B发生之前，我们对事件A概率的一个推断（不考虑任何事件B方面的因素），后面同理。

• P(B|A)P(B)P(B|A)P(B)被称为标准相似度，它是一个调整因子，主要是为了保证预测概率更接近真实概率。

• 根据这些术语，贝叶斯定理表述为： 后验概率 = 标准相似度 * 先验概率。

让我们以著名的假阳性问题为例，假设某种疾病的发病率为0.001（1000个人中会有一个人得病），现有一种试剂在患者确实得病的情况下，有99%的几率呈现为阳性，而在患者没有得病的情况下，它有5%的几率呈现为阳性（也就是假阳性），如有一位病人的检验成果为阳性，那么他的得病概率是多少呢？

代入贝叶斯定理，假定事件A表示为得病的概率（P(A) = 0.001），这是我们的先验概率，它是在病人在实际注射试剂（缺乏实验的结果）之前预计的发病率，再假定事件B为试剂结果为阳性的概率，我们需要计算的是条件概率P(A|B)，即在事件B条件下的A概率，这就是后验概率，也就是病人在注射试剂之后（得到实验结果）得出的发病率。

由于还有未得病的概率，所以还需要假设事件C为未得病的先验概率（P(C) = 1 - 0.001 = 0.999），那么P(B|C)后验概率表示的是未得病条件下的试剂结果为阳性的概率，之后再代入全概率公式就可得出最终结果。

最终结果约等于2%，即使一个病人的试剂结果为阳性，他的患病几率也只有2%而已。

朴素贝叶斯的概率模型

---

我们设一个待分类项X=f1,f2,⋯,fnX=f1,f2,⋯,fn，其中每个f为X的一个特征属性，然后设一个类别集合C1,C2,⋯,CmC1,C2,⋯,Cm。

然后需要计算P(C1|X),P(C2|X),⋯,P(Cm|X)P(C1|X),P(C2|X),⋯,P(Cm|X)，我们可以根据一个训练样本集合（已知分类的待分类项集合），然后统计得到在各类别下各个特征属性的条件概率：

P(f1|C1),P(f2|C1),⋯,P(fn|C1),⋯,P(f1|C2),P(f2|C2),⋯,P(fn|C2),⋯,P(f1|Cm),P(f2|Cm),⋯,P(fn|Cm)P(f1|C1),P(f2|C1),⋯,P(fn|C1),⋯,P(f1|C2),P(f2|C2),⋯,P(fn|C2),⋯,P(f1|Cm),P(f2|Cm),⋯,P(fn|Cm)

如果P(Ck|X)=MAX(P(C1|X),P(C2|X),⋯,P(Cm|X))P(Ck|X)=MAX(P(C1|X),P(C2|X),⋯,P(Cm|X))，则X∈CkX∈Ck（贝叶斯分类其实就是取概率最大的那一个）。

朴素贝叶斯会假设每个特征都是独立的，根据贝叶斯定理可推得：P(Ci|X)=P(X|Ci)P(Ci)P(X)P(Ci|X)=P(X|Ci)P(Ci)P(X)，由于分母对于所有类别为常数，因此只需要将分子最大化即可，又因为各特征是互相独立的，所以最终推得：

根据上述的公式推导，朴素贝叶斯的流程可如下图所示：

接下来我们通过一个案例来过一遍上图的流程。

现有一网站想要通过程序自动识别出账号的真实性（将账号分类为真实账号与不真实账号，所谓不真实账号即带有虚假信息或恶意注册的小号）。

• 首先需要确定特征属性和类别，然后获取训练样本。假设一个账号具有三个特征：日志数量/注册天数（F1）、好友数量/注册天数（F2）、是否使用了真实的头像（True为1，False为0）。

• 该网站使用曾经人工检测过的10000个账号作为训练样本，那么计算每个类别的概率为P(C0)=8900÷10000=0.89,P(C1)=1100÷10000=0.11P(C0)=8900÷10000=0.89,P(C1)=1100÷10000=0.11，C0为真实账号的类别概率也就是89%，C1为虚假账号的类别概率也就是11%。

• 之后需要计算每个类别下的各个特征的条件概率，代入朴素贝叶斯分类器，可得P(F1|C)P(F2|C)P(F3|C)P(C)P(F1|C)P(F2|C)P(F3|C)P(C)，不过有一个问题是，F1与F2是连续变量，不适宜按照某个特定值计算概率。解决方法为将连续值转化为离散值，然后计算区间的概率，比如将F1分解为[0,0.05]、[0.05,0.2]、[0.2,+∞]三个区间，然后计算每个区间的概率即可。

• 已知某一账号的数据如下：F1=0.1,F2=0.2,F3=0F1=0.1,F2=0.2,F3=0，推测该账号是真实账号还是虚假账号。在此例中，F1为0.1，落在第二个区间内，所以在计算的时候，就使用第二个区间的发生概率。根据训练样本可得出结果为：

• 接下来使用训练后的分类器可得出该账号的真实账号概率与虚假账号概率，然后取最大概率作为它的类别：

最终结果为该账号是一个真实账号。

朴素贝叶斯的算法模型

---

在朴素贝叶斯中含有以下三种算法模型：

• Gaussian Naive Bayes：适合在特征变量具有连续性的时候使用，同时它还假设特征遵从于高斯分布（正态分布）。举个栗子，假设我们有一组人体特征的统计资料，该数据中的特征：身高、体重和脚掌长度等都为连续变量，很明显我们不能采用离散变量的方法来计算概率，由于样本太少，也无法分成区间计算，那么要怎么办呢？解决方法是假设特征项都是正态分布，然后通过样本计算出均值与标准差，这样就得到了正态分布的密度函数，有了密度函数，就可以代入值，进而算出某一点的密度函数的值。

• MultiNomial Naive Bayes：与Gaussian Naive Bayes相反，多项式模型更适合处理特征是离散变量的情况，该模型会在计算先验概率P(Cm)P(Cm)和条件概率$P(F_n|Cm)$时会做一些平滑处理。具体公式为，其中T为总的样本数，m为总类别数，$T{cm}即类别为即类别为C_m$的样本个数，a是一个平滑值。条件概率的公式为，n为特征的个数，T_cmfn为类别为C_m特征为F_n的样本个数。当平滑值a = 1与0 < a < 1时，被称作为Laplace平滑，当a = 0时不做平滑。它的思想其实就是对每类别下所有划分的计数加1，这样如果训练样本数量足够大时，就不会对结果产生影响，并且解决了P(F|C)P(F|C)的频率为0的现象（某个类别下的某个特征划分没有出现，这会严重影响分类器的质量）。

• Bernoulli Naive Bayes：Bernoulli适用于在特征属性为二进制的场景下，它对每个特征的取值是基于布尔值的，一个典型例子就是判断单词有没有在文本中出现。

朴素贝叶斯的实现

---

了解了足够多的理论，接下来我们要动手使用python来实现一个Gaussian Naive Bayes，目的是解决皮马人（一个印第安人部落）的糖尿病问题，样本数据（请从该超链接中获取）是一个csv格式的文件，每个值都是一个数字，该文件描述了从患者的年龄、怀孕次数和验血结果等方面的即时测量数据。每个记录都有一个类别值（一个布尔值，以0或1表示），该值表述了患者是否在五年内得过糖尿病。这是一个在机器学习文献中被大量研究过的数据集，一个比较好的预测精度应该在70%~76%。样本数据的每列含义如下：

首先要做的是读取这个csv文件，并解析成我们可以直接使用的数据结构。由于样本数据文件中没有任何的空行和标记符号，每行都是对应的一行数据，只需要简单地把每一行封装到一个list中即可（返回结果为一个list，它的每一项元素都是包含一行数据的list），注意该文件中的数据都为数字，需要先做类型转换。

获得了样本数据后，为了评估模型的准确性还需要将它切分为训练数据集（朴素贝叶斯需要使用它来进行预测）与测试数据集。数据在切分过程中是随机选取的，但我们会选择一个比率来控制训练数据集与测试数据集的大小，一般为67%：33%，这是一个比较常见的比率。

切分了样本数据后，还要对训练数据集进行更细致的处理，由于Gaussian Naive Bayes假设了每个特征都遵循正态分布，所以需要从训练数据集中抽取出摘要，它包含了均值与标准差，摘要的数量由类别和特征属性的组合数决定，例如，如果有3个类别与7个特征属性，那么就需要对每个特征属性和类别计算出均值和标准差，这就是21个摘要。

在计算训练数据集的摘要之前，我们的第一个任务是要将训练数据集中的特征与类别进行分离，也就是说，构造出一个key为类别，值为所属该类别的数据行的散列表。

由于已经知道了类别只有一个，而且在每行数据的最后一个，所以只需要将-1传入到class_index参数即可。然后就是计算训练数据集的摘要（每个类别中的每个特征属性的均值与标准差），均值会被作为正态分布的中间值，而标准差则描述了数据的离散程度，在计算概率时，它会被作为正态分布中每个特征属性的期望分布。

标准差就是方差的平方根，只要先求出方差（每个特征值与平均值的差的平方之和的平均值）就可以得出标准差。

有了这些辅助函数，计算摘要就很简单了，具体步骤就是先从训练数据集中构造出key为类别的散列表，然后根据类别与每个特征进行计算求出均值与标准差即可。

数据的处理阶段已经完成了，下面的任务是要去根据训练数据集来进行预测，该阶段需要计算类概率与每个特征与类别的条件概率，然后选出概率最大的类别作为分类结果。关键在于计算条件概率，需要用到正态分布的密度函数，而它所依赖的参数（特征，均值，标准差）我们已经准备好了。

函数calculate_conditional_probabilities()返回了一个key为类别，值为其概率的散列表，这个散列表记录了每个特征类别的条件概率，之后只需要选出其中最大概率的类别即可。

最后我们定义一个函数来对测试数据集中的每个数据实例进行预测以预估模型的准确性，该函数返回了一个预测值列表，包含了每个数据实例的预测值。根据这个返回值，就可以对预测结果进行准确性的评估了。

完整代码如下：

---