Naive Bayes Classifier

1. Bayes' Thm.

\begin{aligned} P (Y = c_{k} | X = x) & = \frac{P (Y = c_{k}, X = x)}{P (X = x)} \\ = \frac{P (X = x | Y = c_{k}) P (Y = c_{k})}{P (X = x)} \end{aligned}

事件 X 是由原因 $Y = c_{k}$ 引起的概率。

给定X（一个n维向量，每一维代表一个特征），判断它是类别集合Y中的哪一类。

那么就要选取一个类别 $c_{k} \in Y$ ，使得 $P (Y = c_{k} | X = x)$ 最大。

（下面用Y代表类别变量；X代表输入样本变量；y是预测的类别）

\begin{aligned} y & = \arg max_{c_{k}} P (Y = c_{k} | X = x) \\ = \arg max_{c_{k}} \frac{P (X = x | Y = c_{k}) P (Y = c_{k})}{P (X = x)} \\ = \arg max_{c_{k}} P (X = x | Y = c_{k}) P (Y = c_{k}) \end{aligned}

想求 $P (X = x | Y = c_{k})$ ，但是参数太多，没法算，因为这相当于在给定类别的条件下，寻找恰好符合一组特征的样本。输入样本为n维向量，对应n个特征，每个特征又对应不同的取值，这就产生了一个n维的联合分布，空间是很大的。

因此做出「独立性假设」简化之：假设特征之间的取值相互独立！于是：

\begin{aligned} y & = \arg max_{c_{k}} P (X = x | Y = c_{k}) P (Y = c_{k}) \\ = \arg max_{c_{k}} P (Y = c_{k}) \prod_{j = 1}^{n} P (X^{(j)} = x^{(j)} | Y = c_{k}) \end{aligned}

$P (X^{(j)} = x^{(j)} | Y = c_{k})$ 表示类别为 $c_{k}$ 的所有的样本中，特征的第 $j$ 维是 $x^{(j)}$ ，i.e. 输入样本第 $j$ 个特征的值，的概率。

为了避免 $P (X^{(j)} = x^{(j)} | Y = c_{k})$ 由于训练集覆盖不全面而为0，进而导致整个概率为0，加入 Laplace Smoothing 进行修正：

\begin{aligned} P (X^{(j)} = x^{(j)} | Y = c_{k}) & = \frac{Count (X^{(j)} = x^{(j)}, Y = c_{k}) + λ}{Count (Y = c_{k}) + S_{j} λ} \end{aligned}

$S_{j}$ 为第 $j$ 维对应特征的所有可能的取值的数目。

$λ$ 通常取1。

本质上，就是对于第 $j$ 维对应特征所有可能的取值情况，都加了个1，i.e. 保证第 $j$ 维每种可能的取值都至少有1个样本。

给定：

利用公式计算：

\begin{aligned} y & = \arg max_{c_{k}} P (Y = c_{k}) \prod_{j = 1}^{n} P (X^{(j)} = x^{(j)} | Y = c_{k}) \\ = \arg max_{c_{k}} \frac{Count (Y = c_{k})}{| Training Set |} \prod_{j = 1}^{n} \frac{Count (X^{(j)} = x^{(j)}, Y = c_{k}) + λ}{Count (Y = c_{k}) + S_{j} λ} \end{aligned}

Last update: June 12, 2021

Authors: Co1lin (1.18%), Co1lin (1.18%), Colin (97.65%)