贝叶斯分类器

贝叶斯分类器是一种基于生成式模型的分类器，其基本思想是利用贝叶斯公式计算后验概率 $p(y|\mathbf{x})$，然后选择使得后验概率最大的类别作为预测结果。

两种机器学习的策略

机器学习所要实现的目标在某种程度上可以视作利用有限的样本进行学习，以达到给定输入 $\mathbf{x}$，尽可能准确地预测后验概率 $p(y|\mathbf{x})$ 的目标。由于 $p(y|\mathbf{x})$ 是未知的，因此主要有两种策略：

• 判别式模型：直接对 $p(y|\mathbf{x})$ 进行建模，例如决策树、支持向量机、神经网络等。
• 生成式模型：对联合分布 $p(\mathbf{x},y)$ 进行建模，然后通过贝叶斯公式计算后验概率 $p(y|\mathbf{x})$。

贝叶斯公式

给定样本 $\mathbf{x}$ 和类别 $c$，贝叶斯公式为：

$$p(c|\mathbf{x})=\frac{p(\mathbf{x}|c)p(c)}{p(\mathbf{x})}$$

其中 $p(c|\mathbf{x})$ 是后验概率，也是我们的目标；$p(\mathbf{x}|c)$ 是似然度，表示在类别 $c$ 下样本 $\mathbf{x}$ 出现的概率；$p(c)$ 是先验概率，表示类别 $c$ 出现的概率；$p(\mathbf{x})$ 是证据因子，是与类别无关的因子。

极大似然估计

在实际应用中，我们通常先假设似然 $P(\mathbf{x}|c)$ 有某种概率的分布形式（这种分布形式带有参数，而概率分布可被参数 ${\theta }_c$ 唯一确定），然后再根据训练样例对参数进行估计。

${\theta }_c$ 对于训练集 $\mathcal{D}$ 中的类别 $c$，可以通过极大似然估计得到：

$$P(D_c|{\theta }_c)=\prod _{i=1}^{N}P({\mathbf{x}}_i|c,{\theta }_c)$$

一般使用对数似然来简化计算并避免数值下溢：

$${\theta }_c=\arg \underset{\theta }{max}\log P(D_c|{\theta }_c)$$

例如，如果假设 $P(\mathbf{x}|c)$ 服从高斯分布，即 $P(\mathbf{x}|c)\sim \mathcal{N}({\mu }_c,{\mathbf{\Sigma }}_c^2)$，则可以通过最大似然估计得到（其中 $N$ 为训练集中类别 $c$ 的样本数）：

$$\begin{array}{rl}{\hat{\mu }}_c& =\frac{1}{N}\sum _{i=1}^N{\mathbf{x}}_i\\ {\hat{\sigma }}_c& =\frac{1}{N}\sum _{i=1}^N({\mathbf{x}}_i-{\hat{\mu }}_c)({\mathbf{x}}_i-{\hat{\mu }}_c{)}^T\end{array}$$

显然，估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布。上述的例子中，如果真实的分布不是高斯分布，那么使用高斯分布来估计参数会导致欠拟合。

朴素贝叶斯分类器

朴素贝叶斯分类器是一种简单的贝叶斯分类器，其朴素体现在特征之间相互独立的假设上。在这一假设下，我们有

$$p(c|\mathbf{x})=\frac{p(c)p(\mathbf{x}|c)}{p(\mathbf{x})}=\frac{p(c)\prod _{i=1}^{n}p(x_i|c)}{p(\mathbf{x})}$$

其中 $n$ 为特征的数量，$x_i$ 为 $\mathbf{x}$ 在第 $i$ 个属性上的取值。这样，我们可以通过计算 $p(c)\prod _{i=1}^{n}p(x_i|c)$ 来选择使得后验概率最大的类别作为预测结果。

对于 $p(\mathbf{x}|c)$ 的估计，我们可以使用最大似然估计来估计参数。例如，如果特征 $x_i$ 是离散的，那么可以简单地估计

$$p(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$

其中 $D_{c,x_i}$ 表示类别 $c$ 中属性 $i$ 取值为 $x_i$ 的样本集合，$D_c$ 表示类别 $c$ 的样本集合。

如果特征 $x_i$ 是连续的，那么可以假设 $p(x_i|c)$ 服从高斯分布，然后通过最大似然估计得到参数。