机器学习入门之《统计学习方法》笔记——朴素贝叶斯法

  朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。目录朴素贝叶斯法参数估计极大似然估计学习与分类算法算法 朴素贝叶斯算法贝叶斯估计小结参考文章朴素贝叶斯法  设输入空间X⊆RnX⊆RnX\subseteq \mathbb{R}^n 为nnn 维向量的集合,输出空间为类标记集合Y={c1,c2,...,cK}Y={c1,c2,...,cK}Y=\left \{

  朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。


目录


朴素贝叶斯法

  设输入空间XRnn 维向量的集合,输出空间为类标记集合Y={c1,c2,...,cK} ,输入特征向量xX ,输出类标记为yYP(X,Y)XY 的联合概率分布,数据集

T={(x1,y1),(x2,y2),...,(xn,yn)}

P(X,Y) 独立同分布产生。

  朴素贝叶斯法就是通过训练集来学习联合概率分布P(X,Y) .具体就是从先验概率分布和条件概率分布入手,俩概率相乘即可得联合概率。

  称之为朴素是因为将条件概率的估计简化了,对条件概率分布作了条件独立性假设,这也是朴素贝叶斯法的基石,假设如下

P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)

k=1,2,...,K

  这个公式在之前的假设条件下等价于

j=inP(X(j)=x(j)|Y=ck)

  对于给定的输入向量x ,通过学习到的模型计算后验概率分布P(Y=Ck|X=x) ,后验分布中最大的类作为x 的输出结果,根据贝叶斯定理可知后验概率为