最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。
贝叶斯定理是在250多年前发明的算法，在信息领域内有着无与伦比的地位。贝叶斯分类是一系列分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。朴素贝叶斯算法（Naive Bayesian) 是其中应用最为广泛的分类算法之一。
贝叶斯定理
描述
贝叶斯定理是关于随机事件A和B的的一则定理。
在贝叶斯定理中，每个名词都有约定俗成的名称：
- P(A)是A的。之所以称为"先验"是因为它不考虑任何B方面的因素。
- P(A|B) 由于得自B的取值而被称作A的。
- P(B|A) 由于得自A的取值而被称作B的。
- P(B)是B的，也作。
按这些术语，Bayes定理可表述为：
后验概率 = (相似度*先验概率) / 标准化常量
P(B|A)称为“可能性函数”，这是个调整因子，使得预估计概率更接近真实概率。
所以，条件概率可以理解为式子：
后验概率 = 先验概率 * 调整因子
这就是贝叶斯推断的含义：我们先预测一个“先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了“先验概率”，由此得到更加真实的“后验概率”。
在这里，如果“可能性函数”P(B|A)>1,意味着“先验概率”被增强，事件A发生的可能性增大；如果“可能性函数”P(B|A)=1，意味着事件B无助于判断事件A的可能性；如果“可能性函数”P(B|A)<1，意味着“先验概率”被减弱，事件A发生的可能性变小。
推导
根据的定义。在事件B发生的条件下事件A发生的概率是
。
同样地，在事件A发生的条件下事件B发生的概率
整理与合并这两个方程式，我们可以找到
这个引理有时称作概率乘法规则。上式两边同除以P(B)，若P(B)是非零的，我们可以得到贝叶斯定理:
贝叶斯定理通常可以再写成下面的形式：
其中AC是A的。故上式亦可写成：
在更一般化的情况，假设{Ai}是事件集合里的部分集合，对于任意的Ai，贝叶斯定理可用下式表示：
案例
30 20
10 20
暗箱操作，现在从其中一个箱子中得到一个绿球，问是从黑箱中取得的概率是？
分析：假定“从黑箱中取球”为事件A，“从红箱中取球”为事件B，“取到绿球”为事件M.
则问题为求P(A|M)
由贝叶斯定理得：P(A|M) = P(A) * P(M|A) / P(M)
= P(A) * P(M|A) /[ P(M|A)*P(A) + P(M|B) *P(B)]
其中，P(A)=P(B) = 1/2, P(M|A) = 3/4, P(M|B) = 1/2
结果为0.6，表明，来自黑箱的概率为0.6。也就是得到绿球后，事件A（取自于黑箱）的可能性增强了。