1.1.1　概率定义

概率是对一个事件将要发生的可能性的一种测度。概率值在0到1之间，0代表不可能发生，1代表确定发生。事件的概率值越高，它发生的可能性就越大。

假设概率值P为某个事件A发生的概率，记作P(A)，(Ω，F，P)为一个测度空间，其中Ω表示样本空间，F表示事件空间，那么满足以下公理。

公理1：事件的概率是一个非负实数，且P(A)∈R，即P(A)≥0，A∈F。

公理2：样本空间集合的概率值为1，即P(Ω)=1。

公理3：任意可数的无交集的事件序列A₁，A₂，…，满足如下条件：

通过上面3条公理，可以得出以下3条推论：

推论1：空集的概率值为0，P(φ)=0。

推论2：如果A是B的子集或者A等于B，那么A发生的概率一定小于或者等于B发生的概率，即if AB then P(A)≤P(B)。

推论3：任意事件发生的概率值在0到1之间，即0≤P(A)≤1。

概率具有的基本性质如下：

1）P(A)=1–P(A)

2）P(A–B)=P(A)–P(AB)

3）P(A∪B)=P(A)+P(B)–P(AB)，特别地，当BA时，P(A–B)=P(A)–P(B)且P(B)≤P(A)；P(A∪B∪C)=P(A)+P(B)+P(C)–P(AB)–P(BC)–P(AC)+P(ABC)

4）若A₁，A₂，…，A_n两两互斥，则

5）P(AB)=P(A)–P(AB)，P(A)=P(AB)+P(AB)，P(A∪B)=P(A)+P(AB)=P(AB)+P(AB)+P(AB)

6）条件概率P(A|B)满足概率的所有性质，例如：P(|B)=1–P(A₁|B)，P(A₁∪A₂|B)=P(A₁|B)+P(A₂|B)–P(A₁A₂|B)，P(A₁A₂|B)=P(A₁|B)P(A₂|A₁B)

7）若A₁，A₂，…，A_n相互独立，则，

8）互斥、互逆与独立性之间的关系：A与B互逆A与B互斥，反之不成立；A与B互斥（或互逆）且均非零概率事件A与B不独立。

9）若A₁，A₂，…，A_m；B₁，B₂，…，B_n相互独立，则f(A₁，A₂，…，A_m)与g(B₁，B₂，…，B_n)也相互独立，其中f(A)、g(B)分别表示对相应事件做任意事件运算后所得的事件。另外，概率为1（或0）的事件与任何事件相互独立。

概率定义的实质是从大量可重复的试验中总结出来的一些规律。下面介绍几个重要的概念。

古典概率：如果一个可重复的试验可能出现N种不同的结果，试验的一组事件为{A₁，A₂，…，A_i}，并且所有结果出现的可能性相同，假设任意事件A_i可能出现的结果有N个，M表示事件数，则事件A_i发生的频率为Q(A_i)=N/M。如果N趋向于无穷大，则频率Q(A_i)无限接近概率P(A_i)，即

条件概率：在已知事件B发生的情况下，事件A发生的概率，称为条件概率P(A|B)，即

当P(B)>0，变换上述公式，可以得到：

上述公式的一般形式称作概率的乘法规则：

条件概率满足以下性质：

1）P(A|B)≥0

2）P(Ω|B)=1

3）如果事件A_i独立不相容，则

如果A_i、A_j条件独立，则

全概率公式：假设样本空间为Ω，试验的一组事件为{B₁，B₂，…，B_i}，事件两两相斥，则

其中，B₁，B₂，…，B_n为样本空间Ω的一个划分。事件A的全概率公式为：

全概率公式的意义在于，当直接计算P(A)较为困难，而P(B_i)、P(A|B_i)(i=1，2，…)的计算较为简单时，可以利用全概率公式计算P(A)。公式的含义是，将事件A分解成几个小事件，先求小事件概率，然后相加从而求得事件A的概率。注意，对事件A进行分割，不是直接对A进行分割，而是先找到样本空间Ω的一个个划分小事件B₁，B₂，…，B_n，这样事件A就被事件AB₁，AB₂，…，AB_n分解成了n部分，即A=AB₁+AB₂+…+AB_n。在每一个小事件B_i中，事件A发生的概率是P(A|B_i)。

贝叶斯公式：与全概率公式相反，贝叶斯公式是在条件概率的基础上寻找事件B发生的概率（即在大事件A已经发生的条件下，求分割中的小事件B_i发生的概率）。设B₁，B₂，…，B_i是样本空间Ω的一个划分，则对任一事件A(P(A)>0)有：

贝叶斯公式也称朴素贝叶斯公式，P(B_i|A)为后验概率，P(B_i)为先验概率，P(A|B_i)为似然。在实际机器学习应用过程中，贝叶斯公式经常用到，全概率公式则很少用到。

例1：假设一个女孩天生聪明的概率是P(A)=1/10，一个女孩漂亮的概率是P(B)=1/10，一个女孩学习机器学习的概率是P(C)=1/100，求一个既聪明又漂亮的女孩学习机器学习的概率是多少？

解：P(A，B，C)=P(A)×P(B)×P(C)=

例2：假设一个女孩天生聪明的概率是P(A)=1/10，聪明的女孩子学习机器学习的概率是P(B|A)=1/1000，一个人学习机器学习的概率是P(B)=1/100，求一个学机器学习是聪明女孩的概率是多少？

解：P(A|B)=P(A)×P(B|A)/P(B)=