15-4 通过条件概率的公式理解后验概率
接下来,终于到了解说绍贝叶斯推理条件概率的使用方法第二阶段的环节。
用壶的例子来解释的话,贝叶斯推理就是通过“取出的球为黑球”这一信息,来推测“该壶为B壶”的概率。由于“取出的球为黑球”是观察的“结果”,而“该壶为B壶”是“原因”,从“结果”来推测“原因”,听起来是一个奇妙的过程。而这个过程之所能够实现,关键就在于条件概率的定义。
我们要计算的是:在获得到“取出的球为黑球”这一信息之后,“该壶为B壶”的概率。由于已经明确定义了条件概率,因此可以完全确定下来,即条件概率为:
p(B|黑)
而该条件概率的计算方法,在15-2中已经给出,即:
p(B|黑)=p(B&黑球)÷p(黑球)…(3)
的计算,可以求出。因此,只要知道概率p(B&黑球)和概率p(黑球)的数值,然后用除法运算,就可以求出了。
前面的p(B&黑球),运用刚刚在(1)(2)式子中求出p(A&黑球)同样的计算方法,就可以求出。即为,
p(B&黑球)=p(B)×p(黑|B)…(4)
这里,需要注意的是:条件概率p( )中的内容被随意地左右替换。在(3)中是p(B|黑),而在(4)中则是p(黑|B)。前者为需要计算的数值,而后者可以通从模型的设定得出结果为0.8。而事件“该壶为B壶”与事件“取出的球为黑球”可以进行更换,正是贝叶斯推理的秘密所在。那么,从(4)中可以计算出
p(B&黑球)=0.5×0.8=0.4 …(5)
而关于概率p(黑球)的计算,由于“取出的球为黑球”这一事件是能够通过
“黑球”={A&黑球,B&黑球}
以及使用了符号&的各个基本事件表示出来,因此,可以运用以下方法计算求出:
p(黑球)=p(A&黑球)+p(B&黑球)
右边的第一项是通过(1)求得,而第二项是通过(4)求得的。将结果代入上述式子中,可以得出:
p(黑球)=p(A)×p(黑|A)+p(B壶)×p(黑|B)…(6)
因此,把(4)和(6)代入(3)中,可以得出下面的计算公式:
这被称为“贝叶斯公式” 。
进行具体计算,则为:
式子(7)可以按照以下思路来理解:左边表示从“黑球”的结果追溯到“B壶”这一原因的概率,从直观上不是很容易理解。而右边的p(A)和p(B)均为每一类别的先验概率,p(黑|A)和p(黑|B)是由原因推导出的结果的概率,这一点已经在设定中予以说明。换言之,式子(7)是通过已知的概率(右边),推导出直观上看不出的概率(左边)的计算方式。
乍一看式子(7),可能会觉得计算过程很复杂,令人迷惑。不过,只要在面积图中填入前面讲过的概率符号,就能明白“现在做的,只是把之前面积图的方法直接转换为计算公式罢了” 。
图表15-4 贝叶斯逆概率的公式
下面请观察图表15-4 。迄今为止,我们采用的计算方式都是在获得“取出的球为黑球”这一信息之后,再得出以下比例关系:
(A的后验概率):(B的后验概率)
=(A&黑球的面积):(B&黑球的面积)
用条件概率来描述,则可以得到如下比例公式:
p(A)p(黑|A):p(B)p(黑|B)…(8)
式子(8)中,左右两边的计算,与通过乘法计算长方形的长宽而得出的概率是一样的。然后,在满足标准化条件的情况下进行变形(左右数值之和相除),得到:
由此又可以得到以下公式:
最后的式子(9),与(7)是完全相同的。
下面,我们通过用来说明条件概率的面积比例的思路,再次进行探讨。
现在,我们已经获得了“取出的球为黑球”这一信息,那么,正如15-2中的解说,B的条件概率即为:在表示“A&黑球”的长方形与表示“B&黑球”的长方形的总和(表示事件“黑球”的情况)中,表示“B&黑球”的长方形所占面积的比例这一数值。而在式子(8)中,左侧为表示“A&黑球”的长方形的面积,右侧为表示“B&黑球”的长方形的面积。因此,用右侧来除以左右之和,其结果,与“在‘取出的球为黑球’的情况下,计算表示‘B&黑球’的长方形面积所占比例”的结果是相同的。这也意味着,最后的计算与条件概率p(B|黑)的面积所代表的意义相一致。
最后需要说明的一点重要内容:采用贝叶斯推理方法计算后验概率时,无须考虑式子(7)中的分母。 要点是,因为有了比例公式(8),那么(7)和(9)的分母,只是用来恢复标准化条件罢了,可以忽略。毕竟,关键点在于比例关系。因此我们只需记住比例公式(8)即可。
