21-5 根据正态分布进行贝叶斯推理的公式

接下来,对于上上节中进行的、将正态分布作为共轭先验分布而进行的推理计算进行说明。

根据正态分布进行贝叶斯推理的公式

将需要推理的θ的先验分布设定为平均值μ0 、标准偏差б0 的正态分布;将观察的信息x 设为遵循平均θ、标准偏差б的正态分布。至于μ0 、б0 、б,则设为具体已知的数值。换言之,设定关于信息x 的附带条件概率密度p(x |θ)为平均值θ、标准偏差б的正态分布。

(ⅰ)只观察1次信息时的公式:

把观测到的值设为x ,则:

(观测到x 之后,θ的后验分布 )p(θ|x )为关于θ的正态分布。

正态分布p(θ|x )的平均值(期待值)为,21-5 根据正态分布进行贝叶斯推理的公式 - 图1

(ⅱ)观察n次信息时的公式:

若把观测到的n个数值的平均值(为(观察值的合计)÷n)记为x ,

则(观测到 x 之后,θ的后验分布)p(θ|)为关于θ的正态分布。

正态分布21-5 根据正态分布进行贝叶斯推理的公式 - 图2 的平均值(期待值)为,21-5 根据正态分布进行贝叶斯推理的公式 - 图3

以下,用略显烦琐的文字来进行解说:

首先,标准偏差的2次方是被称为“方差”的量。 方差,也是标准统计学中重要的统计量之一。

在正态分布中,后验分布的平均值按照以下方法进行计算:

观测值只有1个的情况下,按照以下公式计算:

(先验分布的平均值)÷(先验分布的方差)+(观测值)÷(信息x 的方差)

之后,用下面的式子相除:

(先验分布的方差的倒数)+(信息x 的方差的倒数)

此处,若重现21-3中的计算,则为:

(先验分布的平均值)÷(先验分布的方差)=21-5 根据正态分布进行贝叶斯推理的公式 - 图4

(观测值)÷(信息x 的方差)=21-5 根据正态分布进行贝叶斯推理的公式 - 图5

(先验分布的方差)的倒数=21-5 根据正态分布进行贝叶斯推理的公式 - 图6

(信息x 的方差)的倒数=21-5 根据正态分布进行贝叶斯推理的公式 - 图7

在该计算中,由于用方差大的数进行除法运算之后,结果反而变小,所以我们得知:方差小的数值对于修正值的影响更大。

在有多个(n个)观测值的情况下,只要将当前计算的“观测值的方差”之处进行n倍计算即可。在正态分布中,(ⅱ)的公式在观测n次之后的平均 x 的平均标准偏差为:

(原来的标准偏差)÷21-5 根据正态分布进行贝叶斯推理的公式 - 图8 (见20-5)

那么,n次观察后的x 平均方差,则为上述结果的2次方,即:

(原来的方差)÷n