2.8 看清实际错误程度

    任何时候你使用统计量来概括观测数据,你都有可能犯错。如果你需要知道自己已经多么接近真相,可以使用标准误差这个工具。

    在专业人士当中,或许唯有统计学家不仅自豪地承认自己的答案可能出错,而且会想尽办法精确地告诉你,他们实际上错到什么程度。当你执行一项调查,记录观测数据,或是执行某种类型的实验,你的结果所描述的仅仅是你的样本——你面前的顾客、患者、学生、金鱼或是成片的氪气石。推断性统计利用样本算出的值来估计样本代表的总体中相应值的大小。比如,根据样本中的平均数可以很好地估计出总体的平均数。问题是你要知道是否应当信任你的结果。

    2.8.1 校准误差并计算精确性

    一个样本的平均数不太可能和总体平均数完全一样,但很可能接近总体平均数。如果你想要知道自己的错误程度,那么能用标准误差来校正你的准确性。通过平均数的标准误差,可以大致估计出根据样本得出的估计平均数和实际总体平均数之间的差距。

    2.8 看清实际错误程度 - 图11.6节讨论了如何在测量中使用标准误差。计算标准误差让你知道你的测试分数和典型表现水平有多接近。正如测量使得我们能够计算个体观测分数附近95%的置信区间,统计学家通常针对众多样本值计算其附近95%的置信区间。

    幸好,对于任何想了解统计发现和潜在真相之间差距有多远的人来说,每个流行的统计方法都会提供一个标准误差。在介绍完下面的基本概念后,本节接下来会解释如何运用这些标准误差。

    • 描述性统计中的平均数标准误差。
    • 调查取样中的比例标准误差。
    • 回归中的估计标准误差。

    2.8 看清实际错误程度 - 图2在取样时,中心极限定理[Hack #2]是了解我们错误程度的关键工具,因为它提供了计算标准误差的公式并且提示所有样本概括值均呈正态分布。

    利用标准误差来核实统计分析结果的准确性,常用的方式有三种。选择哪个特定工具,取决于你是否想知道自己在多大程度上接近正确的估计。

    • 某个变量的总体平均分(例如,无任期保障的大学教授的平均工资)。
    • 总体中拥有某个特征的成员所占比例(例如,哪些人会投票支持我叔叔弗兰克担任捕狗员)。
    • 未来的表现(比如,你那只受过选择题答题训练的宠物猴可能获得的大学GPA成绩)。

    2.8.2 平均数估计

    样本平均数作为总体平均数估计值的准确性是以样本量为基础的。其计算公式如下:

    2.8 看清实际错误程度 - 图3

    随着样本量的增加,样本平均数越来接近于真实的总体平均数。如果你将样本量想象成独立观测数量的话,这个现象就能讲得通了:你对一件事物的观测次数越多,你的描述就越准确。

    2.8 看清实际错误程度 - 图4平均数的标准误差是众多样本的平均数与其总体平均数距离的平均数。

    2.8.3 比例估计

    当调查一群人组成的样本,并且结果用某个百分比或比例来呈现时(比如,72%的水手患有膝部关节炎),那么这个百分比会与调查整个总体得出的实际百分比存在一定距离。如果这个样本是随机选取的,那么比例标准误差就表示样本百分比和总体百分比的接近程度。

    比例的标准误差基于样本量和比例的大小。其计算公式如下:

    2.8 看清实际错误程度 - 图5

    和平均数的标准误差一样,随着样本量增加,比例的标准误差会降低。如果你有数学头脑,你也许会注意到,这个比例偏离0.50的程度越大,公式上半部分的数字就变得越小。

    因此,当我们进行计算时,样本比例偏离0.50的程度越大,比例的标准误差就越低。另一个有趣之处是,公式的顶部是样本变异量的指示。(比例)(1-比例)是比例标准差的平方。

    2.8 看清实际错误程度 - 图6比例的标准误差是样本比例和总体真实比例之间距离的平均。

    2.8.4 对未来表现的估计

    在回归分析里,用一个变量或多个变量上的分数来估计另一个变量的分数[Hack #13]。但是,被预测的分数很可能不完全正确。

    正如我们能够计算样本平均数和总体平均数之间距离的平均值,或者我们的调查结果和理论总体结果之间的距离,我们同样能够算出,平均来说,我们的回归预测结果和某个人实际获得分数的距离是多少。其计算公式如下:

    2.8 看清实际错误程度 - 图7

    方程式中用到的标准差是效标变量的标准差,效标变量就是你预测的变量。相关系数是你的预测变量和效标变量间的相关。

    2.8 看清实际错误程度 - 图8为了提高准确性(毕竟本条Hack的重点就在于此),我应该指出之前给出的标准误差的估计公式不完全正确。但是,它提供的结果和这个更为复杂而正确的公式几乎一样。

    2.8 看清实际错误程度 - 图9

    注意,这个公式里,相关系数越大,估计的标准误差就越小。这是合理的,因为如果两个变量间有很多信息重叠,你就能通过观察一个变量的分数,对另一变量的分数形成很好的概念。

    2.8 看清实际错误程度 - 图10估计的标准误差是实际分数和每个预测分数之间距离的平均值。

    2.8.5 标准误差的运用

    以下是如何使用这些方法,从而有一定把握来断定真相落在哪个区间。因为取样误差是正态分布的,标准误差可以和标准差一样,用来定义在正态曲线下分数的特定比例。

    比如说,如果想要提供一个总体的值有95%落入其中的值范围,我们可以围绕我们的样本值建立95%的置信区间。基于正态曲线[Hack #23],样本值左右1.96个标准误差应该能够提供一个范围值,我们能有95%的把握说这个范围值包含了总体的值。

    表2-11展现了一些标准误差,以及使用样本数据来计算置信区间[Hack #6]的例子。注意一个更大的样本是如何创建一个更接近总体值的样本估计,同样,更大的样本量会指向一个更加准确的置信区间。

    表2-11:建立95%的置信区间

    标准误差类型 标准差 样本量 样本值 标准误差 95%置信区间
    平均数标准误差 15 30 100 2.74 94.63~105.37
    平均数标准误差 15 60 100 1.94 96.20~103.80
    比例标准误差 0.25 30 0.50 0.09 0.32~0.68
    比例标准误差 0.25 60 0.50 0.06 0.38~0.62
    估计标准误差 15 30 100 14.81 70.97~129.03
    估计标准误差 15 60 100 14.65 71.29~128.71

    2.8 看清实际错误程度 - 图11表2-11中估计标准误差所对应的“样本值”那一列,是对某个变量的估计或预测分数的例子。例子中的这两个计算假定预测变量和效标变量之间的相关系数是0.25。

    2.8.6 弗兰克叔叔的捕狗员竞选

    我叔叔弗兰克最近在竞选捕狗员职位,作为他的竞选经理,我有机会使用我掌握的标准误差知识。在竞选的前几周,我在弗兰克叔叔居住的堪萨斯的Tonganoxie镇随机调查了30名投票人。我的调查显示50%的受访者表示会投我叔叔一票。我警告弗兰克叔叔,这个样本太小,不能非常准确地反映全体投票者的意愿。

    在查阅表2-11后,我认为如果对全镇所有的投票人进行调查,他们把票投给弗兰克的百分比可能会合理地落在32%和68%之间,虽然最可能的值是50%。当然,我叔叔这个乐观主义者,将这解释为他可能有68%的选票,因此拥有巨大的领先优势。他将剩余的竞选专用款都花在了一场大型选前庆功宴上。作为一个现实主义者,而且深知我叔叔在小镇里的名声,我本人认为结果会朝相反的方向发展。结果的确如此。但那没什么关系。那是一场不错的宴会。

    2.8.7 生效原理

    如果我们遵循下面的假设并运用一些常识,我们就能信任标准误差的准确性。

    • 取样误差是正态分布的

    这意味着这些误差的大小以一种符合正态曲线的形式分布。这样我们就能够计算这些有足够说服力的准确的置信区间。

    • 取样误差是无偏的

    这意味着样本值大于或小于总体值的可能性相同。这样非常方便,因为这意味着通过重复的研究,我们可以逐渐接近真正的总体值。

    公式以这样一种形式构建:如果你拥有少量总体信息或没有总体信息,样本估计中的误差大小约等于总体中标准差的大小。

    看看样本量为1的时候,平均数的标准误差或是比例的标准误差会是多少,或者,当相关系数是0.00时,估计的标准误差会是多少。直观来看,一个好的计算标准误差大小的公式应该做到总体信息越多,产生的误差越小。