🔢 高中数学选择性必修第三册第八章 成对数据的统计分析线性回归最小二乘法回归直线残差决定系数

一元线性回归模型

理解一元线性回归模型及随机误差,会用最小二乘法求经验回归方程,借助残差和决定系数评价拟合并谨慎开展预测。

难度:★★★★★

💡一条直线怎样代表一团散点

散点图中的点通常不会完全共线,但若总体呈线性趋势,可以寻找一条最能代表点云的直线,用学习时间预测成绩或用温度解释用电量。不同直线都能穿过点云,必须有统一标准决定哪一条更合适。

最小二乘法选择使残差平方和最小的直线。它给出数据中的线性趋势,而不是把随机波动变成确定关系。

🎯学习目标与考查重点
  • 理解一元线性回归模型中解释变量、响应变量和随机误差。
  • 掌握最小二乘估计 a^,b^\hat a,\hat b 的公式与性质。
  • 会由汇总量求经验回归方程并进行区间内预测。
  • 理解预测值、观测值与残差的区别。
  • 会结合残差图、残差平方和和决定系数评价线性拟合。

一、线性回归模型

一元线性回归模型写作

Y=bx+a+e,Y=bx+a+e,

其中 xx 是解释变量,YY 是响应变量,a,ba,b 是未知参数,ee 是随机误差,通常假设误差均值为零。模型表示给定 xx 时,YY 围绕直线 bx+abx+a 随机波动,而不是每个观测都严格落在直线上。

利用样本估计参数后,得到经验回归方程

y^=b^x+a^.\hat y=\hat bx+\hat a.

其中 y^\hat y 是给定 xx 时响应变量的预测值,不是保证出现的真实值。斜率 b^\hat b 表示在模型范围内,xx 每增加一个单位,yy 的平均预测值变化 b^\hat b 个单位;截距只有在 x=0x=0 具有实际意义且靠近观测范围时才宜作实质解释。

二、最小二乘估计

第 ii 个观测的残差为

ei=yi−y^i=yi−(b^xi+a^).e_i=y_i-\hat y_i=y_i-(\hat bx_i+\hat a).

最小二乘法选择 a^,b^\hat a,\hat b,使残差平方和

Q=∑i=1nei2Q=\sum_{i=1}^n e_i^2

最小。平方能避免正负残差直接抵消,并对较大偏差给予更高权重。在 xix_i 不全相等时,估计公式为

b^=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2,\hat b=\frac{\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)} {\sum_{i=1}^n(x_i-\bar x)^2}, a^=yˉ−b^xˉ.\hat a=\bar y-\hat b\bar x.

因此回归直线必过样本中心点 (xˉ,yˉ)(\bar x,\bar y)。若已算出相关系数和样本标准差,也可写成 b^=r(sy/sx)\hat b=r(s_y/s_x),前提是两标准差采用一致定义且 sx≠0s_x\ne0。

🔑

经验回归直线通过样本中心,斜率由共同变化量除以 xx 的离差平方和得到。它描述平均线性趋势,预测值必须与随机误差和个体观测区分。

三、残差与拟合评价

残差图以解释变量或预测值为横坐标、残差为纵坐标。若点在零线附近无规律散布,线性模型较为合理;若出现明显弯曲,说明可能遗漏非线性结构;若波动随 xx 增大而扩大,说明误差稳定性可能不足;孤立的大残差则提示异常观测。

常用决定系数

R2=1−∑i=1n(yi−y^i)2∑i=1n(yi−yˉ)2R^2=1-\frac{\sum_{i=1}^n(y_i-\hat y_i)^2} {\sum_{i=1}^n(y_i-\bar y)^2}

衡量模型对样本中响应变量变异的解释比例。在含截距的一元线性回归中有 R2=r2R^2=r^2。R2R^2 越接近 11,样本内线性拟合通常越好;但高 R2R^2 不证明因果,也不保证样本外预测准确。

仅比较残差平方和还要注意数据尺度和样本量。单位变化会改变平方和,跨数据集评价时应结合图形、标准化指标和实际误差容忍度。

四、预测、插值与外推

把给定 x0x_0 代入经验回归方程得到 y^0\hat y_0,这是点预测。若 x0x_0 位于样本解释变量范围内,称为插值,通常相对稳妥;若远离样本范围,称为外推,线性规律可能已经改变,风险更大。

预测新个体时,实际值还包含随机误差,不能写成必然等于 y^0\hat y_0。参数由样本估计也有不确定性,因此严谨预测通常还需区间估计。高中阶段即使只算点预测,也应说明它是模型下的估计值。

若变量存在时间趋势、混杂因素或反向影响,回归斜率不应直接解释为因果效应。改变 xx 的单位会改变斜率数值;交换解释变量和响应变量通常会得到另一条回归直线,不能把方程简单代数变形后当作反向回归。

例 1原创基础例题:由汇总量求回归方程

某组数据满足 xˉ=4\bar x=4,yˉ=10\bar y=10,

∑(xi−xˉ)(yi−yˉ)=30,∑(xi−xˉ)2=20.\sum(x_i-\bar x)(y_i-\bar y)=30,\qquad \sum(x_i-\bar x)^2=20.

求经验回归方程,并预测 x=6x=6 时的 yy。

✏️ 查看分步解析
b^=3020=1.5,\hat b=\frac{30}{20}=1.5,a^=10−1.5×4=4.\hat a=10-1.5\times4=4.

所以经验回归方程为

y^=1.5x+4.\hat y=1.5x+4.

当 x=6x=6 时,y^=13\hat y=13。直线经过 (4,10)(4,10),因为 1.5×4+4=101.5\times4+4=10,可作为计算核验。1313 是预测值,不保证某个实际观测恰好等于 1313。

例 2原创进阶例题:残差与模型比较

同一数据集的模型甲预测值为 8,11,158,11,15,模型乙预测值为 9,12,139,12,13,实际值为 10,12,1410,12,14。分别求残差平方和,按该指标选择模型。

✏️ 查看分步解析

按“实际值减预测值”,模型甲残差为 2,1,−12,1,-1,所以

Q甲=22+12+(−1)2=6.Q_\text{甲}=2^2+1^2+(-1)^2=6.

模型乙残差为 1,0,11,0,1,所以

Q乙=12+02+12=2.Q_\text{乙}=1^2+0^2+1^2=2.

在同一数据、同一单位下,乙的残差平方和更小,按这一指标拟合更好。但只有三个点,仍应检查残差模式和模型来源,不能把较小平方和等同于因果正确。

⚠️易错点
  • 模型含随机误差,YY 不会必然等于回归直线上的预测值。
  • 残差定义为观测值减预测值,注意顺序与符号。
  • 截距只有在 x=0x=0 有实际意义且范围合理时才宜解释。
  • 回归直线必过 (xˉ,yˉ)(\bar x,\bar y),可用来核验参数。
  • 高相关或高 R2R^2 不证明因果,远距离外推尤其危险。
🌏生活应用:用电量预测

用日平均气温预测空调用电量时,可在历史温度范围内拟合回归线并检查残差。若残差图呈弯曲,可能是低温和高温都会增加用电,简单直线不合适;若未来温度远超历史范围,直接外推也不可靠。节假日、建筑面积和设备更新都可能改变关系,预测报告应注明数据时期、适用范围和误差。

五、自测与解析

1. 中心点性质

经验回归方程为 y^=2x+1\hat y=2x+1,且 xˉ=3\bar x=3,求 yˉ\bar y。

✏️ 查看答案

回归直线经过 (xˉ,yˉ)(\bar x,\bar y),所以 yˉ=2×3+1=7\bar y=2\times3+1=7。

2. 残差计算

某观测为 (4,12)(4,12),回归方程为 y^=2x+3\hat y=2x+3,求残差。

✏️ 查看答案

预测值为 1111,残差为实际减预测,即 12−11=112-11=1。

3. 外推判断

样本的 xx 范围为 1010 到 2020,用回归方程预测 x=80x=80 是否稳妥?

✏️ 查看答案

不稳妥。这是远离观测范围的外推,原有线性关系可能不再成立,应补充该范围数据或说明高度不确定。

📺B 站视频讲解去 B 站观看「一元线性回归模型视频讲解」优质讲解视频 →