[统计学笔记] （十）一元线性回归-白红宇

[统计学笔记] （十）一元线性回归

阅读量：4041 次

发布时间：2019-05-24

本文共 4199 字，大约阅读时间需要 13 分钟。

（十）一元线性回归

基本术语

回归这一术语最早来源于生物遗传学，由高尔顿（Francis Galton）引入。

回归的解释：回归分析是研究某一变量（因变量）与另一个或多个变量（解释变量、自变量）之间的依存关系，用解释变量的已知值或固定值来估计或预测因变量的总体平均值。

因变量： $\large Y$

自变量： $\large X$ 或 $\large X_{1}$ ， $\large X_{2}$ ， $\large X_{3}$ ，……等等。

数值型自变量和数值型因变量之间关系的分析方法，就是相关与回归分析。

相关与回归是处理变量之间关系的一种统计方法。如果研究的是两个变量之间的关系，则称为简单相关与简单回归分析；如果研究的是两个以上变量之间的关系，则称为多元相关与多元回归分析。

从变量之间的关系形态来看，有线性相关与线性回归分析及非线性相关与非线性回归分析。

变量之间的关系

变量之间的关系可以划分为：函数关系和相关关系。

函数关系是一一对应的关系。

变量之间存在的不确定的数量关系称为相关关系。

例子：

回归分析要解决的问题

从一组样本数据出发，确定变量之间的数学关系式；

对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响是显著的，哪些是不显著的；

利用所求的关系式，根据一个或几个变量的取值来估计或预测另一个特定变量的取值，并给出这种估计或预测的可靠程度。

一元线性回归

回归模型的表示：

$\large y = \beta _{0}+\beta _{1}x+\varepsilon$

其中： $\large \varepsilon$ 是误差项的随机变量。

回归模型：

$\large E\left ( y \right ) = \beta_{0} + \beta_{1}x$

一元线性回归方程的图示是一条直线，因此也称为直线回归方程。

例题讲解

一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。为弄清楚不良贷款形成的原因，管理者希望利用银行业务的有关数据做些定量分析，以便找到控制不良贷款的办法。

下表就是该银行所属的25家分行的有关业务数据：

管理者想知道，不良贷款是否与贷款余额、累计应收贷款、贷款项目的多少、固定资产投资额等因素有关？

如果有关系，他们之间是一种什么样的关系？关系强度如何？试绘制散点图，并分析不良贷款与贷款余额、累计应收贷款、贷款项目个数、固定资产投资额之间的关系。

绘制的散点图

用Excel【数据分析】中的【相关系数】工具计算的相关矩阵如下：

从相关矩阵可以看出，不良贷款与其它几个变量的关系中，与贷款余额的相关系数最大，而与固定资产投资额的相关系数最小。

常见问题

1、解释相关关系的含义，并说明相关关系的特点。

含义：变量之间存在的不确定的数量关系为相关关系。

特点：一个变量的取值不能由另一个变量唯一确定，当变量 $\large x$ 取某个值时，变量 $\large y$ 的取值可能有几个；变量之间的相关关系不能用函数关系进行描述，但也不是无任何规律可循。通常对大量数据的观察与研究，可以发现变量之间存在一定的客观规律。

2、相关分析主要解决哪些问题？

变量间是否存在关系；如果存在，是什么样的关系；变量之间的关系强度如何；样本所反映的变量之间的关系能否代表总体变量之间的关系。

3. 相关分析中有哪些基本假定？

两个变量之间是线性关系；两个变量都是随机变量。

4、简述相关系数的性质

公式：

$\large r = \frac{n\sum xy-\sum x\sum y}{\sqrt{n\sum x^{2}-\left ( \sum x \right )^{2}}\times \sqrt{n\sum y^{2}-\left ( \sum y \right )^{2}}}$

性质：

$\large -1\leq r\leq 1$ ；对称性 $\large r$ 的大小与 $\large x$ 和 $\large y$ 的原点及尺度无关； 𝑟 仅仅是 $\large x$ 与 $\large y$ 之间线性关系的一个度量，不能用于描述非线性关系； $\large r$ 虽然是两个变量之间线性关系的一个度量，不意味着 $\large x$ 和 $\large y$ 一定有因果关系。

5. 为什么要对相关系数进行显著性检验？

在对实际现象进行分析时，往往是利用样本数据计算相关系数作为总体相关系数的估计值，但由于样本相关系数具有一定的随机性，它能否说明总体的相关程度往往同样本容量有一定关系。因此需要对相关系数进行显著性检验，若在统计上是显著的，说明它可以作为总体相关程度的代表值，否则不能作为总体相关程度的代表值。

6. 简述相关系数显著性检验的步骤。

提出假设： $\large H_{0}$ ： $\large \rho =0$ $\large H_{1}$ ： $\large \rho \neq 0$

计算检验的统计量： $\large t = \left | r \right |\sqrt{\frac{n-2}{1-r^{2}}}$ ~ $\large t\left ( n-2 \right )$

进行决策：确定显著性水平，若 $\large t > t_{\alpha /2}$ ，拒绝原假设。

7. 解释回归模型、回归方程、估计的回归方程的含义

回归模型：描述因变量 𝑦 如何依赖自变量 𝑥和误差项 𝜀 的方程称为回归模型

表示为： $\large y = \beta _{0}+\beta _{1}x+\varepsilon$

回归方程：描述因变量 $\large y$ 如何依赖自变量 𝑥的方程称为回归方程，表示为： $\large E\left ( y \right ) = \beta_{0} + \beta_{1}x$

估计的回归方程：根据样本数据求出的回归方程，表示为： $\large \hat{y} = \hat{\beta _{_{0}}}+\hat{\beta _{1}}x$

8. 一元线性回归模型中有哪些基本假定？

因变量 $\large y$ 与自变量 $\large x$ 具有线性关系；在重复抽样中，自变量 $\large x$ 的取值是固定的，即假设 $\large x$ 是非随机的；误差项 $\large \varepsilon$ 是一个期望值为 0 的随机变量；对于所有的 $\large x$ 值， $\large \varepsilon$ 的 $\large \sigma ^{2}$ 都相同；误差项 $\large \varepsilon$ 是一个服从正态分布的随机变量，且独立，即 $\large \varepsilon$ ~ $\large N\left ( 0,\sigma ^{2} \right )$ 。

9. 简述参数最小二乘估计的基本原理

对于 $\large x$ 和 $\large y$ 的 $\large n$ 对观测值，用距离各观测点最近的一条直线来代表 $\large x$ 和 $\large y$ 之间的关系与实际数据的误差比其他任何直线都小。即使因变量的观测值与估计值之间的离差平方和达到最小来估计 $\large \hat{\beta _{0}}$ 和 $\large \hat{\beta _{1}}$ 。

10. 解释总平方和、回归平方和、残差平方和的含义，并说明他们之间的关系。解释总平方和、回归平方和、残差平方和的含义，并说明他们之间的关系

总平方和：对一个具体的观测值来说，变差的大小可以用实际观测值 $\large y$ 与其均值 $\large \overline{y}$ 之差 $\large \left ( y-\overline{y} \right )$ 来表示，而 $\large n$ 次观测值的总变差可由这些离差的平方和来表示，称为总平方和（SST）。

回归平方和：由于自变量 $\large x$ 的变化引起的 $\large y$ 的变化，而其平方和反映了 $\large y$ 的总变差中由于 $\large x$ 与 $\large y$ 之间的线性关系引起的 $\large y$ 的变化部分，它是可以由回归直线来解释的变差部分，称为回归平方和（SSR）。

残差平方和：除了 $\large x$ 对 $\large y$ 的线性影响之外的其他因素对 $\large y$ 变差的作用，是不能由回归直线来解释的变差部分，称为残差平方和（ SSE）。

关系：SST=SSR+SSE

11. 简述判定系数的含义和作用

含义：判定系数是对估计的回归方程拟合优度的度量。

作用：判定系数 $\large R^{2}$ 测度了回归直线对观测数据的拟合优度，取值范围 $\large \left [ 0,1 \right ]$ ；