最小二乘法与回归分析（二）：一元线性拟合、多元线性拟合与曲线拟合

最小二乘法与回归分析（二）：一元线性拟合、多元线性拟合与曲线拟合

本文件是《18.3 最小二乘法与回归分析》的第二部分，在27-120-第18章_误差理论与数据处理基础/18.3-最小二乘法与回归分析_1的基础上，进一步阐述了回归分析的概念框架，并详细介绍了三种具体的拟合方法：一元线性拟合、多元线性拟合和曲线拟合。

回归分析概述

回归分析是应用数理统计（如最小二乘法）、机器学习等方法，研究建立一组随机变量和另一组变量之间的关系，揭示变量间内在规律的过程。回归分析常用于预测、控制等场景，其核心产出是反映变量间相互关系的经验公式（回归方程）。基于已知或假设条件确定变量间数学关系的过程就是建立数学模型。

在工程实践中，线性回归方程最为普遍，其一般形式为：

一元线性拟合

当独立变量只有一个时，回归分析退化为一元线性拟合（也称直线拟合）。拟合是指把平面上一系列的点用一条光滑的曲线整体上靠近它们，拟合的曲线一般可以用函数表示。一元线性回归方程为：

对于 $n$ 对测量数据 $(x_i,y_i)$，应用最小二乘法原理，使各测量数据点与回归直线的偏差平方和最小。所使用的误差方程组为：

其中 ${\hat{y}}_i$ 是在 $x_i$ 点上 $y$ 的估计值。在铜热电阻特性拟合的例子中，如果不知道电阻值与温度间存在关系 $R_t=R_0(1+\alpha t)$，则可尝试用一元线性回归分析的方法来建立经验公式。

多元线性拟合

多元线性拟合是多个线性关系变量测试结果的数学表示。设自变量 $y$ 与 $m$ 个因变量 $x_1,x_2,\cdots ,x_m$ 之间存在线性关系，测得 $n$ 组数据。多元线性拟合的数学模型可用矩阵表示为：

其中 $\text{mathbf}Y$ 为自变量矩阵，$\text{mathbf}X$ 为因变量矩阵，$\text{boldsymbol}\beta$ 为待估计参数向量，$\text{boldsymbol}\epsilon$ 为误差项矩阵。多元线性回归方程为：

由最小二乘法可推导得出多元线性拟合矩阵方程的解为：

曲线拟合

当变量之间的关系为曲线时，变量之间关系的数学表示的确定称为曲线拟合。曲线拟合一般分两步进行：

1. 确定函数类型：包括直接判断法（基于理论推导或以往的经验）和观察法（将测量数据值绘制在坐标纸上，根据曲线形状、特征及变化趋势给出数学模型，如指数曲线、对数曲线、双曲线、幂函数、S形函数等）。
2. 求解未知参数：通常通过变量代换将回归曲线转换成回归直线。例如，指数函数 $y=a{\text{e}}^{bx}$ 可通过变量代换 $r=\text{ln}y$、$s=\text{ln}a$，变换为 $r=s+bx$ 的一元线性回归问题，然后用最小二乘法求解。