Python实现多项式拟合正弦函数详情

这篇文章主要介绍了Python实现多项式拟合正弦函数详情,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下!

1. 实验目的

掌握最小二乘法求解(无惩罚项的损失函数)、掌握加惩罚项(2 范数)的损失函数优化、梯度下降法、共轭梯度法、理解过拟合、克服过拟合的方法(如加惩罚项、增加样本)

2. 实验要求

生成数据,加入噪声;

用高阶多项式函数拟合曲线;

用解析解求解两种 loss 的最优解(无正则项和有正则项)

优化方法求解最优解(梯度下降,共轭梯度);

用你得到的实验数据,解释过拟合。

用不同数据量,不同超参数,不同的多项式阶数,比较实验效果。

语言不限,可以用 matlab,python。求解解析解时可以利用现成的矩阵求逆。梯度下降,共轭梯度要求自己求梯度,迭代优化自己写。不许用现成的平台,例如 pytorch,tensorflow 的自动微分工具。

3. 实验内容

3.1 算法原理

本实验需要用多项式来拟合正弦函数。在 m 阶多项式中,有 m+1 个待定系数,m+1 个系数(由低到高)组成的(列)向量记作 w。要确定 w,用最小二乘法。

设 E(w) = 1/2 * (Xw – Y)^T(Xw – Y),其中,X 为多项式中各个未知项代入观测数据求得的矩阵,若记 Xi 为 X 的第 i 行的向量,则 Xi[j]为第 i 个观测数据 xi 的 j 次方,记有 n 组观测数据,多项式最高次为 m,易知 X 的维度为 n * (m+1)。Y 为观测标签向量。即 Y[j]为第 j 组观测数据的标签值(即 y 值)。从而问题转化为:求向量 w,使得 E(w)最小。

若不加入正则项,令损失函数导数为零,求 w若加入正则项,令损失函数导数为零,求 w加入正则项,对损失函数用梯度下降,当损失函数收敛时,求 w加入正则项,对损失函数用共轭梯度法,循环迭代 m+1 次,求 w 3.2 算法实现 生成数据,加入噪声

Python实现多项式拟合正弦函数详情

用高阶多项式函数拟合曲线;

Python实现多项式拟合正弦函数详情

用解析解求解两种 loss 的最优解(无正则项和有正则项)

无正则项:

Python实现多项式拟合正弦函数详情

有正则项:

Python实现多项式拟合正弦函数详情

优化方法求解最优解(梯度下降,共轭梯度)

梯度下降法:

Python实现多项式拟合正弦函数详情

共轭梯度法:

Python实现多项式拟合正弦函数详情

用你得到的实验数据,解释过拟合。

多项式次数为 1 时:

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

多项式次数为 3 时:

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

当多项式次数为 5 时:

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

当多项式次数为 7 时:

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

当多项式次数为 9 时:

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情

Python实现多项式拟合正弦函数详情