线性回归
线性回归是最简单的监督学习回归问题。监督学习的基本流程:
- 测试数据集,包含一系列
对 - 数据输入到学习算法
- 输出一个函数
,使得该函数可以很好地为输入的 x 生成对应的 y - 使用函数
对其他数据进行预测
- 测试数据集,包含一系列
函数的表示
其中, 始终为1。如果写成矩阵形式,即 , 则上述公式可以写成:
常用符号
符号 含义 参数 训练集的大小 输入 / 特征 输出 / 目标变量 训练集中第 i 个训练样本 训练集中某一个训练样本 第 i 个训练样例的第 j 个特征 特征数量 参数的选择
对于线性回归问题,目标参数可以形式化的表示为
通常被称为成本函数,即 cost function.
批量梯度下降和随机梯度下降
批量梯度下降

- 批量梯度下降形式化表示:
其中,
因此,线性回归的梯度下降公式就可以表示为:
- 这里的“批“的意思是:每一次进行梯度下降更新参数时,都用到了一批数据参与运算。在上面的例子中,我们将训练集中所有的数据作为“一批”。每一次参数更新时,计算该批中每一条数据对应的“损失”,最终将所有的损失求和,其实也就是
。然后根据 和公式$_j := _j - \ $ 对每个参数进行“一次“更新。
随机梯度下降
对于每一条数据,即
批量梯度下降法在进行一次迭代之前必须扫描整个训练集,如果m很大的话,计算开销非常高。而随机梯度下降法每次只针对一条数据进行梯度下降,因此能够更快地使
因此,通常更推荐使用随机梯度下降,尤其是数据集合规模较大的时候。
正规方程
基本形式
正规方程其实就是对上述的
推导
在推导之前我们需要用到以下公式:
下面就可以开始推导啦
令