线性回归是指一种用于确定自变量 x 与因变量 y 之间关系的方法。简单线性回归方程:y = b0 b1x。其中,y是因变量,x是自变量,b0是截距,通常称为常数项,b1是斜率。可以使用最小二乘法或梯度下降法计算得到回归方程的系数。
最小二乘法是利用误差平方和最小的原则来确定参数的方法。误差平方和表示为:S = Σ(yi - b0 - b1xi)2,即所有点到回归线的距离的平方和。利用S对b0和b1求偏导,分别令偏导等于0,就可以得到最小二乘法的解析解。
梯度下降法是一种优化算法,可以通过不断迭代来优化模型参数。对于回归问题,可以使用梯度下降法来求解回归方程的参数。具体来说,可以计算出误差对每一个参数的偏导数,然后利用偏导数来更新参数,使误差逐渐减小。