Coursera Machine Learning 学习笔记(十二)

- Normal equation

       到目前为止,线性回归问题中都在使用梯度下降算法,但对于某些线性回归问题,正规方程方法是更好的解决方案。

       正规方程就是通过求解如下方程来解析的找出使得代价函数最小的参数:

       技术分享

       假设我们的训练集特征矩阵为X,我们的训练集结果为向量y,则利用正规方程解出向量:

       技术分享

       以下表所示的数据为例:

       技术分享

       运用正规方程方法求解参数为:

       技术分享

       注意:对于那些不可逆的矩阵(通常是因为特征之间相互不独立,如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征,或者是因为特征数量大于训练集的数量),正规方程的方法是不可用的。

       梯度下降与正规方程的比较如下所示:

       技术分享

      




声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。

Coursera Machine Learning 学习笔记(十二)