• 欢迎访问数智,大数据学习

【ML第八节】:机器学习之逻辑回归算法

机器学习 Raybra_Wei 2年前 (2018-09-06) 519次浏览 0个评论 扫描二维码

逻辑斯特回归虽然在名字上叫做回归,但是这个算法是用于分类的。

思想:根据现有数据对分类边界线建立回归公式,以此进行分类。

       优点:计算代价不高,易于理解和实现

       缺点:容易欠拟和,分类精度可能不高

       适用数据类型:数值型和标称型数据

我们在构造逻辑回归模型是需要这样一个数学函数,当我们输入一个数据后他会把它归类,输出比如 0 或 1 这样的值。这里我们就使用了 Sigmoid 函数来达到我们的需求,在前面已提到。Sigmoid 的具体计算公式如下:

【ML 第八节】:机器学习之逻辑回归算法【ML 第八节】:机器学习之逻辑回归算法

在上图中可以看出,当 x 轴的值为 0 时。它的值是 0.5,随着 x 的增大,对应的 Sigmoid 值无限逼近 1,反之逼近 0;基于此,为实现 Logistic 回归分类器,我们可以在每个特征前面乘上一个系数,然后把所有的结果相加,将总和带入到 Sigmoid 函数中,就得到了一个 0-1 的值,然后将大于 0.5 的值归于 1,小于 0.5 的值归于 0;这样就达到了分类的目的。

上面完成了分类的方法,现在解决特征前的系数为多少最好呢?是不是可以参照多元线性回归的方法,引入类似的损失函数呢?答案是肯定的,但是我们需要在原来的基础上做一些改变,如果就用多元线性回归的损失函数,可以发现在计算平方误差时,我们的真实值总是.0 或者 1,这样产生的结果会是,打得到一条动荡的损失函数曲线:

【ML 第八节】:机器学习之逻辑回归算法

如果损失函数是这样,就不能运用梯度下降的方法来进行损失函数最优优化了。因此关于逻辑回归的损失函数如下:
【ML 第八节】:机器学习之逻辑回归算法将上面的损失函数构造成一个函数如下:

【ML 第八节】:机器学习之逻辑回归算法

为了防止过拟合现象,加入正则化项:

【ML 第八节】:机器学习之逻辑回归算法

这样我们就可以用梯度下降的方法来求最优参数了,从而实现了逻辑回归算法。


数智 Lab , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:【ML 第八节】:机器学习之逻辑回归算法
喜欢 (2)
[]
分享 (0)
关于作者:
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址