代码人生的小狗窝

一行行枯燥的代码,却描绘出人生的点点滴滴

您现在的位置是:首页>_GIS

机器学习算法札记1_2:分类和逻辑回归(Classification and Logistic regression)

发布时间:2018-08-14浏览(2460)

    机器学习算法笔记1_2:分类和逻辑回归(Classification and Logistic regression)
    1. 形式:

      采用sigmoid函数:
      g(z)=11+ez

      其导数为g(z)=(1g(z))g(z)
      假设:

      即:

      若有m个样本,则似然函数形式是:

      对数形式:

      采用梯度上升法求其最大值
      求导:

      更新规则为:

      可以发现,则个规则形式上和LMS更新规则是一样的,然而,他们的分界函数hθ(x)却完全不相同了(逻辑回归中h(x)是非线性函数)。关于这部分内容在GLM部分解释。
      注意:若h(x)不是sigmoid函数而是阈值函数:

      这个算法称为感知学习算法。虽然得到更新准则虽然相似,但与逻辑回归完全不是一个算法了。
    2. 另一种最大化似然函数的方法–牛顿逼近法
      • 原理:假设我们想得到一个函数的过零点f(θ)=0,可以通过一下方法不断更新θ来得到:

        其直观解释如下图:

        给定一个初始点θ0,如果f(θ0)和其导数同号说明过零点在初始点左边,否则在初始点右边,将初始点更新过该店的切线的过零点继续上述步骤,得到的切线过零点会不断逼近最终所要求的函数过零点。
      • 应用: 在逻辑回归中,我们要求似然函数的最大(最小)值,即似然函数导数为0, 因此可以利用牛顿逼近法:

        由于lr算法中θ是一个向量,上式改写为:

        其中H为Hessian矩阵:

        牛顿法往往比(批处理)梯度下降法更快收敛。