机器学习基石PLA相关

1.PPT中定理的证明

P:证明，当w0=0w0=0w_0=0时，经过TTT次迭代，有以下关系式：

wfT‖wf‖wT‖wT‖≥T⋅constant" role="presentation">wTf‖wf‖wT‖wT‖≥T‾‾√⋅constantwfT‖wf‖wT‖wT‖≥T⋅constant\begin{equation}\frac{w_f^T}{\|w_f\|}\frac{w_T}{\|w_T\|}\ge\sqrt{T}\cdot constant\end{equation}

下图中通过wfwfw_f与wtwtw_t这两个向量之间求内积说明wtwtw_t与wfwfw_f之间是越来越接近的。见图1：
但是内积变大有可能是向量的坐标值的变化，要证明两个向量变的更加接近，还需解决向量长度的问题。见图2：

要证明wTf‖wf‖wT‖wT‖≥T‾‾√⋅constantwfT‖wf‖wT‖wT‖≥T⋅constant\begin{equation}\frac{w_f^T}{\|w_f\|}\frac{w_T}{\|w_T\|}\ge\sqrt{T}\cdot constant\end{equation}并求出constantconstantconstant,首先，
根据图2,‖wt+1‖2≤‖wt‖2+maxn‖ynxn‖2‖wt+1‖2≤‖wt‖2+maxn⁡‖ynxn‖2\|w_{t+1}\|^2\le\|w_t\|^2+\mathop{max}\limits_{n}\|{y_n}{x_n}\|^2,那么 ‖wt+T‖2≤‖wt‖2+T⋅maxn‖ynxn‖2‖wt+T‖2≤‖wt‖2+T⋅maxn⁡‖ynxn‖2\|w_{t+T}\|^2\le\|w_t\|^2+T\cdot\mathop{max}\limits_{n}\|{y_n}{x_n}\|^2,
当t=0t=0t=0,并且令w0=0w0=0w_0=0时，上式变为，‖wT‖2≤0+T⋅maxn‖ynxn‖2‖wT‖2≤0+T⋅maxn⁡‖ynxn‖2\|w_{T}\|^2\le0+T\cdot \mathop{max}\limits_{n}\|{y_n}{x_n}\|^2
∴∴\therefore1‖wT‖≥1T√⋅maxn‖ynxn‖1‖wT‖≥1T⋅maxn⁡‖ynxn‖\frac{1}{\|w_{T}\|}\ge\frac{1}{\sqrt T\cdot \mathop{max}\limits_{n}\|{y_n}{x_n}\|}
根据图1, wTfwt+1≥wTfwt+minn ynwTfxnwfTwt+1≥wfTwt+minn⁡ynwfTxnw_f^T w_{t+1}\ge w_f^T w_t+\mathop{min}\limits_{n}\space y_nw_f^Tx_n,那么wTfwt+T≥wTfwt+T⋅minn ynwTfxnwfTwt+T≥wfTwt+T⋅minn⁡ynwfTxnw_f^T w_{t+T}\ge w_f^T w_t+T\cdot\mathop{min}\limits_{n}\space y_nw_f^Tx_n,当t=0t=0t=0并且w0=0w0=0w_0=0时，则得到，wTfwT≥T⋅minn ynwTfxnwfTwT≥T⋅minn⁡ynwfTxnw_f^T w_{T}\ge T\cdot \mathop{min}\limits_{n}\space y_nw_f^Tx_n
∴∴\thereforewTfwT‖wf‖≥T⋅minn ynwTfxn‖wf‖wfTwT‖wf‖≥T⋅minn⁡ynwfTxn‖wf‖\frac{w_f^T w_{T}}{\|w_f\|}\ge\frac{T\cdot \mathop{min}\limits_{n}\space y_nw_f^Tx_n}{\|w_f\|}
将上述两式相乘，
∴∴\thereforewTfwT‖wf‖‖wT‖≥T‾‾√minn ynwTfxn‖wf‖maxn ‖ynxn‖wfTwT‖wf‖‖wT‖≥Tminn⁡ynwfTxn‖wf‖maxn⁡‖ynxn‖\frac{w_f^T w_{T}}{\|w_f\|\|w_T\|}\ge\sqrt T\frac{\mathop{min}\limits_{n}\space y_nw_f^Tx_n}{\|w_f\|\mathop{max}\limits_{n}\space \|y_nx_n\|}
由此也可以求出constantconstantconstant的表达式。

2.PLA代码实现

数据下载，放到与代码同级目录下,linux下打开终端运行：

wget https://raw.githubusercontent.com/lxrobot/lxrobot-s-code/master/train_data.txt

代码:

#!/usr/bin/env python2
# -*- coding: utf-8 -*-
"""
Created on Sat Jul 14 17:59:47 2018@author: lx
"""
from __future__ import division
import pandas as pd
import numpy as np
import randomdef getDate(filename):df=pd.read_csv(filename,delim_whitespace=True,names=['x0','x1','x2','x3','y'])x=np.asarray(df)random.shuffle(x)x_train=x[0:300,:-1]x_test=x[300:400,:-1]    y_train=x[:300,-1]y_test=x[300:400,-1]return x_train,y_train,x_test,y_test
def sign(x):return -1 if x<0 else 1;
def naive_PLA(X,Y,w,b,alpha,max_steps):num=len(X)flag=1step=0for i in xrange(max_steps):flag=1for j in xrange(num):y_=w.dot(X[j])+bif sign(y_)!=Y[j]:print "The loss of %d step is %5.5f."%(i,y_*Y[j])flag=0w+=alpha*Y[j]*X[j]b+=alpha*Y[j]breakelse:continueif flag==1:step=ibreakreturn w,b,step
def getAccuracy(X,Y,w,b):y_=[]for i in range(len(Y)):y0=sign(X[i].dot(w)+b)y_.append(y0)y_=np.array(y_,dtype=float)correct=np.flatnonzero(y_-Y)num=len(Y)return y_,len(correct)/numif __name__=='__main__':filename='train_data.txt'x_train,y_train,x_test,y_test=getDate(filename)
#   w=np.random.random((4))
#   b=random.random()w=np.zeros((4,))b=0alpha=0.00001max_step=100000w,b,step=naive_PLA(x_train,y_train,w,b,alpha,max_step)print "The actual training step is {}".format(step)y_,acc=getAccuracy(x_test,y_test,w,b)print y_[:15]print y_test[:15]print "The accuracy of PLA is %2.4f%%."%((1.0-acc)*100)

机器学习基石PLA相关相关推荐

台湾大学林轩田教授机器学习基石课程理解及python实现----PLA
最近在班主任的带领下,开始观看台湾大学林轩田教授的机器学习基石课程,虽然吧,台湾人,汉语说得蛮6,但是还是听着怪怪的,不过内容非常值得刚刚入门的机器学习小白学习,话不多说,直接进入正题. 1.基本介 ...
台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension
红色石头的个人网站:redstonewill.com 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释.机器能够学习必须满足两个条件: 假设空间H的Size M是有限的,即当N足够大的时候, ...
机器学习基石第三讲：types of learning
博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) 刚刚完毕机器学习基石的第三讲.这一讲主要介绍了机器学习的分类.对何种问题应该使用何种 ...
台大机器学习基石学习笔记
台大机器学习基石学习笔记标签(空格分隔): 机器学习目录台大机器学习基石学习笔记目录 Lecture 1 The Learning Problem Course Introduction Wh ...
机器学习基石05：训练与测试（Training versus Testing）
上一篇文章介绍了机器学习的可行性.本文将讨论机器学习的核心问题,严格证明为什么机器可以学习. 系列文章机器学习基石01:机器学习简介机器学习基石02:感知器算法(Perceptron Algori ...
机器学习基石1（ML基本概念和VC dimension）
文章目录一.什么是机器学习? 二.什么时候可以使用机器学习? 三.感知机perceptron 四.机器学习的输入形式五.机器真的可以学习吗? 六.vc dimension 一.什么是机器学习? 其 ...
太赞了！NumPy 手写所有主流 ML 模型，由普林斯顿博士后 David Bourgin打造的史上最强机器学习基石项目！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgi ...
NumPy 手写所有主流 ML 模型，由普林斯顿博士后 David Bourgin打造的史上最强机器学习基石项目！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgi ...
台湾大学林轩田机器学习基石课程学习笔记1 -- The Learning Problem
红色石头的个人网站:redstonewill.com 最近在看NTU林轩田的<机器学习基石>课程,个人感觉讲的非常好.整个基石课程分成四个部分: When Can Machine Lear ...

机器学习基石PLA相关

1.PPT中定理的证明

P:证明，当w0=0w0=0w_0=0时，经过TTT次迭代，有以下关系式：

2.PLA代码实现

机器学习基石PLA相关相关推荐

最新文章

热门文章