机器学习（二）--新加坡国立大学寒假学习项目总结

机器学习（二）
最小二乘法的拟合
对于线性回归、K最近邻算法、朴素贝叶斯算法、决策树与随机森林四种算法都有写在了不同的博文里，大家喜欢的可以去点开阅读，现在这里我想总结一个非常重要的知识点–最小二乘法的拟合。

我们都知道线性回归其实是在众多的数据点中找到一条直线与所有的数据点的距离和最小，这里用到的就是最小二乘法，用于根据不同的点找到这条直线。同时这条直线是一个直线方程式而不是多项式。

基本的数学形式这样子的：

这里我们只需要求出他的两个参数：斜率和截距，这里我们有专门的算法，具体的计算过程如下：

在这里因为计算太复杂了，我们还可以通过一系列的数学化简得到更加简洁的式子：

最后这里就变成了求众多数据点的x、y的一些相乘相加的一些关系。，在这里我用一个组数据作为例子分别用简单的数学计算和矩阵计算来讲解

假设有这么一组数据，这里一共是9个点，我们来看下

x = [0, 4, 8, 12, 16, 20, 24, 28, 32]
y = [394.33, 329.50, 291.00, 255.17, 229.33, 204.83, 179.00, 163.83, 150.33]

我们先来看下第一种简单的数据计算

def calu(x,y,n):#这里输入三个值，x、y和一个有多少组树
#这里我们先定义初始的变量，等会用于求和sumx=0sumy=0smulx=0smuly=0mulxy=0
#我们要用循环来求和for value in range (0,n):sumx=sumx+x[value]#求所有x的加和sumy=sumy+y[value]smulx=smulx+x[value]*x[value]#求所有x的平方和smuly=smuly+y[value]*y[value]mulxy=mulxy+x[value]*y[value]#求所有x*y的平方和avex=sumx/n#求平均值avey=sumy/nsxx=smulx-(sumx*sumx)/nsxy=mulxy-(sumx*sumy)/n#求截距和斜率m=sxy/sxxb=avey-m*avexprint("y=",m,"x+",b)return b,m

这里还有另一个非常巧妙矩阵求法，这里需要掌握一定的线性代数的知识才建议理解和使用，但是非常简洁，线性代数也是在以后在常用的一种数据方式。下面提供一个代码作为参考。

Xt = np.array([np.ones(9),x])
X=Xt.transpose()#求Xt的转置
Y=y.transpose()#求y的转置
Z = np.matmul(Xt,X)#这里是让Xt、x两个矩阵相乘
Zinv=np.linalg.inv(Z)
Z2=np.matmul(Zinv,Xt)
Z3=np.matmul(Z2,Y)
#求矩阵斜率
b = Z3[0]
m = Z3[1]
y=m*x+b

最后我给出这运算的答案以供大家参考

机器学习（二）--新加坡国立大学寒假学习项目总结相关推荐

新加坡国立计算机硕士转专业,新加坡国立大学计算机硕士专业如何？
回复时间:2017-08-18 17:28:55 新加坡国立大学的计算机课程旨在通过最前沿的理论知识与贴近实践的教学方式培养最尖端的计算机人才,该专业包括计算机科学,信息通信安全,信息系统等.其中,计 ...
nus计算机科学技术专业,新加坡国立大学计算机硕士专业介绍
据留学360介绍,新加坡国立大学的计算机课程旨在通过最前沿的理论知识与贴近实践的教学方式培养最尖端的计算机人才,该专业包括计算机科学,信息通信安全,信息系统等.其中,计算机科学方向的专业课程包括分布式 ...
博士申请 | 新加坡国立大学刘谦雄老师招收机器学习方向全奖博士/博后/RA
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 新加坡国立大学新加坡国立大学(National University o ...
新加坡国立大学尤洋：我的四个选择，本质的喜欢催动长久的坚持丨青源专栏...
为了启发青年学者思考职业发展,激发科研灵感,智源社区推出青源专栏,定期邀请青源会员分享他们的研究思考和科研感悟.新加坡国立大学计算机系校长青年教授.青源会会员尤洋分享了他在高性能计算研究.创业经历以及 ...
未明学院：量化训练营，帮我拿下新加坡国立大学定量金融offer！
作者 / Z学长本科背景中国海洋大学金融专业 GPA:86 雅思:7 GMAT:730 录取结果新加坡国立大学定量金融新加坡国立大学经济学在目前的大环境下,不论是出国留学深造,还是在职 ...
澎思科技与新加坡国立大学等高校共研AI产品加快技术应用落地
2019年7月31日,中国人工智能企业澎思科技宣布新加坡研究院正式揭牌成立,并宣布成立澎思技术委员会,推动全球视野下的人工智能技术研究.同时,澎思科技与新加坡国立大学.新加坡南洋理工学院等重量级机构签 ...
港科夜闻｜香港科技大学校长叶玉如教授,新加坡国立大学曾运雄博士:发现阿尔茨海默病新疗法...
关注并星标每周阅读港科夜闻建立新视野开启新思维 1.香港科技大学校长叶玉如教授.新加坡国立大学曾运雄博士:发现阿尔茨海默病新疗法.由中科院院士.香港科技大学校长叶玉如教授,及新加坡国立大学感染. ...
博士申请 | 新加坡国立大学金玥明组招收医学影像处理方向全奖博士/博后/RA
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 新加坡国立大学新加坡国立大学(National University o ...
清华首超新加坡国立大学，成亚洲第一；苏州大学成211学科黑马丨留言送书
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达来源 | 量子位(QbitAI) 编辑 | 萧萧.发自.凹非寺最新的US News 2021世界大学 ...
新加坡国立大学李千骁：动力学系统与监督学习的关系探索
2019年10月31日下午,在北京智源大会的"人工智能的数理基础专题论坛"上,学者李千骁做了题为<A Dynamic System Approach To DeepLearn ...

机器学习（二）--新加坡国立大学寒假学习项目总结

机器学习（二）--新加坡国立大学寒假学习项目总结相关推荐

最新文章

热门文章