吴恩达机器学习作业（1）

线性回归

多变量的假设 h 表示为：

ℎ?(?)=?0+?1?1+?2?2+...+????

这个公式中有n+1个参数和n个变量，为了使得公式能够简化一些，引入?0=1，则公式转化为：ℎ?(?)=?0?0+?1?1+?2?2+...+????
此时模型中的参数是一个n+1维的向量，任何一个训练实例也都是n+1维的向量，特征矩阵X的维度是 m*(n+1)。因此公式可以简化为：ℎ?(?)=???，其中T代表矩阵转置。

def linear_regression(X_data, y_data, alpha, epoch, optimizer=tf.train.GradientDescentOptimizer):# 这个函数是旧金山的一个大神Lucas Shen写的# placeholder for graph inputX = tf.placeholder(tf.float32, shape=X_data.shape)#占位符y = tf.placeholder(tf.float32, shape=y_data.shape)# construct the graphwith tf.variable_scope('linear-regression'):W = tf.get_variable("weights",(X_data.shape[1], 1),initializer=tf.constant_initializer())  # n*1y_pred = tf.matmul(X, W)  # m*n @ n*1 -> m*1loss = 1 / (2 * len(X_data)) * tf.matmul((y_pred - y), (y_pred - y), transpose_a=True)  # (m*1).T @ m*1 = 1*1opt = optimizer(learning_rate=alpha)opt_operation = opt.minimize(loss)# run the sessionwith tf.Session() as sess:sess.run(tf.global_variables_initializer())loss_data = []for i in range(epoch):_, loss_val, W_val = sess.run([opt_operation, loss, W], feed_dict={X: X_data, y: y_data})loss_data.append(loss_val[0, 0])  # because every loss_val is 1*1 ndarrayif len(loss_data) > 1 and np.abs(loss_data[-1] - loss_data[-2]) < 10 ** -9:  # early break when it's converged# print('Converged at epoch {}'.format(i))break# clear the graphtf.reset_default_graph()return {'loss': loss_data, 'parameters': W_val}  # just want to return in row vector format
复制代码

吴恩达机器学习作业（1）相关推荐

吴恩达机器学习作业ex2-python实现
系列文章目录吴恩达机器学习作业ex1-python实现吴恩达机器学习作业ex2-python实现吴恩达机器学习作业ex3-python实现作业说明及数据集链接:https://pan.bai ...
k均值算法python实现（吴恩达机器学习作业）
k均值算法python实现(吴恩达机器学习作业) 题目要求数据集读取mat文件 K-means 实现结果问题题目要求采用K均值算法对样本进行聚类. 编写K均值算法源代码,对ex7data2 ...
第一章-机器学习简介深度之眼_吴恩达机器学习作业训练营
目录专栏简介: 一,机器学习简介 1.1 机器学习定义 1.1 机器学习的重要性 1.2 应用领域二.监督学习三.无监督学习四.总结专栏简介: 本栏主要内容为吴恩达机器学习公开课的学习笔记, ...
吴恩达机器学习作业7 - K-means和PCA主成分分析（Python实现）
吴恩达机器学习作业7 - K-means和PCA主成分分析(Python实现) Introduction 在本实验中,将实现K-means聚类算法,并将其应用于图像压缩.在第二部分实验中,将使用主成分 ...
吴恩达机器学习作业Python实现(八)：异常检测和推荐系统
吴恩达机器学习系列作业目录 1 Anomaly detection 这部分,您将实现一个异常检测算法来检测服务器计算机中的异常行为.他的特征是测量每个服务器的响应速度(mb/s)和延迟(ms).当你的 ...
吴恩达机器学习作业Python实现(七)：K-means和PCA主成分分析
吴恩达机器学习系列作业目录 1 K-means Clustering 在这个练习中,您将实现K-means算法并将其用于图像压缩.通过减少图像中出现的颜色的数量,只剩下那些在图像中最常见的颜色. 1. ...
吴恩达机器学习作业Python实现(六)：SVM支持向量机
吴恩达机器学习系列作业目录 1 Support Vector Machines 1.1 Example Dataset 1 %matplotlib inline import numpy as np ...
吴恩达机器学习作业Python实现(五)：偏差和方差
吴恩达机器学习系列作业目录在本练习中,您将实现正则化的线性回归和多项式回归,并使用它来研究具有不同偏差-方差属性的模型 1 Regularized Linear Regression 正则线性回归 ...
吴恩达机器学习作业Python实现(四)：神经网络(反向传播)
吴恩达机器学习系列作业目录 1 Neural Networks 神经网络在这个练习中,你将实现反向传播算法来学习神经网络的参数.依旧是上次预测手写数数字的例子. 1.1 Visualizing th ...
吴恩达机器学习作业Python实现(三)：多类分类和前馈神经网络
吴恩达机器学习系列作业目录 1 多类分类(多个logistic回归) 我们将扩展我们在练习2中写的logistic回归的实现,并将其应用于一对多的分类(不止两个类别). import numpy as ...

吴恩达机器学习作业（1）

吴恩达机器学习作业（1）相关推荐

最新文章

热门文章