《跟我一起机器学习》

系列文章知识点与代码索引目录

0 环境配置

• 如何才能入门机器学习？
• 优雅的安装和使用Anaconda
  • 使用Conda来进行环境的创建与管理
• Pycharm安装与使用
  • 配置运行环境

1 线性回归

• 线性回归(模型的建立与求解)
  • 什么是线性回归
  • 模型的误差之目标函数
  • pip install命令的使用
  • sklearn建模房价预测
• 线性回归(多变量与多项式回归)
  • 多变量回归
  • 多项式回归与PolynomialFeatuires
• 线性回归(模型的评估)
  • 模型评估(MAE,MSE,RMSE,MAPE)
• 线性回归(梯度下降)
  • 梯度下降原理与实现
• 神说要有正态分布，于是就有了正态分布
  • 正态分布的来历与作用
• 线性回归(目标函数的推导)
  • 线性回归的推导与实现

2 逻辑回归

• 逻辑回归(模型的建立与求解)

  • 逻辑回归原理
  • 决策边界

• 逻辑回归(混淆矩阵与评估指标)

  • 混淆矩阵与多分类思想
  • sklearn建模患癌预测

• 逻辑回归(目标函数推导与实现)

  • 目标函数与梯度推导
  • 动手实现二分类与多分类

• 任务一(逻辑回归完成录取二分类任务)

  • Pandas读取数据集

3 模型的改善与泛化

• 模型的改善与泛化(标准化与特征映射)

  • 等高线与特征标准化
  • 特征组合与特征映射
  • 动手实现非线性分类器

• 模型的改善与泛化(梯度与等高线)

  • 梯度与等高线

• 模型的改善与泛化(过拟合)

  • 过拟合与欠拟合
  • 训练集与测试集

• 模型的改善与泛化(正则化)

  • 正则化原理

• 模型的改善与泛化(偏差方差交叉验证)

  • 偏差方差与超参数
  • 模型选择与交叉验证

• 模型的改善与泛化(手写体识别)

  • StandardScaler()与KFold的使用
  • LogisticRegression与SGDClassifier

4 K最近邻与朴素贝叶斯

• K近邻算法

  • KNN原理与sklearn建模
  • 距离的度量方式
  • 网格搜索与并行搜索
  • GridSearch

• 朴素贝叶斯算法

  • 朴素贝叶斯原理
  • 先验概率与后验概率
  • 拉普拉斯平滑
  • 贝叶斯估计

• 文本特征提取之词袋模型

  • 词袋模型原理
  • 分词与词频统计
  • jieba与Counter

• 基于词袋模型的垃圾邮件分类

  • CountVectorizer与文本数据预处理
  • 朴素贝叶斯分类示例
  • classification_report

• TF-IDF文本表示方法与词云图

  • TFIDF原理与计算示例
  • TfidfVectorizer与停用词
  • word cloud与词云图

• 任务二(基于贝叶斯算法的新闻分类)

5 决策树与随机森林

• 这就是决策树的思想
  • 决策树思想
  • 信息熵与信息增益
• 决策树的生成之ID3与C4.5
  • ID3与C4.5原理示例
• 决策树的建模与剪枝
  • sklearn接口介绍
  • 决策树建模与可视化
  • 剪枝思想
• 决策树的生成与剪枝CART
  • 基尼指数
  • CART分类决策树原理
• 集成模型：Bagging、Boosting和Stacking
  • 集成学习思想
  • BaggingClassifier的使用
  • StackingClassifier的使用
• 随机森林在sklearn中的使用
  • RandomForestClassifier介绍
  • 特征重要性评估
• 泰坦尼克号沉船生还预测
  • 缺失值补充
  • 特征值转换
  • GridSearchCV的使用

6 支持向量机

• 原来这就是支持向量机

  • 函数间隔与几何间隔
  • 最大间隔分类器

• 从另一个角度看支持向量机

• SVM中关于函数间隔为什么可以设为1

• SVM之sklear建模与核技巧

  • SVC的使用
  • 线性不可分与特征映射
  • 核技巧与无穷维

• SVM之软间隔最大化

  • 误差与惩罚

• 好久不见的拉格朗日乘数法

  • 拉格朗日乘数法

• 对偶性与KKT条件

• SVM之目标函数求解

7 聚类

• Kmeans聚类算法

  • 有监督与无监督学习
  • 聚类算法的思想
  • Kmeans聚类原理
  • sklearn建模Kmeans
  • Kmeans目标函数

• 聚类与分类的区别是什么

• Kmeans聚类算法的优缺点以及改进方法

• 几种常见的聚类评估指标

  • Acc、F-score、ARI与NMI

• Kmeans聚类算法求解与实现

• Kmeans++原理与实现

• WKmeans一种基于特征权重的聚类算法