NLP数据挖掘基础知识
Basis(基础):
- SSE(Sum of Squared Error, 平方误差和)
- SAE(Sum of Absolute Error, 绝对误差和)
- SRE(Sum of Relative Error, 相对误差和)
- MSE(Mean Squared Error, 均方误差)
- RMSE(Root Mean Squared Error, 均方根误差)
- RRSE(Root Relative Squared Error, 相对平方根误差)
- MAE(Mean Absolute Error, 平均绝对误差)
- RAE(Root Absolute Error, 平均绝对误差平方根)
- MRSE(Mean Relative Square Error, 相对平均误差)
- RRSE(Root Relative Squared Error, 相对平方根误差)
- Expectation(期望)&Variance(方差)
- Standard Deviation(标准差,也称Root Mean Squared Error, 均方根误差)
- CP(Conditional Probability, 条件概率)
- JP(Joint Probability, 联合概率)
- MP(Marginal Probability, 边缘概率)
- Bayesian Formula(贝叶斯公式)
- CC(Correlation Coefficient, 相关系数)
- Quantile (分位数)
- Covariance(协方差矩阵)
- GD(Gradient Descent, 梯度下降)
- SGD(Stochastic Gradient Descent, 随机梯度下降)
- LMS(Least Mean Squared, 最小均方)
- LSM(Least Square Methods, 最小二乘法)
- NE(Normal Equation, 正规方程)
- MLE(Maximum Likelihood Estimation, 极大似然估计)
- QP(Quadratic Programming, 二次规划)
- L1 /L2 Regularization(L1/L2正则, 以及更多的, 现在比较火的L2.5正则等)
- Eigenvalue(特征值)
- Eigenvector(特征向量)
Common Distribution(常见分布):
Discrete Distribution(离散型分布):
- Bernoulli Distribution/Binomial Distribution(贝努利分布/二项分布)
- Negative Binomial Distribution(负二项分布)
- Multinomial Distribution(多项分布)
- Geometric Distribution(几何分布)
- Hypergeometric Distribution(超几何分布)
- Poisson Distribution (泊松分布)
Continuous Distribution (连续型分布):
- Uniform Distribution(均匀分布)
- Normal Distribution/Gaussian Distribution(正态分布/高斯分布)
- Exponential Distribution(指数分布)
- Lognormal Distribution(对数正态分布)
- Gamma Distribution(Gamma分布)
- Beta Distribution(Beta分布)
- Dirichlet Distribution(狄利克雷分布)
- Rayleigh Distribution(瑞利分布)
- Cauchy Distribution(柯西分布)
- Weibull Distribution (韦伯分布)
Three Sampling Distribution(三大抽样分布):
- Chi-square Distribution(卡方分布)
- t-distribution(t-分布)
- F-distribution(F-分布)
Data Pre-processing(数据预处理):
- Missing Value Imputation(缺失值填充)
- Discretization(离散化)
- Mapping(映射)
- Normalization(归一化/标准化)
Sampling(采样):
- Simple Random Sampling(简单随机采样)
- Offline Sampling(离线等可能K采样)
- Online Sampling(在线等可能K采样)
- Ratio-based Sampling(等比例随机采样)
- Acceptance-rejection Sampling(接受-拒绝采样)
- Importance Sampling(重要性采样)
- MCMC(Markov Chain MonteCarlo 马尔科夫蒙特卡罗采样算法:Metropolis-Hasting& Gibbs)
Clustering(聚类):
- K-MeansK-Mediods
- 二分K-Means
- FK-Means
- Canopy
- Spectral-KMeans(谱聚类)
- GMM-EM(混合高斯模型-期望最大化算法解决)
- K-Pototypes
- CLARANS(基于划分)
- BIRCH(基于层次)
- CURE(基于层次)
- STING(基于网格)
- CLIQUE(基于密度和基于网格)
- 2014年Science上的密度聚类算法等
Clustering Effectiveness Evaluation(聚类效果评估):
- Purity(纯度)
- RI(Rand Index, 芮氏指标)
- ARI(Adjusted Rand Index, 调整的芮氏指标)
- NMI(Normalized Mutual Information, 规范化互信息)
- F-meaure(F测量)
Classification&Regression(分类&回归):
- LR(Linear Regression, 线性回归)
- LR(Logistic Regression, 逻辑回归)
- SR(Softmax Regression, 多分类逻辑回归)
- GLM(Generalized Linear Model, 广义线性模型)
- RR(Ridge Regression, 岭回归/L2正则最小二乘回归),LASSO(Least Absolute Shrinkage and Selectionator Operator , L1正则最小二乘回归)
- DT(Decision Tree决策树)
- RF(Random Forest, 随机森林)
- GBDT(Gradient Boosting Decision Tree, 梯度下降决策树)
- CART(Classification And Regression Tree 分类回归树)
- KNN(K-Nearest Neighbor, K近邻)
- SVM(Support Vector Machine, 支持向量机, 包括SVC(分类)&SVR(回归))
- CBA(Classification based on Association Rule, 基于关联规则的分类)
- KF(Kernel Function, 核函数)
- Polynomial Kernel Function(多项式核函数)
- Guassian Kernel Function(高斯核函数)
- Radial Basis Function(RBF径向基函数)
- String Kernel Function 字符串核函数
- NB(Naive Bayesian,朴素贝叶斯)
- BN(Bayesian Network/Bayesian Belief Network/Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)
- LDA(Linear Discriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别)
- EL(Ensemble Learning, 集成学习)
- Boosting
- Bagging
- Stacking
- AdaBoost(Adaptive Boosting 自适应增强)
- MEM(Maximum Entropy Model, 最大熵模型)
Classification EffectivenessEvaluation(分类效果评估):
- Confusion Matrix(混淆矩阵)
- Precision(精确度)
- Recall(召回率)
- Accuracy(准确率)
- F-score(F得分)
- ROC Curve(ROC曲线)
- AUC(AUC面积)
- Lift Curve(Lift曲线)
- KS Curve(KS曲线)
PGM(Probabilistic Graphical Models, 概率图模型):
- BN(BayesianNetwork/Bayesian Belief Network/ Belief Network , 贝叶斯网络/贝叶斯信度网络/信念网络)
- MC(Markov Chain, 马尔科夫链)
- MEM(Maximum Entropy Model, 最大熵模型)
- HMM(Hidden Markov Model, 马尔科夫模型)
- MEMM(Maximum Entropy Markov Model, 最大熵马尔科夫模型)
- CRF(Conditional Random Field,条件随机场)
- MRF(Markov Random Field, 马尔科夫随机场)
- Viterbi(维特比算法)
NN(Neural Network, 神经网络)
- ANN(Artificial Neural Network, 人工神经网络)
- SNN(Static Neural Network, 静态神经网络)
- BP(Error Back Propagation, 误差反向传播)
- HN(Hopfield Network)
- DNN(Dynamic Neural Network, 动态神经网络)
- RNN(Recurrent Neural Network, 循环神经网络)
- SRN(Simple Recurrent Network, 简单的循环神经网络)
- ESN(Echo State Network, 回声状态网络)
- LSTM(Long Short Term Memory, 长短记忆神经网络)
- CW-RNN(Clockwork-Recurrent Neural Network, 时钟驱动循环神经网络, 2014ICML)等.
Deep Learning(深度学习):
- Auto-encoder(自动编码器)
- SAE(Stacked Auto-encoders堆叠自动编码器)
- Sparse Auto-encoders(稀疏自动编码器)
- Denoising Auto-encoders(去噪自动编码器)
- Contractive Auto-encoders(收缩自动编码器)
- RBM(Restricted Boltzmann Machine, 受限玻尔兹曼机)
- DBN(Deep Belief Network, 深度信念网络)
- CNN(Convolutional Neural Network, 卷积神经网络)
- Word2Vec(词向量学习模型)
Dimensionality Reduction(降维):
- LDA(Linear Discriminant Analysis/Fisher Linear Discriminant, 线性判别分析/Fish线性判别)
- PCA(Principal Component Analysis, 主成分分析)
- ICA(Independent Component Analysis, 独立成分分析)
- SVD(Singular Value Decomposition 奇异值分解)
- FA(Factor Analysis 因子分析法)
Text Mining(文本挖掘):
- VSM(Vector Space Model, 向量空间模型)
- Word2Vec(词向量学习模型)
- TF(Term Frequency, 词频)
- TF-IDF(TermFrequency-Inverse Document Frequency, 词频-逆向文档频率)
- MI(Mutual Information, 互信息)
- ECE(Expected Cross Entropy, 期望交叉熵)
- QEMI(二次信息熵)
- IG(Information Gain, 信息增益)
- IGR(Information Gain Ratio, 信息增益率)
- Gini(基尼系数)
- x2 Statistic(x2统计量)
- TEW(Text Evidence Weight, 文本证据权)
- OR(Odds Ratio, 优势率)
- N-Gram Model
- LSA(Latent Semantic Analysis, 潜在语义分析)
- PLSA(Probabilistic Latent Semantic Analysis, 基于概率的潜在语义分析)
- LDA(Latent Dirichlet Allocation, 潜在狄利克雷模型)
- SLM(Statistical Language Model, 统计语言模型)
- NPLM(Neural Probabilistic Language Model, 神经概率语言模型)
- CBOW(Continuous Bag of Words Model, 连续词袋模型)
- Skip-gram(Skip-gram Model)
Association Mining(关联挖掘):
- Apriori算法
- FP-growth(Frequency Pattern Tree Growth, 频繁模式树生长算法)
- MSApriori(Multi Support-based Apriori, 基于多支持度的Apriori算法)
- GSpan(Graph-based Substructure Pattern Mining, 频繁子图挖掘)
Sequential Patterns Analysis(序列模式分析)
- AprioriAll
- Spade
- GSP(Generalized Sequential Patterns, 广义序列模式)
- PrefixSpan
Forecast(预测)
- LR(Linear Regression, 线性回归)
- SVR(Support Vector Regression, 支持向量机回归)
- ARIMA(Autoregressive Integrated Moving Average Model, 自回归积分滑动平均模型)
- GM(Gray Model, 灰色模型)
- BPNN(BP Neural Network, 反向传播神经网络)
- SRN(Simple Recurrent Network, 简单循环神经网络)
- LSTM(Long Short Term Memory, 长短记忆神经网络)
- CW-RNN(Clockwork Recurrent Neural Network, 时钟驱动循环神经网络)
- ……
Linked Analysis(链接分析)
- HITS(Hyperlink-Induced Topic Search, 基于超链接的主题检索算法)
- PageRank(网页排名)
Recommendation Engine(推荐引擎):
- SVD
- Slope One
- DBR(Demographic-based Recommendation, 基于人口统计学的推荐)
- CBR(Context-based Recommendation, 基于内容的推荐)
- CF(Collaborative Filtering, 协同过滤)
- UCF(User-based Collaborative Filtering Recommendation, 基于用户的协同过滤推荐)
- ICF(Item-based Collaborative Filtering Recommendation, 基于项目的协同过滤推荐)
Similarity Measure&Distance Measure(相似性与距离度量):
- EuclideanDistance(欧式距离)
- Chebyshev Distance(切比雪夫距离)
- Minkowski Distance(闵可夫斯基距离)
- Standardized EuclideanDistance(标准化欧氏距离)
- Mahalanobis Distance(马氏距离)
- Cos(Cosine, 余弦)
- Hamming Distance/Edit Distance(汉明距离/编辑距离)
- Jaccard Distance(杰卡德距离)
- Correlation Coefficient Distance(相关系数距离)
- Information Entropy(信息熵)
- KL(Kullback-Leibler Divergence, KL散度/Relative Entropy, 相对熵)
Optimization(最优化):
Non-constrained Optimization(无约束优化):
- Cyclic Variable Methods(变量轮换法)
- Variable Simplex Methods(可变单纯形法)
- Newton Methods(牛顿法)
- Quasi-Newton Methods(拟牛顿法)
- Conjugate Gradient Methods(共轭梯度法)。
Constrained Optimization(有约束优化):
- Approximation Programming Methods(近似规划法)
- Penalty Function Methods(罚函数法)
- Multiplier Methods(乘子法)。
- Heuristic Algorithm(启发式算法)
- SA(Simulated Annealing, 模拟退火算法)
- GA(Genetic Algorithm, 遗传算法)
- ACO(Ant Colony Optimization, 蚁群算法)
Feature Selection(特征选择):
- Mutual Information(互信息)
- Document Frequence(文档频率)
- Information Gain(信息增益)
- Chi-squared Test(卡方检验)
- Gini(基尼系数)
Outlier Detection(异常点检测):
- Statistic-based(基于统计)
- Density-based(基于密度)
- Clustering-based(基于聚类)。
Learning to Rank(基于学习的排序):
- Pointwise
- McRank
- Pairwise
- RankingSVM
- RankNet
- Frank
- RankBoost;
- Listwise
- AdaRank
- SoftRank
- LamdaMART
Tool(工具):
- MPI
- Hadoop生态圈
- Spark
- IGraph
- BSP
- Weka
- Mahout
- Scikit-learn
- PyBrain
- Theano
转载于:https://www.cnblogs.com/baiboy/p/dm1.html
NLP数据挖掘基础知识相关推荐
- 数据挖掘 基础知识 收集
A Tutorial on Clustering Algorithms-聚类小知识 俗话说:"物以类聚,人以群分",在自然科学和社会科学中,存在着大量的分类问题.所谓类,通俗地说, ...
- 自然语言处理从入门到应用——自然语言处理(Natural Language Processing,NLP)基础知识
分类目录:<自然语言处理从入门到应用>总目录 自然语言通常指的是人类语言,是人类思维的载体和交流的基本工具,也是人类区别于动物的根本标志,更是人类智能发展的外在体现形式之一.自然语言处理( ...
- 数据挖掘基础知识-矩阵(分解)
from: http://blog.csdn.net/u010140338/article/details/42191047 1. 矩阵知识: //特征值,行列式,秩,对称矩阵,单位矩阵,正定半正定, ...
- 【数据库系统工程师】6.4数据仓库和数据挖掘基础知识
目录 一.思维导图 二.知识点 1.数据仓库 (1)数据仓库与数据库比较 (2)数据仓库的基本特性 (3)数据仓库的数据模式 (4)数据仓库体系结构 2.数据挖掘 (1)数据挖掘分类 (2)数据挖掘常 ...
- 数据挖掘基础知识整理
数据挖掘是在大型数据存储库中,自动地发现有用信息的过程. 利用了如下领域的思想: 1)来自统计学的抽样,估计和假设检验 2)人工智能,模式识别和机器学习的搜索算法,建模技术和学习理论 3)最优化,进化 ...
- 阅读笔记--NLP面试基础知识总结
如果我可以把今世的记忆带到以后,我会告诉我下一世的继任者去学数学.但是他可能又是一个不愿意学习的小傻瓜,或许三年级的时候还是会考各种0分.是呀,0分也是回忆,那时怎么会晓得走到现在,今后又晓得会去往何 ...
- 《统计自然语言处理》读书笔记 一.基础知识及概念介绍
最近准备学习自然语言处理相关的知识,主要参考<统计自然语言处理·宗成庆>和<Natural Language Processing with Python>,推荐大家阅读.第一 ...
- 从jieba分词到BERT-wwm——中文自然语言处理(NLP)基础分享系列(1)
起源及致谢原作 因为编写内部培训材料的需要,近期又重读了之前收藏的一篇博客<进入NLP 世界的最佳桥梁:写给所有人的自然语言处理与深度学习入门指南> https://leemeng.tw/ ...
- NLP汉语自然语言处理入门基础知识介绍
NLP汉语自然语言处理入门基础知识介绍 自然语言处理定义: 自然语言处理是一门计算机科学.人工智能以及语言学的交叉学科.虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部 ...
最新文章
- 基于人工智能方法的手写数字图像识别_【工程分析】基于ResNet的手写数字识别...
- Xfire方式开发和解析webservice
- python dataframe取列名_python – 获取列名在DataFrame中按其值排序
- antd提交表单_表单序列化
- std::string的split函数
- pd17虚拟机启动器怎么生成?快来看看吧
- 易筋SpringBoot 2.1 | 第八篇:Mybatis访问MySQL
- Windows XP 优化
- 微电子专业深度盘点:哪所大学芯片最强?强在哪?(第3弹)
- 【机器学习】拉普拉斯平滑
- 【夜神模拟器运行app】uniapp将app运行到夜神模拟器
- 【雷达】毫米波雷达和激光雷达
- 人生的第一篇博客φ(>ω<*)
- 带后台管理的超酷jquery+ajax幻灯相册php源码,六屏仿手风琴效果的js焦点幻灯片代码_js特效_js幻灯片是什么...
- 树的最大连通分支问题
- SIGIR2022 | 基于Prompt的用户自选公平性推荐算法
- android u盘怎么打开文件夹图标不显示不出来了,如何解决U盘图标不显示但资源管理器中还能看到U盘...
- python复利计算_如何让Python复利计算器给出正确的答案
- mysql小知识:根据指定日期,获取是当年第几周
- 全国泰州市专业技术人员计算机考试,泰州市专业技术人员实用教程试题及答案(92分)...