CRF++ 特征工程

Name Entity Recognition(命名实体识别) - 知乎

特征除了人工的方式还可以用深度学习的方式提取

可尝试的特征：

1.Bag of word features

--当前词:Colin

--前后词:prefessor,proposed

--bigram: Prefessor Colin,Colin proposed

2.词性相关的

--当前词:名词

--前后词:名词，动词

3.前缀 or 后缀

当前词:Co,in

前后词:pr,ed,or

4.单词特点

--词长

--是否包含大写?

--统计多少个大写?

--是否包含"-"

--是否包含数字

5.stemming(可以先用统计的算法得到) + 单词特征

6.句法特征

--语法(句法分析 ,Parsing)

通过cky（动态规划）算法获取语法树

--依赖关系(Dependency Parsing)

CRF++ 特征工程相关推荐

竞赛专题（四）特征工程-竞赛中的必杀技
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容为了帮助更多竞赛选手入门进阶比赛,通过数据竞赛提升理论实践能力和团队协作能力.Data ...
NLP学习笔记6--Lecture/语言模型/预处理/独热编码/word2vec/文本特征工程
语言模型用来判断:是否一句话从语法上通顺先分词然后算出联合概率怎么算? chain rule 条件很长的时候会遇到一个问题 sparsity 数据的稀疏性用马尔科夫假设最简单的假设之 ...
算法工程师面试——机器学习，特征工程基础
文章目录特征工程为什么要归一化类别型特征编码如何处理高维组合特征常见距离度量方式有哪些? 文本表示模型有什么? 图像数据不足时的处理方法缺失值如何处理? 模型评估有哪些常见的评价指标准 ...
手把手教你用Python实现自动特征工程
任何参与过机器学习比赛的人,都能深深体会特征工程在构建机器学习模型中的重要性,它决定了你在比赛排行榜中的位置. 特征工程具有强大的潜力,但是手动操作是个缓慢且艰巨的过程.Prateek Joshi,是 ...
Auto ML自动特征工程
Auto ML自动特征工程特征工程是在做机器学习训练的过程中必不可少的环节,特征工程就是找出对模型结果有益的特征交叉关系,通常特征工程需要耗费算法工程师大量的精力去尝试.针对这样的场景,PAI推出智 ...
【机器学习入门】(10) 特征工程：特征抽取，字典特征抽取、文本特征抽取，附完整python代码
各位同学好,今天和大家介绍一下python机器学习中的特征工程.在将数据放入模型之前,需要对数据的一些特征进行特征抽取,方法有: (1) 字典特征抽取 DictVectorizer(),(2) 文本特 ...
特征工程：特征生成，特征选择(三)
转自:https://blog.csdn.net/cymy001/article/details/79169862 特征生成特征工程中引入的新特征,需要验证它确实能提高预测得准确度,而不是加入一个无 ...
【直播】王茂霖：二手车交易价格预测-千变万化特征工程（河北高校数据挖掘邀请赛）
二手车交易价格预测-千变万化特征工程目前河北高校数据挖掘邀请赛正在如火如荼的进行中.为了大家更好的参赛,王茂霖分享了从0梳理1场数据挖掘赛事!,完整梳理了从环境准备.数据读取.数据分析.特征工 ...
手动特征工程已经OUT了！自动特征工程才是改进机器学习的方式
作者 | William Koehrsen 译者 | linstancy 编辑 | Jane 出品 | AI科技大本营 [导读]近年来,我们在自动模型选择和超参数调优方面取得了进展,但机器学习流程中最 ...

CRF++ 特征工程

CRF++ 特征工程相关推荐

最新文章

热门文章