snm算法_基于SNM算法的大数据量中文商品清洗方法

基于

SNM

算法的大数据量中文商品清洗方法

∗

张苗苗

苏

勇

【摘

要】

摘

要

SNM

算法即邻近排序算法，是英文数据清洗最常用的算法［

］

。

目前为止，因为中英文语义的差异等一些原因，中文数据清洗还未形成完整的

理论，现有中文数据清洗算法大多数是基于改编英文数据清洗算法而来的［

～

］

。论文介绍数据清洗，对基于

SNM

算法对中文数据清洗的应用着重研究。

先介绍传统的

SNM

算法，论述该算法的缺陷，针对缺陷进项改进，并提出实

际中的应用场景。通过实验结果显示，在相似重复记录消除方面，

SNM

改进

算法具有明显的优势。

【期刊名称】

计算机与数字工程

【年

(

卷

期】

2019(047)003

【总页数】

【关键词】

关键词

SNM

算法；数据清洗；重复记录

【

文

献

来

源

】

https://www.zhangqiaokeyan.com/academic-journal-cn_computer-digital-

engineering_thesis/0201271010738.html

修回日期：

2018

年

月

日

Class Number TP301.6

引言

近些年，庞大数据量和其中隐藏的规律，带动数据挖掘技术日新月异的发展

［

］

。数据挖掘的成功与否主要取决于数据源的质量高低和数据挖掘技术是否

合适，而影响数据源质量的一个重要因素就是脏数据的存在［

］

。不一致或陈

旧的数据、不精确的数据以及人为造成的错误数据等是脏数据形成的原因［

］

。

snm算法_基于SNM算法的大数据量中文商品清洗方法相关推荐

snm算法_基于SNM算法的大数据量中文地址清洗方法-计算机工程与应用.PDF
基于SNM算法的大数据量中文地址清洗方法-计算机工程与应用 108 2014 ,50(5 ) Computer Engineering and Applications 计算机工程与应用基于SNM ...
kettle分批处理大表数据_采用Kettle分页处理大数据量抽取任务
需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面. 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思路: 由于服务器内存资 ...
mapbox矢量切片_使用Tippecanoe工具处理大数据量的矢量数据切片
Tippecanoe是Mapbox的一个开源切片工具,项目地址:https://github.com/mapbox/tippecanoe,Mapbox常规的切片方法tilelive-copy参见另一篇 ...
大数据量，海量数据处理方法总结(转)
最近有点忙,稍微空闲下来,发篇总结贴. 大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到. 下面的方法是我对海量数据的处理方法 ...
[转载]大数据量，海量数据处理方法总结作者phylips@bmy
转自:http://i.yoho.cn/473260/logview/1816730.html 大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯这样的一些涉及到海量数 ...
大数据算法_【中科大】大数据算法（2020年春季）
算法与理论是计算机科学的核心领域之一.随着大数据时代的来临,传统的算法理论已经不能很好地解决人工智能. 物联网.工业制造等领域所遇到的实际问题.本门课程主要介绍基于大数据的新型算法技术,如随机采样.数 ...
xgboost算法_基于XGBoost算法构建投资组合
摘要极端梯度提升 (eXtreme Gradient Boosting) 是一种基于决策树的集成机器学习方法,适用于分类和回归问题.其优点是速度快.效果好.能处理大规模数据.支持自定义损失函数等. ...
python爬取网站大数据_基于腾讯位置大数据平台的全球移动定位数据获取（Python爬取）...
对于腾讯位置大数据平台,有一些商业接口可以调用看起来还是挺爽的,但是现阶段只接受商业合作客户来调用,我们个人是获取不到的. 那就没办法了吗?当然不是,实际上腾讯位置大数据把调用接口就直接写在了前端, ...
python大数据平台_基于腾讯位置大数据平台的全球移动定位数据Python爬取与清洗...
前不久投稿了一篇论文是以腾讯位置大数据为基础进行人口空间化研究的,但是还未见刊,见刊后会给大家分享下具体的研究方法. 首先打开腾讯位置大数据星云图链接:https://xingyun.map.qq.c ...

snm算法_基于SNM算法的大数据量中文商品清洗方法

snm算法_基于SNM算法的大数据量中文商品清洗方法相关推荐

最新文章

热门文章