python语言检测模块langid、langdetect使用

之前使用数据编码风格检测的模块chardet比较多一点，今天提到的两个模块是检测数据的语言类型，比如是：中文还是英文，模块的使用方法也比较简单，我这里只是简单地使用了一下，因为项目中有这个需求，所以拿来用了一下，并没有深入地去研究这两个模块，模块的地址链接我都给出来了，需要的话可以去研究下：

def langidFunc():'''https://github.com/yishuihanhan/langid.py'''print langid.classify("We Are Family")print langid.classify("Questa e una prova")print langid.classify("我们都有一个家")identifier=LanguageIdentifier.from_modelstring(model,norm_probs=True)print identifier.classify("We Are Family")def langdetectFunc():'''https://github.com/yishuihanhan/langdetect'''s1=u"本篇博客主要介绍两款语言探测工具，用于区分文本到底是什么语言，"s2=u'We are pleased to introduce today a new technology'print detect(s1)print detect(s2)print detect_langs(s2)    # detect_langs()输出探测出的所有语言类型及其所占的比例print detect_langs("Otec matka syn.")

结果如下：


('en', 9.061840057373047)
('it', -35.41771221160889)
('zh', -85.79573845863342)
('en', 0.16946150595865334)
zh-cn
en
[en:0.999998109575]
[pl:0.571426592237, fi:0.428568772028]

python语言检测模块langid、langdetect使用相关推荐

以下描述中不属于python语言控制结构的是_高中信息技术《Python语言》模块试卷...
高中信息技术<Python语言>模块试卷本试卷分为五大题,37小题,共100分,考试用时60分钟. 一.单选题(本题共15小题,每小题2分,共30分) 是一门( ) (A)自然语言(B) ...
高中信息技术html语言,高中信息技术《Python语言》模块试卷
12. a的7倍减3的结果,对b(b不等于0)取余,正确的表达式是( ) (A)(7a-3)/b (B)7*a-3%b (C)(7a-3)%b (D)(7*a-3)%b 13.下列可以将变量x和y的值 ...
高中信息技术python及答案_高中信息技术《Python语言》模块试卷.docx
高中信息技术<Python语言>模块试卷.docx PAGE 区县____________ 姓名_____________ 区县____________ 姓名_____________ 座 ...
高中信息技术python及答案_高中信息技术《Python语言》模块试卷.doc
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 线 _ - - _ - _ - _ - - _ - _ - _ - _ - - ...
高中信息技术python及答案_高中信息技术《Python语言》模块试卷
高中信息技术< Python 语言>模块试卷本试卷分为五大题, 37 小题 ,共 100 分,考试用时 60 分钟. 一.单选题(本题共 15 小题,每小题 2 分,共 30 分) 是一 ...
高中信息技术python及答案_高中信息技术《Python语言》模块试卷 -
12. a的7倍减3的结果,对b(b不等于0)取余,正确的表达式是( ) (A)(7a-3)/b (B)7*a-3%b (C)(7a-3)%b (D)(7*a-3)%b 13.下列可以将变量x和y的值 ...
语言检测工具-langid
安装: pip install langid 代码示例: >>> import langid >>> langid.classify("This is a ...
【Python】Python语言math模块可用函数
函数说明 mathe.e 自然常数e mathe.pi 圆周率π mathe.degrees(x) 弧度转角度 mathe.radians(x) 角度转弧度 mathe.exp(x) 返回e的x次幂 ...
python实现多语言语种识别_用Python进行语言检测
最近正好碰到这个需求,总结一下用Python进行语言检测的方法. 1.用unicode编码检测汉字.韩文.日文等都有对应的unicode字符集范围,只要用正则表达式匹配出来即可. 在判断的时候,往往 ...
Python语言编程学习：文件路径变量修改，利用os模块固定文件父路径，变换文件子路径实现代码
Python语言编程学习:文件路径变量修改,利用os模块固定文件父路径,变换文件子路径实现代码目录文件路径变量修改,利用os模块固定文件父路径,变换文件子路径实现代码

python语言检测模块langid、langdetect使用

python语言检测模块langid、langdetect使用相关推荐

最新文章

热门文章