汉语言处理工具pyhanlp的拼音转换与字符正则化

汉字转拼音

HanLP中的汉字转拼音功能也十分的强大。

说明：

HanLP不仅支持基础的汉字转拼音，还支持声母、韵母、音调、音标和输入法首字母首声母功能。
HanLP能够识别多音字，也能给繁体中文注拼音。
最重要的是，HanLP采用的模式匹配升级到AhoCorasickDoubleArrayTrie，性能大幅提升，能够提供毫秒级的响应速度！

算法详解：

《汉字转拼音与简繁转换的Java实现》

# 汉字转拼音
Pinyin = JClass("com.hankcs.hanlp.dictionary.py.Pinyin")
text = "重载不是重任！"
pinyin_list = HanLP.convertToPinyinList(text)

print("原文，", end=" ")
print(text)
print("拼音（数字音调），", end=" ")
print(pinyin_list)
print("拼音（符号音调），", end=" ")
for pinyin in pinyin_list:
print("%s," % pinyin.getPinyinWithToneMark(), end=" ")
print("\n拼音（无音调），", end=" ")
for pinyin in pinyin_list:
print("%s," % pinyin.getPinyinWithoutTone(), end=" ")
print("\n声调，", end=" ")
for pinyin in pinyin_list:
print("%s," % pinyin.getTone(), end=" ")
print("\n声母，", end=" ")
for pinyin in pinyin_list:
print("%s," % pinyin.getShengmu(), end=" ")
print("\n韵母，", end=" ")
for pinyin in pinyin_list:
print("%s," % pinyin.getYunmu(), end=" ")
print("\n输入法头，", end=" ")
for pinyin in pinyin_list:
print("%s," % pinyin.getHead(), end=" ")

print()
# 拼音转换可选保留无拼音的原字符
print(HanLP.convertToPinyinString("截至2012年，", " ", True))
print(HanLP.convertToPinyinString("截至2012年，", " ", False))

1.原文，重载不是重任！

2.拼音（数字音调）， [chong2, zai3, bu2, shi4, zhong4, ren4, none5]

3.拼音（符号音调）， chóng, zǎi, bú, shì, zhòng, rèn, none,

4.拼音（无音调）， chong, zai, bu, shi, zhong, ren, none,

5.声调， 2, 3, 2, 4, 4, 4, 5,

6.声母， ch, z, b, sh, zh, r, none,

7.韵母， ong, ai, u, i, ong, en, none,

8.输入法头， ch, z, b, sh, zh, r, none,

9.jie zhi none none none none nian none

10.jie zhi 2 0 1 2 nian ，

拼音转中文

HanLP中的数据结构和接口是灵活的，组合这些接口，可以自己创造新功能，我们可以使用AhoCorasickDoubleArrayTrie实现的最长分词器，需要用户调用setTrie()提供一个AhoCorasickDoubleArrayTrie

1.StringDictionary = JClass(

2."com.hankcs.hanlp.corpus.dictionary.StringDictionary")

3.CommonAhoCorasickDoubleArrayTrieSegment = JClass(

4."com.hankcs.hanlp.seg.Other.CommonAhoCorasickDoubleArrayTrieSegment")

5.Config = JClass("com.hankcs.hanlp.HanLP$Config")

7.TreeMap = JClass("java.util.TreeMap")

8.TreeSet = JClass("java.util.TreeSet")

10.dictionary = StringDictionary()

11.dictionary.load(Config.PinyinDictionaryPath)

12.entry = {}

13.m_map = TreeMap()

14.for entry in dictionary.entrySet():

15.pinyins = entry.getValue().replace("[\\d,]", "")

16.words = m_map.get(pinyins)

17.if words is None:

18.words = TreeSet()

19.m_map.put(pinyins, words)

20.words.add(entry.getKey())

21.words = TreeSet()

22.words.add("绿色")

23.words.add("滤色")

24.m_map.put("lvse", words)

25.

26.segment = CommonAhoCorasickDoubleArrayTrieSegment(m_map)

27.print(segment.segment("renmenrenweiyalujiangbujianlvse"))

28.print(segment.segment("lvsehaihaodajiadongxidayinji"))

1.[renmenrenweiyalujiangbujian/null, lvse/[滤色, 绿色]]

2.[lvse/[滤色, 绿色], haihaodajiadongxidayinji/null]

字符正则化

演示正规化字符配置项的效果（繁体->简体，全角->半角，大写->小写）。

该配置项位于hanlp.properties中，通过Normalization=true来开启（现在直接通过HanLP.Config.Normalization开启即可）。

切换配置后必须删除CustomDictionary.txt.bin缓存，否则只影响动态插入的新词。

在我动笔前一个星期，已经有同学添加了，添加自定义词典之后，自动删除缓存的功能。地址请参阅github.com/hankcs/HanLP/pull/954，现在只需要开启正则化即可

1.CustomDictionary =JClass("com.hankcs.hanlp.dictionary.CustomDictionary")

2.print("HanLP.Config.Normalization = False\n")

3.HanLP.Config.Normalization = False

4.CustomDictionary.insert("爱听4G", "nz 1000")

5.print(HanLP.segment("爱听4g"))

6.print(HanLP.segment("爱听4G"))

7.print(HanLP.segment("爱听４G"))

8.print(HanLP.segment("爱听４Ｇ"))

9.print(HanLP.segment("愛聽４Ｇ"))

10.

11.print(HanLP.segment("喜欢４Ｇ"))

12.print(HanLP.segment("hankcs在臺灣寫代碼"))

13.

14.print("\nHanLP.Config.Normalization = True\n")

15.HanLP.Config.Normalization = True

16.print(HanLP.segment("爱听4g"))

17.print(HanLP.segment("爱听4G"))

18.print(HanLP.segment("爱听４G"))

19.print(HanLP.segment("爱听４Ｇ"))

20.print(HanLP.segment("愛聽４Ｇ"))

21.

22.print(HanLP.segment("喜欢４Ｇ"))

23.print(HanLP.segment("hankcs在臺灣寫代碼"))

24.

25.HanLP.Config.ShowTermNature = False

27.text = HanLP.s2tw("现在的HanLP已经添加了添加自定义词典之后，自动删除缓存的功能,现在只需要开启正则化即可")

28.print(text)

29.print(HanLP.segment(text))

30.HanLP.Config.ShowTermNature = False

1.HanLP.Config.Normalization = False

3.[爱听4g]

4.[爱听4G]

5.[爱, 听, ４, G]

6.[爱, 听, ４, Ｇ]

7.[愛, 聽, ４, Ｇ]

8.[喜欢, ４, Ｇ]

9.[hankcs, 在, 臺, 灣寫, 代, 碼]

10.

11.HanLP.Config.Normalization = True

12.

13.[爱听4g]

14.[爱听4g]

15.[爱听4g]

16.[爱听4g]

17.[爱听4g]

18.[喜欢, 4, g]

19.[hankcs, 在, 台湾, 写, 代码]

20.現在的HanLP已經新增了新增自定義詞典之後，自動刪除快取的功能,現在只需要開啟正則化即可

21.[现在, 的, hanlp, 已经, 新增, 了, 新增, 自定义, 词典, 之后, ,, 自动, 删除, 快, 取, 的

---------------------

作者：Font Tian

原文：https://blog.csdn.net/FontThrone/article/details/82828779

汉语言处理工具pyhanlp的拼音转换与字符正则化相关推荐

汉语言处理工具pyhanlp的拼音转换与字符正则化 1
汉字转拼音 HanLP中的汉字转拼音功能也十分的强大. 说明: lÂ HanLP不仅支持基础的汉字转拼音,还支持声母.韵母.音调.音标和输入法首字母首声母功能. lÂ HanLP能够识别多音字,也能给 ...
pyhanlp 繁简转换之拼音转换与字符正则化
繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式,并且已经封装到了HanLP中,使得我们可以轻松的使用,而分词器中已经默认支持多种繁简格式或者混合.这里我们不再做过多描述. ·说明 · Han ...
java 中文分词转拼音_pyhanlp 繁简转换之拼音转换与字符正则化
繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式,并且已经封装到了HanLP中,使得我们可以轻松的使用,而分词器中已经默认支持多种繁简格式或者混合.这里我们不再做过多描述. ·说明 · Han ...
汉语言处理工具pyhanlp的简繁转换
繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式,并且已经封装到了HanLP中,使得我们可以轻松的使用,而分词器中已经默认支持多种繁简格式或者混合.这里我们不再做过多描述. 说明: ·HanL ...
中文拼音转换成CMU的音素工具
0. 说明感谢 masterwei001~ 目的: 使用工具, 把中文拼音转换成CMU的音素格式示例: 请帮我%把%温度%调整到%三十度$|Q IY3 NG3 B AE1 NG1 W AO2 % ...
Python 汉字转拼音库 pypinyin, 附：汉字拼音转换工具
一.初衷: 一些开源软件的配置文件中识别区分的部分用英文,那么我们在批量生成配置文件的时候,可以从CMDB导入汉字(idc_name), 然后将它转换成拼音,再或者拼接上IP地址,以便更准确的识别.例 ...
php转换java工具_6款程序员必备的开源中文汉字拼音转换及处理工具（PHP Java .net）...
码云项目推荐 1.项目名称: 中文转拼音库 pinyin4j 项目简介:Pinyin4j 是一个流行的 Java 库,支持中文字符和拼音之间的转换.拼音输出格式可以定制. 2.项目名称:汉字/拼音转换 ...
Android 拼音转换工具PinyinUtils
1.首先下载pinyin4j-2.5.0.jar,拷贝到工程的lib目录里 2.创建工具类:PinyinUtils /*** 拼音转换工具* * @描述 TODO* @项目名称 App_imooc* ...
java分词支持拼音_java 支持分词的高性能拼音转换工具，速度是 pinyin4j 的两倍...
pinyin pinyin 是 java 实现的高性能中文拼音转换工具. 创作目的想为 java 设计一款便捷易用的拼音工具. 特性极简的 api 设计支持转换长文本支持多音字支持多种拼音标 ...

汉语言处理工具pyhanlp的拼音转换与字符正则化

汉语言处理工具pyhanlp的拼音转换与字符正则化相关推荐

最新文章

热门文章