python计算字符长度
转载:http://likang.me/blog/2012/04/13/calculate-character-width-in-python/
最近在用python写一个CLI小程序,其中涉及到计算字符宽度,目标是以友好的方式将一个长字符串截取为等宽的片段。
对于unicode字符,python的len函数可以准确的计算其中所包含的字符个数,但是个数并不代表宽度,如:
>>>len(u'你好a')
3
因此无法简单的使用这种方式来计算宽度。
GBK decode
首先我想到GBK编码,00–7F范围内的字符是一字节编码,其余是双字节编码,正好与字符的宽度大体一致,于是有了这样的投机取巧的办法(假设取8个宽度):
>>> a = u'hello你好'
>>> b=a.encode('gbk')
>>> try:
... print b[:8].decode('gbk')
... except:
... print b[:7].decode('gbk')
...
hello你
如代码所示,首先将unicode的字符串进行GBK编码,然后截取8个字节的宽度后尝试用GBK解码,若解码失败,则少截取一个宽度,截取7个字节后使用GBK解码。
虽然初步解决了问题,但是这样做的硬伤很明显。首先代码不优雅,以试错的方式运行;其次GBK所能表示的字符有限,对于大量GBK编码以外的字符无法支持。
East_Asian_Width
徘徊很久之后,偶然发现 Unicode Character Database标准中有East_Asian_Width 属性,并有以下可能值:
# East_Asian_Width (ea)ea ; A ; Ambiguous 不确定
ea ; F ; Fullwidth 全宽
ea ; H ; Halfwidth 半宽
ea ; N ; Neutral 中性
ea ; Na ; Narrow 窄
ea ; W ; Wide 宽
其中除A不确定外,F/H/N/Na/W都能很明确的知道宽度,如果保守起见,将A视为宽度为2的话,则很容易给出单个字符的宽度:
>>> import unicodedata
>>> def chr_width(c):
... if (unicodedata.east_asian_width(c) in ('F','W','A')):
... return 2
... else:
... return 1
>>> chr_width(u'你')
2
>>> chr_width(u'a')
1
到现在似乎已经可以满足要求了,但是实际使用中发现属性为A的字符真不少见,最典型的就是中文的双引号:
>>> chr_width(u'”')
2
在大多数等宽字体中,中文双引号都是只占一位宽的,如果一行里有多个中文双引号,则累加的误判宽度将会使截取效果大打折扣,无疑这也不是最好的办法。
urwid的解决方案
urwid是一个成熟的python终端UI库,它在curses的基础之上包装了类似HTML的控件用以显示文本内容,如果有这方面的开发需求,非常推荐此库,比直接使用curses库方便很多,非常棒的是它对unicode的文本宽度截取非常准确,让我大为惊讶,于是翻开它的源码一探究竟,文本宽度计算方面其核心代码如下:
widths = [(126, 1), (159, 0), (687, 1), (710, 0), (711, 1), (727, 0), (733, 1), (879, 0), (1154, 1), (1161, 0), (4347, 1), (4447, 2), (7467, 1), (7521, 0), (8369, 1), (8426, 0), (9000, 1), (9002, 2), (11021, 1), (12350, 2), (12351, 1), (12438, 2), (12442, 0), (19893, 2), (19967, 1),(55203, 2), (63743, 1), (64106, 2), (65039, 1), (65059, 0),(65131, 2), (65279, 1), (65376, 2), (65500, 1), (65510, 2),(120831, 1), (262141, 2), (1114109, 1),
]def get_width( o ):"""Return the screen column width for unicode ordinal o."""global widthsif o == 0xe or o == 0xf:return 0for num, wid in widths:if o <= num:return widreturn 1
如代码所示,首先根据unicode的官方EastAsianWidth文档整理出字符宽度的范围表,然后使用unicode代码查表。使用之前的例子测试:
>>> get_width(ord(u'a'))
1
>>> get_width(ord(u'你'))
2
>>> get_width(ord(u'”'))
1
完全准确,而且在实际应用中的表现也比较好,是一个理想的解决方案,更多技巧请查阅urwid的old_str_util.py源码。
python计算字符长度相关推荐
- JS 计算字符长度 String.charCodeAt(index)
一个汉字 2 个字符,一个字母 1 个字符 String.charCodeAt(index) 返回指定索引位置的 Unicode 编码 String.charAt(index) 返回指定索引位置的字符 ...
- Python计算字符串长度的函数
文章目录 Python三种计算字符串长度的函数 1.使用内置函数len 2.使用for循环 3.使用while循环和切片 代码 代码展示 代码运行结果 Python三种计算字符串长度的函数 1.使用内 ...
- python计算字符在字符串中出现的次数
python计算所有字符在字符串中各自出现的次数 1 from collections import Counter str='1212jisajikodsakdokoakso' counts=Cou ...
- python计算元组长度并输出_python基础语法练习2
1. 请用代码实现:利用下划线将列表的每一个元素拼接成字符串,li = ['alex', 'eric','rain'] li = ['alex', 'eric', 'rain'] str_li = & ...
- python计算字符串长度(中文算2个字符)
txt = '名字12' lenTxt = len(txt) lenTxt_utf8 = len(txt.encode('utf-8')) size = int((lenTxt_utf8 - lenT ...
- python 计算字符串长度(含中文)
txt = '名字12' lenTxt = len(txt) lenTxt_utf8 = len(txt.encode('utf-8')) size = int((lenTxt_utf8 - lenT ...
- python计算单词长度_Python - 按长度打印单词
首先根据长度对单词进行排序,然后再次使用itertools.groupby对它们进行分组: >>> from itertools import groupby >>> ...
- python计算线段长度_实现显示线段长度
此课程与<清华编程高手.尹成.带你实战python入门>大体相同,只需购买其中的一门课程. 本课程由清华大学尹成老师录制,课程的特色在于讲解原理的同时引入了每个程序员都热衷的黑客技术.py ...
- 怎么用python计算序列长度_【python脚本】计算fasta序列长度;基因组contig/scaffold/chromosome长度...
目的 如题 脚本 import sys,os,re def process_file(reader): '''Open, read,and print a file''' names=[] index ...
最新文章
- Object C语法学习
- 深度剖析数据在内存中的存储2——浮点数数在内存中的存储
- 2019~2020年终总结
- ST17H26开发小总结
- Python中的defaultdict函数
- MySQL松散索引扫描与紧凑索引扫描
- LeetCode刷题(17)
- vi/vim使用进阶: quickfix
- 【论文笔记】EMNLP2019: 基于层次多图卷积网络的实体类型分类
- 经典vim插件功能说明、安装方法和使用方法
- 机器学习常见算法分类
- vue-cli开发Vue项目时定义环境变量需加VUE_APP前缀
- napi娃娃_第二十九章 干妈
- 小程序报错 出现脚本错误或者未正确调用 Page()
- 数学游戏“数三角形”的可编程图论模型
- bugku misc 11-15 解题报告
- Java中submit的方法,线程池中 submit()和 execute()方法区别
- Teamviwer操作(请激活复选框,证明是本人操作解决办法)
- gif动态图如何制作?
- 游戏模拟器成了外挂帮凶,灰产对抗再升级
热门文章
- 江湖求生如何用电脑玩 江湖求生PC电脑版教程
- js获取不到模板DOM元素
- UnityWebRequest 加载网络图片当作贴图给物体
- 从1G说到5G:科技改变生活
- 【FFmpeg】rtmp推流
- foorbar关于flac和WAV文件的蛇皮走位(播放不了flac而可以用酷狗之类的播放)
- linux使用rm -rf删除数据后恢复
- t在c语言中的作用,c语言中\t是什么意思
- (信号完整性/电源完整性)SI/PI分析之二
- android 短信合并,短信合并+我的空间/总结_veaka ONLY U_手机Android频道-中关村在线...