>>>print(sentences[:3])
[[('据悉', 'v'), ('，', 'w'), ('在', 'p'), ('’', 'w'), ('９７', 'm'), ('中国', 'ns'), ('旅游年', 'n'), ('基础', 'n'), ('上', 'f'), ('推出', 'v'), ('的', 'u'), ('’', 'w'), ('９８', 'm'), ('华夏', 'n'), ('城乡游', 'n'), ('，', 'w'), ('将', 'd'), ('分', 'v'), ('“', 'w'), ('古城', 'n'), ('新貌', 'n'), ('”', 'w'), ('和', 'c'), ('“', 'w'), ('乡村', 'n'), ('旅游', 'v'), ('”', 'w'), ('两', 'm'), ('个', 'q'), ('专题', 'n'), ('，', 'w'), ('向', 'p'), ('海内外', 's'), ('游客', 'n'), ('全面', 'ad'), ('展示', 'v'), ('改革', 'v'), ('开放', 'v'), ('２０', 'm'), ('年', 'q'), ('来', 'f'), ('我国', 'n'), ('城乡', 'n'), ('的', 'u'), ('巨变', 'vn'), ('。', 'w')], [('冰雕', 'n'), ('童话', 'n'), ('世界', 'n'), ('（', 'w'), ('图片', 'n'), ('）', 'w')], [('新年', 't'), ('来临', 'v'), ('，', 'w'), ('冰城', 'ns'), ('哈尔滨市', 'ns'), ('儿童', 'n'), ('公园', 'n'), ('为', 'p'), ('孩子', 'n'), ('们', 'k'), ('准备', 'v'), ('了', 'u'), ('特殊', 'a'), ('的', 'u'), ('贺岁', 'vn'), ('礼物', 'n'), ('———', 'w'), ('冰雕', 'n'), ('童话', 'n'), ('世界', 'n'), ('。', 'w'), ('这里', 'r'), ('包括', 'v'), ('未来', 't'), ('世界', 'n'), ('、', 'w'), ('世界', 'n'), ('奇观', 'n'), ('、', 'w'), ('迷宫', 'n'), ('等', 'u'), ('十', 'm'), ('大', 'a'), ('景区', 'n'), ('，', 'w'), ('展出', 'v'), ('各种', 'r'), ('冰雕', 'n'), ('作品', 'n'), ('千', 'm'), ('余', 'm'), ('件', 'q'), ('。', 'w'), ('图', 'n'), ('为', 'v'), ('从事', 'v'), ('教育', 'vn'), ('工作', 'vn'), ('的', 'u'), ('姜', 'nr'), ('雁', 'nr'), ('（', 'w'), ('左', 'f'), ('）', 'w'), ('正', 'd'), ('向', 'p'), ('６', 'm'), ('岁', 'q'), ('的', 'u'), ('儿子', 'n'), ('万万', 'nr'), ('讲', 'v'), ('恐龙', 'n'), ('的', 'u'), ('故事', 'n'), ('。', 'w')]
]

# 统计words和tags
words = set()
tags = set()
for words_with_tag in sentences:for word_with_tag in words_with_tag:word, tag = word_with_tagwords.add(word)tags.add(tag)
words = list(words)
tags = list(tags)
# 统计 词性到词性转移矩阵A 词性到词转移矩阵B 初始向量pi
# 先初始化
A = {tag: {tag: 0 for tag in tags} for tag in tags}
B = {tag: {word: 0 for word in words} for tag in tags}
pi = {tag: 0 for tag in tags}
# 统计A，B
for words_with_tag in sentences:head_word, head_tag = words_with_tag[0]pi[head_tag] += 1B[head_tag][head_word] += 1for i in range(1, len(words_with_tag)):A[words_with_tag[i-1][1]][words_with_tag[i][1]] += 1B[words_with_tag[i][1]][words_with_tag[i][0]] += 1
# 拉普拉斯平滑处理并转换成概率
sum_pi_tag = sum(pi.values())
for tag in tags:pi[tag] = (pi[tag] + 1) / (sum_pi_tag + len(tags))sum_A_tag = sum(A[tag].values())sum_B_tag = sum(B[tag].values())for next_tag in tags:A[tag][next_tag] = (A[tag][next_tag] + 1) / (sum_A_tag + len(tags))for word in words:B[tag][word] = (B[tag][word] + 1) / (sum_B_tag + len(words))

def decode_by_viterbi(sentence):words = sentence.split()sen_length = len(words)T1 = [{tag: float('-inf') for tag in tags} for i in range(sen_length)]T2 = [{tag: None for tag in tags} for i in range(sen_length)]# 先进行第一步for tag in tags:T1[0][tag] = math.log(pi[tag]) + math.log(B[tag][words[0]])# 继续后续解码for i in range(1, sen_length):for tag in tags:for pre_tag in tags:current_prob = T1[i-1][pre_tag] + math.log(A[pre_tag][tag]) + math.log(B[tag][words[i]])if current_prob > T1[i][tag]:T1[i][tag] = current_probT2[i][tag] = pre_tag# 获取最后一步的解码结果last_step_result = [(tag, prob) for tag, prob in T1[sen_length-1].items()]last_step_result.sort(key=lambda x: -1*x[1])last_step_tag = last_step_result[0][0]# 向前解码step = sen_length - 1result = [last_step_tag]while step > 0:last_step_tag = T2[step][last_step_tag]result.append(last_step_tag)step -= 1result.reverse()return list(zip(words, result))

decode_by_viterbi('我 和 我 的 祖国')
[('我', 'r/代词'), ('和', 'c/连词'), ('我', 'r'/代词), ('的', 'u'/助词), ('祖国', 'n'/名词)]decode_by_viterbi('中国 经济 迅速 发展 ， 对 世界 经济 贡献 很 大')
[('中国', 'ns/地名'),('经济', 'n/名词'),('迅速', 'ad/形容词'),('发展', 'v/动词'),('，', 'w/其他'),('对', 'p/介词'),('世界', 'n/名词'),('经济', 'n/名词'),('贡献', 'n/名词'),('很', 'd'/副词),('大', 'a'/形容词)]