这里只记录两种情况：

1

数据集是一段连续的文本，所有词汇放在一个list中(一维的)

text:

此时Counter(text),text可以是一个list，统计该list中所有元素出现的次数并返回一个dict

结合most_common()方法，就可构建词汇表：print(Counter(text).most_common(5))

(5)表示选取频率最高的5个元素，返回由(key,value)元组组成的list

再由二元组列表组成dict：print(dict(Counter(text).most_common(5)))

2

当所有的词汇不是放在一个一维的list中，而是一个二维list：

我们可以通过二层循环访问到其中的每一个元素，然后要把这些元素的值累计计数

先通过Counter()构建一个空字典(Couner对象)：

sentences = [['BOS', '任', '何', '人', '都', '可', '以', '做', '到', '。', 'EOS'], ['BOS', '要', '不', '要', '再', '來', '一', '塊', '蛋', '糕', '？', 'EOS']]

word_count = Counter()

print(type(word_count)) #

word_count['a'] = 1

word_count['b'] = 2

print(word_count) # Counter({'b': 2, 'a': 1})

print(word_count['c']) # 0

for sentence in sentences:

for s in sentence:

word_count[s] += 1

print(word_count)

# Counter({'b': 2, 'BOS': 2, 'EOS': 2, '要': 2, 'a': 1, '任': 1, '何': 1, '人': 1, '都': 1, '可': 1, '以': 1, '做': 1, '到': 1, '。': 1, '不': 1, '再': 1, '來': 1, '一': 1, '塊': 1, '蛋': 1, '糕': 1, '？': 1})

有了这个字典可以用most_common方法获得二元组list，

然后通过dict()获得字典：

print(word_count.most_common(6))

# [('b', 2), ('BOS', 2), ('EOS', 2), ('要', 2), ('a', 1), ('任', 1)]

print(dict(word_count.most_common(6)))

# {'b': 2, 'BOS': 2, 'EOS': 2, '要': 2, 'a': 1, '任': 1}

3

截止到以上，关于Counter的部分已经完成，下面的工作是，如果我们要在这个字典中加上unk 这个key,要怎么做呢？

如果只是要在字典中加入一个unk键值对的话很简单：

vocab = dict(word_count.most_common(6))

vocab['unk'] = num-np.sum(list(vocab.values()))

print(vocab)

# {'b': 2, 'BOS': 2, 'EOS': 2, '要': 2, 'a': 1, '任': 1, 'unk': 13}

4

如果要构建词汇表，需要一个不重复单词的list，我们需要word-index的字典来用index映射单词

idx_to_word = list(vocab.keys())

print(idx_to_word) # ['b', 'BOS', 'EOS', '要', 'a', '任', 'unk']

word_to_idx = {word:i for i, word in enumerate(idx_to_word)}

print(word_to_idx) # {'b': 0, 'BOS': 1, 'EOS': 2, '要': 3, 'a': 4, '任': 5, 'unk': 6}

5

如果要求’unk’索引为0，'pad’索引为1呢？我们可以这样取出word和索引：

ls = word_count.most_common(6)

for index, w in enumerate(ls):

print(w[0], index)

# b 0

# BOS 1

# EOS 2

# 要 3

# a 4

# 任 5

word_dict = {w[0]:index+2 for index, w in enumerate(ls)}

word_dict['unk'] = 0

word_dict['pad'] = 1

# {'b': 2, 'BOS': 3, 'EOS': 4, '要': 5, 'a': 6, '任': 7, 'unk': 0, 'pad': 1}

原文链接:https://blog.csdn.net/kunAUGUST/article/details/106886070