如何将英文句子分词(拆分单词), 并判断分词是否为英文单词

在工作中用到将英文句子分词, 然后判断每个分词是否为英文单词,现记录如下:
句子拆分有两种方法,产生的结果各有不同

1. 拆分句子

1.1 TweetTokenizer 保证标签完整性
1.2 word_tokenize 将所有标签拆分

from nltk import word_tokenize
from nltk.tokenize import TweetTokenizer
tt = TweetTokenizer(True,False,True)
tweet = "This is a cooool #dummysmiley: :-) :-P <3 and some arrows < > -> <-- @remy: This is waaaaayyyy too much for you!!!!!!"
tweet_tokenizer = tt.tokenize(tweet)
word = word_tokenize(tweet)
print(tweet_tokenizer)
print(word)

结果如下:

['This', 'is', 'a', 'cooool', '#dummysmiley', ':', ':-)', ':-P', '<3', 'and', 'some', 'arrows', '<', '>', '->', '<--', ':', 'This', 'is', 'waaaaayyyy', 'too', 'much', 'for', 'you', '!', '!', '!']
['This', 'is', 'a', 'cooool', '#', 'dummysmiley', ':', ':', '-', ')', ':', '-P', '<', '3', 'and', 'some', 'arrows', '<', '>', '-', '>', '<', '--', '@', 'remy', ':', 'This', 'is', 'waaaaayyyy', 'too', 'much', 'for', 'you', '!', '!', '!', '!', '!', '!']

2. 判断是否为英文单词

这里用到了 enchant (pip install pyenchant)
先将句子拆分为单个词, 再判断每个词是否为英文单词, 最后生成一个由tuple组成的list

import enchant
from nltk.tokenize import TweetTokenizer
tweet = "This is a cooool #dummysmiley: :-) :-P <3 and some arrows < > -> <-- @remy: This is waaaaayyyy too much for you!!!!!!"
chant = enchant.Dict("en_US")
tt = TweetTokenizer(True,False,True)
tweet_tokenizer = tt.tokenize(tweet)
lst = [(value,chant.check(value)) for value in tweet_tokenizer] # 判断每个分词是否为英文
print(lst)

结果如下:

[('This', True), ('is', True), ('a', True), ('cooool', False), ('#dummysmiley', False), (':', False), (':-)', False), (':-P', False), ('<3', False), ('and', True), ('some', True), ('arrows', True), ('<', False), ('>', False), ('->', False), ('<--', False), (':', False), ('This', True), ('is', True), ('waaaaayyyy', False), ('too', True), ('much', True), ('for', True), ('you', True), ('!', False), ('!', False), ('!', False)]

如何将英文句子分词(拆分单词), 并判断分词是否为英文单词相关推荐

java句子倒序_Java实现英文句子中的单词顺序逆序输出的方法
摘要:这篇Java开发技术栏目下的"Java实现英文句子中的单词顺序逆序输出的方法",介绍的技术点是"逆序输出.单词顺序.英文句子.Java.实现.方法",希望 ...
C语言反序输出英文句子,C++实现英文句子中的单词逆序输出的方法
本文实例讲述了C++实现英文句子中的单词逆序输出的方法.分享给大家供大家参考,具体如下: #include "stdafx.h" #include #include #includ ...
【简单】求英文句子的平均单词长度
[简单]求英文句子的平均单词长度题目描述输入示例输出示例初始代码解题思路解题代码札记本文章属于付费专栏的文章,购买该文章所隶属的专栏后,即可获得本专栏内的所有文章永久阅读权限.每一篇文 ...
python输入一个英文句子、统计单词个数_C语言编程求一个英文句子中的单词数和最长单词的位置、长度及输出这个单词。c++编程从键盘输入一个英文...
C语言编程求一个英文句子中的单词数和最长单词的位置.长度及输出这个单词. c++编程从键盘输入一个英文 www.zhiqu.org 时间: 2020-11-23 我刚做了一关于英文句子里面每 ...
统计英文句子中的单词个数，并且输出每个单词
package new_test; import java.util.Scanner; import java.util.StringTokenizer; //任务:统计英文句子中的单词个数,并且输出 ...
【python 字母索引】找到英文句子里面每个单词最后一个字母的索引
# -*- coding:utf-8 -*- sentence="wo ai ni zhong guo"def find_english_word_last_index(sente ...
java将英文句子分解为单词,Java如何将文本或句子分解为单词？
起初,它看起来很简单.我们可以使用来分割文本String.split(),使用空格来分割单词.但是,如果单词以问号(?)或感叹号(!)结尾,该怎么办?我们可能还需要注意其他一些规则. 使用java.t ...
C++实现一句英文句子中的单词逆置
比如,输入I am a student. 输出 student. a am I 思路: 1. 先将这个字符串整体倒置, 2. 再将单个单词倒置. #include <iostream> u ...
剑指Offer——翻转英文句子中的单词顺序
主要思路: 先交换整个句子的顺序,再交换每个单词的顺序. 一下代码在VS2015中调试无误 #include "stdafx.h" #include<iostream> ...
C语言编程：输入一行英文句子，统计单词数（个人注解）
#include <stdio.h> #include <stdlib.h>int main() {char ch;int sum = 0,word = 0;//用word来判 ...

如何将英文句子分词(拆分单词), 并判断分词是否为英文单词

1. 拆分句子

2. 判断是否为英文单词

如何将英文句子分词(拆分单词), 并判断分词是否为英文单词相关推荐

最新文章

热门文章