Spark案例：Python版统计单词个数

1、Python项目PythonSparkWordCount

2、input目录里的文本文件test.txt

3、创建word_count.py文件实现词频统计

import os
import shutilfrom pyspark import SparkContextinputpath = 'input'
outputpath = 'result'sc = SparkContext('local', 'wordcount')# 读取文件
input = sc.textFile(inputpath)
# 切分单词
words = input.flatMap(lambda line: line.split(' '))
# 转换成键值对并计数
counts = words.map(lambda word: (word, 1)).reduceByKey(lambda x, y: x + y)# 输出结果
counts.foreach(print)# 删除输出目录
if os.path.exists(outputpath):shutil.rmtree(outputpath, True)# 将统计结果写入结果文件
counts.saveAsTextFile(outputpath)

运行程序，结果如下：

统计结果还保存在result目录下的part-00000文件里：

Spark案例：Python版统计单词个数相关推荐

转：Spark案例：Scala版统计单词个数
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/howard2005/article/d ...
Spark案例：Java版统计单词个数
1.Maven项目JavaSparkWordCount 2.在pom.xml里,添加对spark的依赖 <?xml version="1.0" encoding=" ...
Spark案例：Scala版统计单词个数
目录 1.创建Scala项目SparkScalaWordCount 2.创建lib目录,添加spark的jar,并添加作为项目的库
python字典统计单词个数_python字典统计单词个数
python 字典中的词频统计之后如何将频数大于一个比如a出现了10次,b15次,c20次,d25次,CSS布局HTML小编今天和大家分享频数大于14的词的个数,应该v={} for i in di ...
python输入一个英文句子输出单词个数_编写程序,给出一个英文句子,统计单词个数。_学小易找答案...
[简答题]叙述pass语句的作用. [简答题]吹风机不工作,可以用万用表检测吗?在网上搜索关键词,吹风机不工作怎么办? [单选题]以下代码运行结果正确的是哪一项?() x=2 if x:print(T ...
python统计单词个数算法_python 统计单词个数和频次
开始学习python,习题需要统计单词个数和频次.百度找到的代码好像都有问题.自己写了一个,调试通过. 环境:python: 3.9.1 64bit : pycharm: 2020.2 电脑 wi ...
python 统计单词个数和频次和 70篇短文突破中考英语词汇实用
开始学习python,习题需要统计单词个数和频次.百度找到的代码好像都有问题.自己写了一个,调试通过. 环境:python: 3.9.1 64bit : pycharm: 2020.2 电脑 wi ...
hadoop 文本统计一个字符的个数_hadoop统计单词个数 - 卡饭网
hadoop入门之统计单词在文件中出现的个数示例 hadoop入门之统计单词在文件中出现的个数示例 Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 内容:统计hado ...
开发可统计单词个数的Android驱动程序（2）
开发可统计单词个数的Android驱动程序(1) 五.指定与驱动相关的信息虽然指定这些信息不是必须的,但一个完整的Linux驱动程序都会指定这些与驱动相关的信息.一般需要为Linux驱动程序指定如下 ...

Spark案例：Python版统计单词个数

1、Python项目PythonSparkWordCount

2、input目录里的文本文件test.txt

3、创建word_count.py文件实现词频统计

Spark案例：Python版统计单词个数相关推荐

最新文章

热门文章