Spark从本地文件中统计包含某个字母的行数

Spark从本地文件中统计包含某个字母的行数:

import org.apache.spark.SparkConf;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SparkSession;
/*** spark从文件中统计包含某个字段的记录数* @author admin**/
public class SparkWordCount {public static void main(String[] args) {String path = SparkWordCount.class.getClassLoader().getResource("").getPath();String logFile = path+"/file/README.md"; // Should be some file on your systemString appName = "SparkWordCount";String master = "local";// 配置SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);SparkSession spark = SparkSession.builder().config(conf).getOrCreate();//文件的每一行作为一条记录Dataset<String> logData = spark.read().textFile(logFile).cache();// 统计long numAs = logData.filter(s -> s.contains("a")).count();long numBs = logData.filter(s -> s.contains("b")).count();System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);spark.stop();}}

Spark从本地文件中统计包含某个字母的行数相关推荐

判断文本的行数c语言,软件工程统计文件中字符串个数,单词个数,词频,行数
一.前言在之前写过一个词频统计的C语言课设,别人说你一个大三的怎么写C语言课程,我只想说我是先学习VB,VB是我编程语言的开始,然后接触到C语言及C++:再后来我是学习C++,然后反过来学习C语言, ...
spark 读取本地文件
1 背景基于spark 开发程序数据放在本地文件中,为text格式本文语言案例为java 2 步骤 2.1 搭建工程基于maven搭建spark工程_this is a b ...
java数据从本地文件中取出_java 从数据库取数据并存入本地文本中
要求如下: 1.连接数据库,取数据,weibo表中取出uid和text 2.判断uid是否相同,如果相同,则把其对应的text存入路径为D:\data1的同一文件中,并且以此uid命... 要求如下: ...
python保存运行结果下次使用_将python运行结果保存至本地文件中的示例讲解
一.建立文件,保存数据 1.使用python中内置的open函数打开txt文件 #mode 模式 #w 只能操作写入 r 只能读取 a 向文件追加 #w+ 可读可写 r+可读可写 a+可读可追加 # ...
fontTools库来检测字体文件中是否包含某字符
在使用字体渲染某些字符时,有可能渲染出空白或者"口"字形,原因在于该字体文件中不包含该字符的字形. 可能的原因包括: 字符不在字体的cmap表中(cmap表是字体文件声明的支持字符 ...
知其然(3)*.java文件中可以包含多个类，但最多只能有一个类，其修饰符为public
*.java文件中可以包含多个类,但最多只能有一个类,其修饰符为public. 测试1:文件名Dog.java,文件内容如下:[2个类均为public] public class Dog{Dog(){ ...
可以使用FontForge查看TTC字体文件中，包含哪些字体
FontForge Releases · fontforge/fontforge · GitHub 下载安装( 略) 启动FontForge 打开字体文件这个文件中,包含两个字体:宋体,新宋体.图中 ...
向HBase中导入数据3：使用MapReduce从HDFS或本地文件中读取数据并写入HBase（增加使用Reduce批量插入）
前面我们介绍了: 向HBase中导入数据1:查询Hive后写入向HBase中导入数据2:使用MapReduce从HDFS或本地文件中读取数据并写入HBase(只使用Map逐条查询) 为了提高插入效率 ...
Java main方法_解释Java中的main方法，及其作用_一个java文件中可包含多个main方法
public static void main(String[] args) {} 或者 public static void main(String args[]) {} main方法是我们学习Ja ...

Spark从本地文件中统计包含某个字母的行数

Spark从本地文件中统计包含某个字母的行数相关推荐

最新文章

热门文章