sqark sql练习之统计UV

下面的数据分别是：日期，用户，关键词，地址，平台，型号

2017-03-13,leo,barbecue,beijing,android,1.0
2017-03-13,leo,barbecue,beijing,android,1.0
2017-03-13,leo,barbecue,beijing,android,1.0
2017-03-13,leo,cloth,beijing,android,1.0
2017-03-13,leo2,cloth,beijing,android,1.0
2017-03-13,jack,barbecue,shanghai,android,1.1
2017-03-13,leo,paper,beijing,ios,1.0
2017-03-13,tom,barbecue,beijing,android,1.2
2017-03-13,leo,cup,beijing,android,1.0
2017-03-13,mary,barbecue,beijing,android,1.2
2017-03-13,leo,barbecue,beijing,ios,1.3
2017-03-13,leo,cup,beijing,android,1.0
2017-03-13,leo1,cup,beijing,android,1.0
2017-03-13,leo2,cup,beijing,android,1.2
2017-03-13,leo3,cup,beijing,android,1.2
2017-03-13,leo4,cup,beijing,android,1.3

使用sparksql完成，查看每个关键词的uv量

CREATE TABLE IF NOT EXISTS UVTEST (
sdate date,
suser String,
keyword String,
address String,
platform String,
version double
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
LOAD DATA LOCAL INPATH '/data/uvtest.txt' OVERWRITE INTO TABLE UVTEST;

答案

select keyword,count(distinct suser ) as uv
from uvtest
group by keyword;

sparksql

import org.apache.spark.sql.{DataFrame, SparkSession}object HiveDemo extends App{private val session: SparkSession = SparkSession.builder().enableHiveSupport().config("hive.exec.dynamic.partition.mode","nonstrict").master("local").appName("hive").getOrCreate()private val frame: DataFrame = session.table("default.uvtest")frame.createTempView("a")val sql="""|select|keyword,count(distinct suser) as uv|from uvtest|group by keyword|""".stripMarginsession.sql(sql).show()
}

执行结果

| keyword| uv|
+--------+---+
|barbecue|  4|
|   paper|  1|
|     cup|  5|
|   cloth|  2|
+--------+---+

sqark sql练习之统计UV相关推荐

浅谈SQL Server中统计对于查询的影响
简介 SQL Server查询分析器是基于开销的.通常来讲,查询分析器会根据谓词来确定该如何选择高效的查询路线,比如该选择哪个索引.而每次查询分析器寻找路径时,并不会每一次都去统计索引中包含的行数,值 ...
SQL Server 查找统计信息的采样时间与采样比例
SQL Server 查找统计信息的采样时间与采样比例原文:SQL Server 查找统计信息的采样时间与采样比例有时候我们会遇到,由于统计信息不准确导致优化器生成了一个错误的执行计划(或者这样表 ...
【Java】使用MapReduce程序统计UV数量
1.UV的概念 UV:unique view->一天内访问网站的用户数下面是统计UV的代码: 首先是MapReduce类的代码 package com.huadian.bigdata.webl ...
sql server表分区_介绍分区表SQL Server增量统计信息
sql server表分区 If you are maintaining a very large database, you might be well aware of the pain to p ...
使用数据库维护计划SQL Server更新统计信息
This article explores SQL Server Update Statistics using the database maintenance plan. 本文探索使用数据库维护计 ...
牛客网数据库SQL实战60—— 统计salary的累计和running_total
牛客网数据库SQL实战60-- 统计salary的累计和running_total 题目描述按照salary的累计和running_total,其中running_total为前两个员工的salar ...
mysql语句统计总数_一条sql语句实现统计查询_MySQL
bitsCN.com 一条sql语句实现统计查询如图:程序员在进行如下的统计时,现在提供两种实现方案: 方案一:运用 SEKECT CASE WHEN EXPLAIN SELECT count(*) ...
mysql查询数量语句_mysql语句统计总数_一条sql语句实现统计查询_MySQL
bitsCN.com 一条sql语句实现统计查询如图:程序员在进行如下的统计时,现在提供两种实现方案: 方案一:运用 SEKECT CASE WHEN EXPLAIN SELECT count(*) ...
优雅的利用Mybatis插件实现sql查询耗时统计
优雅的利用Mybatis插件实现sql查询耗时统计一. Mybatis反射机制讲解二. 代理模式讲解静态代理动态代理 JDK动态代理参考代码 Proxy.newProxyInstance(xx ...

sqark sql练习之统计UV

sqark sql练习之统计UV相关推荐

最新文章

热门文章