spark sql 之 collect_set collect_list 后WrappedArray 取值

示例：demo数据

userId	place
1001	北京
1001	上海

spark建立的虚拟表 userPlaceView。根据用户ID进行分组，用collect_set(place)获取place信息。
spark sql 函数查询地址

Dataset<Row> resultDataSet = SqlContext.sql("select userId, collect_set(place) as place from userPlaceView group by userId");
resultDataSet.javaRDD().map((Function<Row, UserPlaces>) f->{ //获取分组聚合后的place信息//WrappedArray 开始WrappedArray wrappedArray = (WrappedArray)f.get(1);for(int i=0; i<wrappedArray.size(); i++){WrappedArray data = (WrappedArray)wrappedArray.apply(i);for(int z=0; z<data.size(); z++){String place = (String)data.apply(z);System.out.println(place);}}......
});

spark sql 之 collect_set collect_list 后WrappedArray 取值相关推荐

后端model传入前端JSP页面中的值判断后再取值
所遇到的问题后端model传入前端JSP页面中的值通过foreach循环内要满足条件才能取值给Div中,我们知道jsp页面中可以直接用EL表达式取值,格式就是${"model中传来的数据&q ...
mysql collect_set_spark sql concat_ws() collect_set() collect_list() 字段值拼接
spark sql collect_set.collect_list .concat_ws都用来做字段拼接,其实和mysql中的字段拼接函数差不多,请参考Mysql中concat().concat_w ...
mybatis注解查询用于简单sql，@parm()与#{}两括号取值要一致
注解查询用于dao接口方法之上,RCUD都一样:@parm()与#{}两括内取值要一致 public interface UserDao{@select("select id,name fr ...
html控件无法使用的属性值,用 Enabled 和 disabled 属性禁用 HTML 控件后，取值结果...
ASP.NET 中,对于服务器端控件,可以用 ASP.NET 代码用 Enabled 属性将其禁用,也可以用 JavaScript 的 disabled 属性将其禁用,那么这两种方法有没有什么区别呢? ...
SQL Server 2008 各种DateTime的取值范围
在SQL SERVER中DATETIME表示的时间为00:00:00到23:59:59.997,它的时间精度为1/300秒,在使用时会舍入到舍入到 .000..003 或 .007 秒三个增量.如下表 ...
找到element后如何取值_如何“刺激”员工又能留住员工？这家企业一个多月后就找到了方法！...
来源 | 勺子课堂 (ID:shaozisxy) 作者 | 何姗图片来源:唐食语粥微信公众号经历过上半年的重创,餐饮企业都在忙着增强盈利能力.尽快填补亏损,在繁忙的追赶账目之余,更难顾及的是发生了 ...
weui-switch开关控件，表单提交后如何取值
最近在学习weui这个框架,做了一些小的试验,发现weui-switch控件直接提交不能获取到表单信息,在segmentfault上发现也有人提了这个问题,有人说可以设置一个隐含标签来捕获开关的状态, ...
Spark SQL在100TB上的自适应执行实践
作者:汪愈舟俞育才郭晨钊程浩(英特尔),李元健(百度) 责编:钱曙光(qianshg@csdn.net) Spark SQL是Apache Spark最广泛使用的一个组件,它提供了非 ...
Spark SQL（六）之加载数据的参数配置
一.配置忽略损坏的文件.忽略丢失的文件.路径全局过滤器.递归文件查找和修改时间路径过滤器等选项/配置仅在使用基于文件的源(parquet,orc,avro,json,csv,txt)时才有效. 以下 ...

spark sql 之 collect_set collect_list 后WrappedArray 取值

spark sql 之 collect_set collect_list 后WrappedArray 取值相关推荐

最新文章

热门文章