工作技术点小结

一、SQL部分

日期转换函数

from_unixtime(unix_timestamp(subtr(register_date,1,8),'yyyymmdd'),"yyyy-mm-dd")

字符串替换

regexp_replace(register_date,'-','')

json数据解析

get_json_object(info,'$.p')

建表语句

drop table if exists ku_name.table_name;
create table if not exists ku_name.table_name
(ecif_no  string  comment '客户号'，d_date   int     comment '日期'
)
partitioned by (ds string comment '分区')

表插入语句

insert overwrite table ku_name.table_name partition(ds='run_date')
select * from ku1.biao1

开窗函数

lag(字段a,1,0) over (partition by 字段b order by 字段c desc)
--1为顺移的位数，0为默认值
row_number() over (partition by 字段b order by 字段c)
--相同值继续排序
rank() over (partition by 字段b order by 字段c)
--相同值同值排序，下一位跨位排序

一、python部分

pythonspark

# encoding=utf8
from pyspark import SparkContext
from pyspark.sql import SparkSession,SQLContext
from pyspark.sql import Row,function as F
from pyspark.sql.functions import datediff,months_between
from pandas import DataFrame
from pandas as pd
import os

#读取sql
date1=spark.sql('''select * from ku1.biao1
''')

#创建文件夹
os.mkdir('/G/lizheying')
在这里插入代码片

#导出查询结果
file_path1='/G/lizheying/'+'name'+'.csv'
date1.toPandas().to_csv(file_path1,index=False)

工作技术点小结_webank相关推荐

计算机的小结怎么写,计算机专业技术个人小结怎么写
工作总结网发布计算机专业技术个人小结怎么写,更多计算机专业技术个人小结怎么写相关信息请访问工作总结网工作总结频道. 本篇<计算机专业技术个人小结怎么写>是由工作总结网工作总结频道为大家提供 ...
网络综合布线线缆如何敷设布放_网络综合布线中穿线工作技术要求
网络综合布线中穿线工作技术要求点击次数:600, 时间:2019-08-28 穿线是网络综合布线的主要工作,工作量占了整个网络综合布线工作的多半,穿线做的好不好直接影响到这个弱电工程的稳定性,因此对 ...
猿团，如何用远程工作技术云平台，打开IT人才共享市场？
互联网时代,什么最贵?毫无疑问,是人才,而不管是创业型企业或是面临向互联网转型的传统企业,受资金或地域限制,IT人才无疑千金难求. 好在,远程工作打破了这种僵局. 远程工作利用互联网技术的便利,让不同 ...
先进驾驶辅助系统ADAS一些技术应用小结
手上有些有关ADAS的文档,有的时候翻过一遍,ms都知道,但印象不深,所以,自己总结下相关技术应用特性,常见缩写及全称,便于经常回顾. ADAS全称Advanced Driver Assistance ...
Ajax技术原理小结
ajax:Asynchronous Javascript and XML 异步Javascript 和XML. 是一种创建交互式网页应用的网页开发技术. 1.0 优势: ...
java web 对cookie技术、session技术进行小结
2019独角兽企业重金招聘Python工程师标准>>> Session是一种服务器端技术, Session 对象在服务器端创建,通常采用散列表来存储信息,例如, Tomcat 的 S ...
软考——RAID技术及网络存储技术知识小结
如上图所示的存储系统由 9 块 4TB 的磁盘组成一个 RAID5 级别的 RAID 组, 并配置 1 块全局热备盘, 则该存储系统最多可坏掉 ?块磁盘而不丢失数据? 实际可用存量为 ? TB(每块磁 ...
数据安全前沿技术研究小结
数据安全合规热点解读近年来国内外相继出台与实施多部重量级的数据安全法律法规 ,其对企业在处理数据活动过程中出更多.更严.更具体的约束和要求.欧盟 GDPR作为一部"大而全"的 ...
入侵检测（IDS）技术知识小结
入侵检测(IDS)技术入侵检测:对企图入侵.正在进行的入侵或已经发生的入侵进行识别的过程. 入侵检测系统:完成入侵检测功能的软件.硬件及其组合,是一种能够通过分析系统安全相关数据来检测入侵活动的系统 ...

工作技术点小结_webank

一、SQL部分

一、python部分

工作技术点小结_webank相关推荐

最新文章

热门文章