10 工作中常见知识汇总

2024-05-15 00:02:21

10 工作中常见知识汇总

10.1在使用外表时注意的问题

10.1.1 注意\线的转义问题

10.1.1.1 问题示例

在以上的结果中可以看出GP把\给转义了

10.1.1.2 解答方法

drop external table if exists main.*******_external_20181214;

create external table main.*******_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/******-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string' ESCAPE as 'OFF' FILL MISSING FIELDS)

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可关闭转义，默认的是打开的

详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.1.2 \1转特殊字符的问题

10.1.2.1 问题示例

以下是HDFS上展示的效果

13529225049\18088249

以下是GP中显示的效果

select tel from main.*******_external_20181214 s_ext_sequence='190041387873';

原因是GP加载外表时没有进行转义特殊字符，导致GP中把\1转换成\U001即为16进制的SOH 特殊字符

10.1.2.2 解答方法

drop external table if exists main.*******_external_20181214;

create external table main.*******_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/******-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string' ESCAPE as 'OFF' FILL MISSING FIELDS)

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可关闭转义，默认的是打开的

详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.2 COPY命令常见错误汇总

10.2.1数据中有双引字符

10.2.1.1 问题示例

$ psql -d ****** -h 192.168.***** -p 5432 -U gpadmin -c "COPY main.main.*******_external_20181214 FROM '/home/xiaoxu/hdfs-to-greenplum/error-data/t****_error_20181214.csv' WITH csv DELIMITER E'\001'";

ERROR: unterminated CSV quoted field (seg1 192.168.*****:40001 pid=336648)

在以上可以看出数据中有双引号导致了不能正确的入库

10.2.1.2 解答方法

解决方式使用sed命令替换掉即可:# sed -i ‘s/”//g’ filename 或手动去掉即可

10.3 查看字段中有特殊字符SQL

10.3.1 先把表字段获取出来

select col.column_name from information_schema.columns col where col.table_schema='schemaName' and col.table_name ='tableName' order by col.ordinal_position

schemaName : schema的名字

tableName: 表的名字

10.3.2 查询表中的错误数据

select filedname from schemaname.tablename where filedname~'[\u0000-\u001f]';

filedname：字段的名字

schemaName : schema的名字

tableName: 表的名字

[\u0000-\u001f] : 是匹配的隐藏特殊字符,详情请查看:

ASCII控制字符和ASCII可显示字符_盒马coding的博客-CSDN博客

10.3.3 注意分布键的问题

10.3.3.1 现象说明

在下图可以看出在使用分布键是直接写成by就会把字段进行了起别名，现象如下

10.3.3.2 现象解答说明

此现象说明:分布键问题 · Issue #6539 · greenplum-db/gpdb · GitHub

10 工作中常见知识汇总相关推荐

mysql中常见错误代码汇总
mysql中常见错误代码汇总: 我们操作mysql的时候经常会遇到一些错误并给出错误的代码,很难知道它是什么意思,下面给出常见的错误代码,方便查阅: 1005:创建表失败 1006:创建数据库失败 1 ...
软件测试工作中常见的问题
如果你是从事软件测试工作的,在工作中经常会纠结于一些问题,只有通过一定时间的积累,才会摸清楚这些问题的关键所在. 本文就带大家一起来总结在工作常见的问题,后续会持续更新. 一.测试团队的工作也依赖于业 ...
软件开发中常见知识总结
最近在准备软件开发的笔试面试,复(yu)习(xi)了一些在软件开发中的常见知识.为了给自己攒点RP,故与大家分享一二. 软件开发需要准备的比较多,主要分为编程语言,数据结构和算法,计算机网络,计算机操 ...
运维工作中常见的一些定律
以下是我在工作中积累的,和运维工作相关的一些定律,接下来,我会对各个定律分别展开进行阐述,从而加深大家的理解一万小时定律,要在任何领域成为大师,一般需要约10年的艰苦努力墨菲定律,如果事情有变坏的 ...
工作中常见的开会问题
这是学习笔记的第 1834篇文章工作中开会是不可避免的,但是显然很多公司陷入了重度开会状态,最后搞得大家都很累. 开会的问题主要体现在两点,会议质量不高,会议时间过长. 会议质量不高主要表现在大家对 ...
那些职场工作中常见的定律
职场有其自身的规则和定律,往往人们就是围绕这些定律在生活和努力,当然也有些人想要去改变它,结果也不尽相同,少数人取得了成功,大多数人则是被扫地出门,对于职场中的新人来讲你要知道职场中的一些规则,否则你 ...
maven实战总结，工作中常见操作
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:硬刚一周,3W字总结,一年的经验告诉你如何准备校招! 个人原创100W+访问量博客:点击前往,查看更多思维导图 ...
winform中listview选中整行_工作中常见的11个Excel难题，一次解决！
Hello,各位叨友们好~ 叨叨君每天上班的第一件事就是做Excel数据报表,做多了也就积累了一些实用的Excel技巧,今天整理出来分享给大家,希望对大家的工作有所帮助哦! 01 合并多个单元格内容 ...
升级笔记本CPU的常见知识汇总
现在升级笔记本变成了常见的事:内存.硬盘都很容易升级.当然,只要你想挑战更高性能,把笔记本CPU升级一番也未尝不可. 什么本子才有必要升级CPU? 只要你的本子采用的是T9xxx系列以下的CPU,都有 ...
JSP设置Excel表格换行_工作中常见的11个Excel难题，一次解决！
Hello,各位叨友们好~ 假期最后一天,明天就要上班了,叨叨君每天上班的第一件事就是做Excel数据报表,做多了也就积累了一些实用的Excel技巧,今天整理出来分享给大家,希望对大家的工作有所帮助哦 ...

最新文章

热门文章