python连接greenplum的时候，需要使用psycopg2这个包，这个包在连接数据库大批量写入文件的时候有几个小坑需要留意。

1、表不存在

错误err：

psycopg2.errors.UndefinedTable: relation“表名“ does not exist

这个是你使用copy_from方法大批量导入数据经常报的错误，这个错误是版本问题，把你当前的版本退回到psycopg2==2.8.4即可

2、数据对不上

错误err：

psycopg2.DataError: extra data after last expected column

value too long for type character varying

这个是你使用copy_from 方法的时候有个sep选项一定要改好，可以把sep="&"，避免出现文件中多处一致的符号，从而导致数据表头列数和值的列数对不上，示例如下。

    def insert_copy_df(self, tablename, df: pd.DataFrame()):fp = StringIO()df.to_csv(fp, sep='&', index=False, header=False)value = fp.getvalue()conn = self.gp_connect()cur = conn.cursor(cursor_factory=psycopg2.extras.RealDictCursor)cur.copy_from(StringIO(value), tablename, sep="&",columns=['col1', 'col2', 'col3', 'col4'])conn.commit()cur.close()conn.close()

psycopg2几个小坑相关推荐

net core mysql 连接池_EF Core 小坑：DbContextPool 会引起数据库连接池连接耗尽
EF Core 小坑:DbContextPool 会引起数据库连接池连接耗尽发布时间:2019-02-18 22:05, 浏览次数:1152 , 标签: EF Core DbContextPool ...
mciSendString 的两个小坑
刚刚修正了自己用的小闹钟的代码. 坑1:REPEAT 选项的作用范围原来用得好好的,之后选择 .wav 文件,居然不出声音了-- 诶,MCI 肯定支持 .wav 的啊-- 仔细想想,我以前都是选 . ...
小坑记录：get_cmap参数区分大小写
小坑记录: plt.cm.get_cmap('spectral', 10) File "C:\Users\sanye\AppData\Local\Programs\Python\Python ...
ThinkPHP开发中遇到的小坑
TP不得不说是现在来说最好用的框架了,但是也不能不承认它还是有一些小坑需要填了. 1.坑爹的字段缓存机制 thinkphp为了高效的读取数据库,更快的打开网页,加入了字段缓存这个机制,其实来说是挺好的 ...
java 小坑_关于Java子父类关系的小坑
原标题:关于Java子父类关系的小坑学过JavaSE的都知道java类在初始化的时候,如果存在直接父类,是先初始化父类,然后才初始化子类. 子类拥有父类所有的非私有化成员,非私有的成员不仅仅包括pu ...
C#中的Infinity有个小坑
(此文章同时发表在本人微信公众号"dotNET每日精华文章",欢迎右边二维码来关注.) 昨天家里有事,上网也不方便,就没有推送文章.今天很累,也不长篇大论了.简单介绍一下最近遇到的 ...
spring + maven项目互相依赖的小坑
在项目的搭建的过程中,出现了某个被依赖的项目,打包都是成功的,但是依赖的它的项目在编译的时候出现了问题,综合网上的解决方案,终于找到了一个可行的方法. 摘自 https://blog.csdn.net ...
EF Core 小坑：DbContextPool 会引起数据库连接池连接耗尽
DbContextPool 是 ASP.NET Core 2.1 引入的新特性,可以节省创建 DbContext 实例的开销,但没有想到其中藏着一个小坑. 最近有一个 ASP.NET Core 项目持 ...
c++ tinyxml2 解析xml小坑
如题,项目中遇到的解析xml小坑: xml是python在windows下生成的,虽然是utf8的,但是回车是16进制显示的0D 0A,与linux下的回车不同(0A),导致使用Parse函数时解析失 ...

psycopg2几个小坑