impala jdbc驱动执行impala sql的一个坑（不支持多行sql）

架构使用spark streaming 消费kafka的数据，并通过impala来插入到kudu中，但是通过对比发现落地到kudu表中的数据比kafka消息数要少，通过后台日志发现，偶发性的出现java.sql.SQLException: [Simba][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:AnalysisException: Syntax error in line 1

原因是调用过程中使用了数据库连接池,会合并多行sql执行，实现如下：

import com.alibaba.druid.pool.DruidDataSource;
import com.alibaba.druid.pool.DruidDataSourceFactory;
import com.alibaba.druid.pool.DruidPooledConnection;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;import java.sql.SQLException;
import java.util.Properties;
public class ImapalConnPool {private static Log logger = LogFactory.getLog(ImapalConnPool.class);private static ImapalConnPool imapalConnPool = null;private static DruidDataSource druidDataSource = null;static {Properties properties = new Properties();properties.setProperty("driverClassName","com.cloudera.impala.jdbc41.Driver");properties.setProperty("url","jdbc:impala://127.0.0.1:21050");  properties.setProperty("username","");properties.setProperty("password","");properties.setProperty("initialSize","50");properties.setProperty("maxActive","100");properties.setProperty("maxWait","60000");properties.setProperty("timeBetweenEvictionRunsMillis","60000");properties.setProperty("minEvictableIdleTimeMillis","300000");properties.setProperty("validationQuery","SELECT 1");properties.setProperty("testWhileIdle","true");properties.setProperty("testOnBorrow","false");properties.setProperty("testOnReturn","false");properties.setProperty("poolPreparedStatements","false");//当该值大于0时，启用pool，poolPreparedStatements为trueproperties.setProperty("maxPoolPreparedStatementPerConnectionSize","-1");try {druidDataSource = (DruidDataSource) DruidDataSourceFactory.createDataSource(properties); //DruidDataSrouce工厂模式} catch (Exception e) {logger.error(e);}}public static ImapalConnPool getInstance(){if (null == imapalConnPool){synchronized(ImapalConnPool.class) {if(null == imapalConnPool) {imapalConnPool = new ImapalConnPool();}}}return imapalConnPool;}public DruidPooledConnection getConnection() throws SQLException {return druidDataSource.getConnection();}}

调整上述参数poolPreparedStatements和maxPoolPreparedStatementPerConnectionSize任然不能解决同一个connection合并多行sql的问题

后去掉连接池，改为jdbc直连问题解决。有解决过上面数据库连接池问题的麻烦告知我一下

Connection connectionn = null;
Statement statement = null;
try {Class.forName("com.cloudera.impala.jdbc41.Driver");connectionn = DriverManager.getConnection("jdbc:impala://127.0.0.1:21050");statement = connectionn.createStatement();for (String item : execSql) {statement.execute(item);}processResult = true;
}catch (Exception ex){logger.error(this,ex);
}finally {if(null != statement){try {statement.close();}catch (Exception ex){logger.error(this,ex);}}if(null != connectionn) {try {connectionn.close();}catch (Exception ex){logger.error(this,ex);}}
}

转载于:https://www.cnblogs.com/qizhelongdeyang/p/10339029.html

impala jdbc驱动执行impala sql的一个坑（不支持多行sql）相关推荐

下一代SQL 产品发布会，诚邀您的参加！！包含 Azure数据服务、高级分析和SQL Server（其中包括支持Linux的SQL Server vNext）。
现在注册创新和业务转型不论您是推动业务的决策者,还是下一个突破性应用程序的开发者,数据都是业务的核心正如微软高层所言,加入我们,实现本地部署到云端的转型,利用微软数据平台最大程度优化您的数据策略 ...
jdbc preparestatement 执行多条语句_MyBatis执行器
引言执行器其名Executor,它是MyBtis中一个核心组件,地位非常高,有多高?如果硬要把MyBatis核心组件排个位话,它就是老大.所以开篇就要先介绍它. 这个老大它做了什么?其它的组件又是指 ...
JDBC连接执行MySQL存储过程报空指针或权限错误
最近使用root用户编写了几个存储过程,但是使用普通用户通过JDBC连接执行却报错: java.lang.NullPointerException...... 或 java.sql.SQLExcept ...
MyBatis简介——半自动的持久化层框架（SQL映射框架）|| 支持定制化sql
MyBatis简介 1.MyBatis:和数据库进行交互:持久化层框架(SQL映射框架): 1).从原始的JDBC-----dbutils(QueryRunner)-------JdbcTemplat ...
JDBC学习总结（二）JDBC操作Blob类型字段高效的批量插入JDBC处理数据库事务将多个SQL看成一个事务执行数据库连接池C3P0DBCPDruidDBUtils工具类实现CRUD
JDBC学习总结(二)JDBC操作Blob类型字段/高效的批量插入/JDBC处理数据库事务/将多个SQL看成一个事务执行/数据库连接池C3P0/DBCP/Druid/DBUtils工具类实现CRUD ...
Jmeter JDBC Request执行多条SQL语句
之前写过Jmeter操作mysql的文章https://blog.csdn.net/qq_36502272/article/details/88891873今天我们再看下如何操作多条sql语句 1.添 ...
Hive记录-Impala jdbc连接hive和kudu参考
1.配置环境Eclipse和JDK 2.加载hive jar包或者impala jar包备注:从CDH集群里面拷贝出来下载地址:https://www.cloudera.com/downloads ...
使用DriverManager动态加载JDBC驱动时，报：java.sql.SQLException: No suitable driver found for xxxx 错误
参考文章: yanbin.blog - 自定义类加载器动态加载 JDBC 驱动项目场景: 使用DriverManager动态加载JDBC驱动时,报:java.sql.SQLException: No ...
一个不安分的JDBC驱动
连接, 连接, 总是连接! 生活中肯定有比数据库连接更有趣的事情. 1 数据库连接又到了数据库连接的时间! 那些码农把数据库参数送过来, Oracle , Db2, Sybase, SQL Se ...

impala jdbc驱动执行impala sql的一个坑（不支持多行sql）

impala jdbc驱动执行impala sql的一个坑（不支持多行sql）相关推荐

最新文章

热门文章