Apache Doris ODBC Mysql外表在centos下的使用方法及配置

直奔主题，下文详解Apache Doris使用ODBC方式实现导入Mysql数据库的详细案例。

1.软件环境

操作系统：CentOS Linux release 7.9
Apache Doris ：1.0.0
mysql 数据库：Ver 15.1 Distrib 5.5.68-MariaDB, for Linux (x86_64）
UnixODBC：2.3.1
Mysql Connector ODBC ：8.0.29

2.安装ODBC驱动

mysql-odbc依赖unixODBC，首先我们安装unixODBC驱动，这里使用yum方式安装。

sudo yum install unixODBC.x86_64 -y yum install unixODBC-devel.x86_64 -y

验证安装是否成功

3.安装Mysql ODBC驱动

Mysql数据库的安装略过，这里以Mysql已安装为前提。

从mysql 站点下载对应的驱动

https://dev.mysql.com/downloads/connector/odbc/

下载当前最新版本8.0.29

mysql-connector-odbc-8.0.29-linux-glibc2.12-x86-64bit.tar.gz

解压、重命名

tar -zvxf mysql-connector-odbc-8.0.29-linux-glibc2.12-x86-64bit.tar.gz

mv mysql-connector-odbc-8.0.29-linux-glibc2.12-x86-64bit mysql-odbc-8.0.29

注册Mysql驱动

cd mysql-odbc-8.0.29安装目录/bin

sudo ./myodbc-installer -a -d -n "MySQL ODBC 8.0.29 Unicode Driver" -t "Driver=/data/bigdata/mysql-odbc-8.0.29/lib/libmyodbc8w.so"

sudo ./myodbc-installer -a -d -n "MySQL ODBC 8.0.29 ANSI Driver" -t "Driver=/data/bigdata/mysql-odbc-8.0.29/lib/libmyodbc8a.so"

然后查看是否注册成功

4.验证通过ODBC访问Mysql

我们去配置ODBC访问Mysql的参数

编辑/etc/odbc.ini文件，加入下面的内容，将信息替换成你自己的

然后通过isql -v mysql查看连接

说明我们ODBC配置成功

5.测试Apache Doris ODBC外表

Doris的安装配置参考我的博客：Apache Doris安装部署，或者官网的文档

首先我们在Mysql数据库见了一个demo库及相应的表

CREATE TABLE `test_cdc` (`id` int NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

对应的测试数据

INSERT INTO `test_cdc` VALUES (1, 'this is a update');
INSERT INTO `test_cdc` VALUES (2, '测试doris odbc');
INSERT INTO `test_cdc` VALUES (3, '这是测试');
INSERT INTO `test_cdc` VALUES (4, '1');
INSERT INTO `test_cdc` VALUES (5, '2');
INSERT INTO `test_cdc` VALUES (6, '3');
INSERT INTO `test_cdc` VALUES (7, '4');
INSERT INTO `test_cdc` VALUES (8, '5');
INSERT INTO `test_cdc` VALUES (9, '6');
INSERT INTO `test_cdc` VALUES (10, '7');
INSERT INTO `test_cdc` VALUES (11, '8');
INSERT INTO `test_cdc` VALUES (12, '9');

下面建Doris的ODBC外表，这里我们是通过ODBC_Resource来创建ODBC外表，这也是推荐的方式，这样ODBC resource是可以复用

首先我们在各BE节点的conf/odbcinst.ini，添加我们的刚才注册的8.0.29的ODBC驱动（[MySQL ODBC 8.0.29]这部分）

首先我们创建resource

CREATE EXTERNAL RESOURCE `mysql_8_0_29`PROPERTIES (
"host" = "localhost","port" = "3306","user" = "root","password" = "xxoo","database" = "demo","table" = "test_cdc","driver" = "MySQL ODBC 8.0.29",  --注意这里的名称要和我们上面红框标识部分的[]里的名称一致"odbc_type" = "mysql","type" = "odbc_catalog");

基于这个resource创建ODBC外表

CREATE EXTERNAL TABLE `test_odbc_8_0_29` (`id` int NOT NULL ,`name` varchar(255) null
) ENGINE=ODBC
COMMENT "ODBC"
PROPERTIES (
"odbc_catalog_resource" = "mysql_8_0_29", --这里的名称就是我们上面定义的resource的名称
"database" = "demo",
"table" = "test_cdc"
);

执行表外查询

至此结束！

参考原文：Apache Doris ODBC Mysql外表在Ubuntu下使用方法及配置 - 码农教程